大模型场景下智算平 台的设计与优化实践
肖松
2024.06.14
引言
不同时期对智算平台的需求
我资源比较少,几十卡的规模,如何提升卡的利用率?
我想跑大模型,需要多少资源?网络如何构建?多长时间能跑完?
国产卡怎么用?能否与NV卡一起使用?
目
01 大模型时代,智算平台新特点
02 智算平台需解决的问题
03 大模型场景技术实践
04 对于智算平台发展的未来思考
01大模型时代,智算平台新特点小模型vs.大模型
大模型时代,智算平台新特点
小模型vs.大模型
*数据来源:非官方数据,为业界推测