GB/Z254-2026
人工智能语言大模型云端推理部署工具链 技术要求
Artificial intelligence-Technical requirements for cloud-based inferencedeployment toolchainof largelanguage models
目次
前言1范围2规范性引用文件3术语和定义4缩略语5语言大模型云端推理部署工具链框架6功能要求6.1硬件环境 6.2压缩工具6.3推理引6.4推理服务7性能要求7.1硬件环境7.2推理引擎7.3推理服务
前言
本文件为规范类指导性技术文件.
本文件按照GB/T1.1-2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起草.
请注意本文件的某些内容可能涉及专利.本文件的发布机构不承担识别专利的责任.
本文由全国信息技术标准化技术委员会（SAC/TC28）提出并归口.
本文件起草单位：中国电子技术标准化研究院、上海商汤智能科技有限公司、北京航空航天大学、上海库帕思科技有限公司、北京人形机器人创新中心有限公司、海信集团控股股份有限公司、北京百度网讯科技有限公司、中国南方电网有限责任公司超高压输电公司贵阳局、天翼云科技有限公司、青岛理 工大学、企知道科技有限公司、北京智源人工智能研究院、浪潮通信信息系统有限公司、科大讯飞股份有限公司、杭州海康威视数字技术股份有限公司、广东中科凯泽信息科技有限公司、西安汇智信息科技有限公司、深圳市优必选科技股份有限公司、山东省人工智能研究院、深圳市迪博技术有限公司、天津大学、深信服科技股份有限公司.
周彩红、刘宁、蔺向楠、于佃海、党青青、张治然、王帅、康鲁迪、张玉柱、刘额、肖红梅、梁秉豪、王萍萍、 本文件主要起草人：徐洋、龚睿吴、吴庚、林达华、李斌斌、郭晋阳、孙传兴、刘祥龙、山栋明、施佳模、章放、张凯、吴军、惠晓滨、梁乔玲、单珂、袁吉、郑喜、吕琪、高宇、徐金涛.
