ICS 33.060CCS M 37
团体标准
T/TAF312-2025
Benchmark test methods for smart terminal LLMs puting performance
电信终端产业协会发布
目次
前言. I111范围..2规范性引用文件3术语和定义，4缩略语5测试架构...5.1概述5.2基准大模型5.3大模型算子 25.4推理数据集 5.5终端推理框架5.6终端硬件层5.7指标监测6测试环境：7通用测试指标7.1推理时延7.3功耗. 7.2内存占用，7.4温升.8测试方法步骤8.1测试准备8.2测试布置8.3测试执行.9大模型算子基准评测方法9.1被测设备操作系统 9.2算子调用SDK.9.3参考实现..9.4推理指标..10大模型计算性能基准评测方法10.1被测设备操作系统10.3前置信息披露 10.2 推断框架 SDK.10.4模型文件10.5参考输出
T/TAF 312-2025
前言
本文件按照GB/T1.1-2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起草.
请注意本文件的某些内容可能涉及专利.本文件的发布机构不承担识别专利的责任.
本文件由电信终端产业协会（TAF）提出并归口.
本文件起草单位：中国信息通信研究院、高通无线通信技术（中国）有限公司、北京三星通信技术研究有限公司、维沃移动通信有限公司、朝捷科技股份有限公司、中兴通讯股份有限公司、联想（北京）有限公司、紫光展锐（上海）科技有限公司、博鼎实华（北京）技术有限公司、中国移动通信集团终端 有限公司、上海移芯通信科技股份有限公司.
本文件主要起草人：刘恩琦、王健宇、周奎翰、刘洋、王彬、高立发、李维成、龙迪、张宏伟、沙通、李丛蓉、马凡、张伟、梁恒康.
智能终端大模型计算性能基准评测方法
1范围
本文件规定了智能终端大模型计算性能基准测评指标、测试方法.面向终端运算设备（芯片、智能手机、平板电脑、等设备）设计基准测试集，测试终端运算设备的计算性能.
技术的部署和应用，可不限于本参考框架的指标项或条款项，应符合标准中的定义和规范性描述. 本文件适用于智能手机、可穿戴设备、平板电脑、个人计算机等智能终端产品生成式AI与大模型
2规范性引用文件
仅该日期对应的版本适用于本文件：不注日期的引用文件，其最新版本（包括的修改单）适用于本 下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款.其中，注日期的引用文件，文件.
GB/T41867-2022信息技术人工智能术语
YD/T4515-2023移动智能终端智能化性能基准测评方法
3术语和定义
下列术语适用于本文件.
3. 1 人工智能artificialintelligence表现出于人类智能（如推理和学习）相关的各种功能的功能单元和能力.
3. 2
大模型large-scalemodel
注：大模型的参数量由其功能和模态决定，一般不低于1亿.大模型训练使用的数据总量受参数量的影响，达到收敛 基于大量数据训练得到，具有复杂计算架构，能处理复杂任务，且具备一定泛化性的深度学习模型.的大模型的参数量的对数与其训练数据总量的对数成正比.
生成式人工智能generative artificialintelligence
基于数据、算法、模型、规则，能够根据使用者提示生成文本、图片、代码、音频、视频等内容的人工智能服务.
3. 4
基准测试benchmark
可对比的测试. 通过设计科学的测试方法、测试工具和测试系统，实现对一类测试对象的某项性能指标进行定量和
4缩略语
下列缩略语适用于本文件.Al:人工智能（ArtificialIntelligence)CPU：中央处理器（CentralProcessing Unit）
