ICS 33.050CCS M30
团体标准
T/TAF327-2026
面向智能手机的端侧大语言模型技术要求
Technicalrequirements for on-devicelarge language model forsmartphones
电信终端产业协会发布
目次
前言引言.1范围，2规范性引用文件3术语和定义4缩略语5概述..5.1前置条件6模型性能 5.2技术要求指标6.1加载时延6.2推理速度-首词响应6.3出词速度6.4内存占用6.5增量功耗
前言
本文件按照GB/T1.1-2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起草.
请注意本文件的某些内容可能涉及专利.本文件的发布机构不承担识别专利的责任.
本文件由电信终端产业协会（TAF）提出并归口.
中兴通讯股份有限公司、安谋科技（中国）有限公司、捷科技股份有限公司、高通无线通信技术（中 本文件起草单位：中国移动通信集团终端有限公司、中国信息通信研究院、维沃移动通信有限公司、国）有限公司、北京三星通信技术研究有限公司、紫光展锐（上海）科技有限公司、博鼎实华（北京）技术有限公司、联想（北京）有限公司、小米通讯技术有限公司、南德认证检测（中国）有限公司深圳分公司、上海移芯通信科技股份有限公司.
李丛蓉、彭程、潘正、周世乐、董雾、刘妍、王彬、龙迪、曾勇波，聂大伟、吴术霞、耿琦、王骏超、 本文件主要起草人：王绍颖、董千洲、黄云霞、王健宇、范洪源、傅蓉蓉、高立发、曹宇琼、李根、梁恒康.
引言
算能力，成为未来移动大语言模型的理想载体，随着端侧大语言模型的持续进化，智能终端将不再局限 在大语言模型席卷全行业的大背景下，移动终端凭借其个人专属化、多模态感知以及强大的通信计于实现文生文、文生图、文生视频等基础应用，而是逐步发展为一个全方位的“移动智能体”.它不仅能够完成通信任务，更将成为人工智能的最佳载体，为用户开启一个崭新的AI交互领域.各大终端品能力.
大语言模型技术不断深化与落地，轻量化、多模态等技术的持续升级，有效推动了端侧智能的发展.通过将计算任务从云端迁移到终端，端侧智能具备了更高的独立性、低时延和高可靠性，逐渐成为实现万物智能的关键途径，能够更好地满足大语言模型在隐私保护、实时响应、网络负载和灵活部署等方面的需求.构建面向智能手机的端侧大语言模型技术，不仅能够提升用户体验，减少对云端计算的依赖， 促进技术创新和发展，还能满足行业对数据安全和隐私保护的严格要求.随着技术的不断成熟与应用的持续拓展，端侧大语言模型将在未来发挥更加重要的作用.
为了规范和评估终端侧大语言模型应用场景和任务，提高消费者用户的使用体验，垂待相关标准制定工作，规范并促进大语言模型在智能手机上的应用，促进国内相关行业的发展.
面向智能手机的端侧大语言模型技术要求
1范围
本文件规定了面向智能手机的端侧大语言模型技术要求.
本文件适用于指导模型开发商、第三方测评机构对端侧大语言模型进行模型能力进行测试评估等工作.
2规范性引用文件
本文件无规范性引用文件.
3术语和定义
下列术语和定义适用于本文件.
3.1
端侧大语言模型on-devicelargelanguage model
部署在端侧的大语言模型，一种规模庞大、基于大量数据训练得到参数众多的模型，主要用于处理文本相关任务，如文本生成、分类、翻译等，通过对大量文本数据进行学习来提升在相应文本任务中的性能且具备一定泛化性的深度学习模型.
4缩略语
GB：吉字节（Gigabyte） 下列缩略语适用于本文件：INT：整数（Integer)NPU：神经网络处理器（NeuralNetwork Processing Unit)
5概述
5.1前置条件
5.1.1端侧大语言模型部署
5.1.2端侧大语言模型体积
大语言模型体积指大语言模型部署在端侧时的空间占用.计算方法：记录模型文件在端侧所占用的存储空间大小，单位GB.
