GB/Z236-2026
人工智能 检索增强生成系统评价 指标与方法
Artificial intelligence-Evaluation metrics andmethods for retrieval-augmentedgeneration systems
目次
前言1范围2规范性引用文件3术语和定义4缩略语5检索增强生成系统的评价参考框架6端到端评价6.1答案相关性 6.2答案正确性6.3答案流畅度7模块化评价7.1检索模块评估指标7.2生成模块评估指标8评价过程8.1述8.2评价方案确定8.3测试数据集准备8.5测试执行 8.4测试环境准备附录A(资料性)检索增强生成系统的一些其他评价维度 8.6测试结果分析A.1拒答能力A.2信息整合能力 10 10A.3噪声鲁棒性 10A.4反事实鲁棒性 10参考文献 12
前言
本文件为规范类指导性技术文件.
本文件按照GB/T1.1-2020《标准化工作导则第1部分:标准化文件的结构和起草规则》的规定起草.
请注意本文件的某些内容可能涉及专利.本文件的发布机构不承担识别专利的责任.
本文件由全国信息技术标准化技术委员会(SAC/TC28)提出并归口.
本文件起草单位:中国电子技术标准化研究院、蚂蚁科技集团股份有限公司、北京百度网讯科技有限公司、中国石油天然气股份有限公司塔里木油田分公司、上海文解信息科技有限公司、中移(杭州)信息技术有限公司、中移(苏州)软件技术有限公司、浪潮软件科技有限公司、浪潮通信信息系统有限公司、 厦门湖亭信息科技有限公司、中电信数智科技有限公司、浪潮电子信息产业股份有限公司、中移雄安信息通信科技有限公司、中国电子技术标准化研究院华东分院、浙江大华技术股份有限公司、中移互联网有限公司、上海商汤智能科技有限公司、深信服科技股份有限公司、海信集团控股股份有限公司、江苏赛西科技发展有限公司、中移九天人工智能科技(北京)有限公司、中国移动通信集团有限公司、中兴通讯股份有限公司、上海输纬信息科技有限公司、北京软件产品质量检测检验中心有限公司、深圳前海微众 银行股份有限公司、南京理工大学、北京神舟航天软件技术股份有限公司、北京智芯微电子科技有限公司、中移物联网有限公司、浪潮云信息技术股份公司、山东省计算中心(国家超级计算济南中心).
本文件主要起草人:徐洋、彭晋、孙曦、马珊珊、张彬琳、李景秋、刘增志、杨其展、马潇、仲凯韬、潘宏博、付涛、李旭东、王珂琛、李照川、梁秉豪、肖红梅、洪万福、朱成忠、陈利明、袁硕之、部贺亮、郑庆国、严小格、费玥、陈庆洋、韩鹏飞、孔维生、茹宏格、肖夏阳、王和俊、徐金涛、王红伟、田羽慧、张建、董月文、秦日臻、 曹汐、张宏伟、史磊、孔吴、高玉翔、戚、于连坤、密伟、潘风文、刘勇、郑哲、孔栋、丁源、郑佳佳、逢锦山.