GB/Z 236-2026 人工智能 检索增强生成系统评价指标与方法.pdf

信息技术,文件,标准化,测试,评价,指导性技术文件
文档页数:19
文档大小:322.24KB
文档格式:pdf
文档分类:指导性技术文件
上传会员:
上传日期:
最后更新:

中华人民共和国国家标准化指导性技术文件

GB/Z236-2026

人工智能 检索增强生成系统评价 指标与方法

Artificial intelligence-Evaluation metrics andmethods for retrieval-augmentedgeneration systems

目次

前言1范围2规范性引用文件3术语和定义4缩略语5检索增强生成系统的评价参考框架6端到端评价6.1答案相关性 6.2答案正确性6.3答案流畅度7模块化评价7.1检索模块评估指标7.2生成模块评估指标8评价过程8.1述8.2评价方案确定8.3测试数据集准备8.5测试执行 8.4测试环境准备附录A(资料性)检索增强生成系统的一些其他评价维度 8.6测试结果分析A.1拒答能力A.2信息整合能力 10 10A.3噪声鲁棒性 10A.4反事实鲁棒性 10参考文献 12

前言

本文件为规范类指导性技术文件.

本文件按照GB/T1.1-2020《标准化工作导则第1部分:标准化文件的结构和起草规则》的规定起草.

请注意本文件的某些内容可能涉及专利.本文件的发布机构不承担识别专利的责任.

本文件由全国信息技术标准化技术委员会(SAC/TC28)提出并归口.

本文件起草单位:中国电子技术标准化研究院、蚂蚁科技集团股份有限公司、北京百度网讯科技有限公司、中国石油天然气股份有限公司塔里木油田分公司、上海文解信息科技有限公司、中移(杭州)信息技术有限公司、中移(苏州)软件技术有限公司、浪潮软件科技有限公司、浪潮通信信息系统有限公司、 厦门湖亭信息科技有限公司、中电信数智科技有限公司、浪潮电子信息产业股份有限公司、中移雄安信息通信科技有限公司、中国电子技术标准化研究院华东分院、浙江大华技术股份有限公司、中移互联网有限公司、上海商汤智能科技有限公司、深信服科技股份有限公司、海信集团控股股份有限公司、江苏赛西科技发展有限公司、中移九天人工智能科技(北京)有限公司、中国移动通信集团有限公司、中兴通讯股份有限公司、上海输纬信息科技有限公司、北京软件产品质量检测检验中心有限公司、深圳前海微众 银行股份有限公司、南京理工大学、北京神舟航天软件技术股份有限公司、北京智芯微电子科技有限公司、中移物联网有限公司、浪潮云信息技术股份公司、山东省计算中心(国家超级计算济南中心).

本文件主要起草人:徐洋、彭晋、孙曦、马珊珊、张彬琳、李景秋、刘增志、杨其展、马潇、仲凯韬、潘宏博、付涛、李旭东、王珂琛、李照川、梁秉豪、肖红梅、洪万福、朱成忠、陈利明、袁硕之、部贺亮、郑庆国、严小格、费玥、陈庆洋、韩鹏飞、孔维生、茹宏格、肖夏阳、王和俊、徐金涛、王红伟、田羽慧、张建、董月文、秦日臻、 曹汐、张宏伟、史磊、孔吴、高玉翔、戚、于连坤、密伟、潘风文、刘勇、郑哲、孔栋、丁源、郑佳佳、逢锦山.

资源链接请先登录(扫码可直接登录、免注册)
①本文档内容版权归属内容提供方。如果您对本资料有版权申诉,请及时联系我方进行处理(联系方式详见页脚)。
②由于网络或浏览器兼容性等问题导致下载失败,请加客服微信处理(详见下载弹窗提示),感谢理解。
③本资料由其他用户上传,本站不保证质量、数量等令人满意,若存在资料虚假不完整,请及时联系客服投诉处理。
④本站仅收取资料上传人设置的下载费中的一部分分成,用以平摊存储及运营成本。本站仅为用户提供资料分享平台,且会员之间资料免费共享(平台无费用分成),不提供其他经营性业务。
投稿会员:匿名用户
我的头像

您必须才能评论!

手机扫码、免注册、直接登录

 注意:QQ登录支持手机端浏览器一键登录及扫码登录
微信仅支持手机扫码一键登录

账号密码登录(仅适用于原老用户)