Robustness evaluation specification for artificialintelligence systems for content security detection-Part1:Images
目次
1范围. 前 言 I12规范性引用文件3术语和定义，4缩略语.5图像内容安全检测人工智能系统测试样本分级6图像内容安全检测人工智能系统鲁棒性分级要求 7图像内容安全检测人工智能系统鲁棒性性能测评方法7.1测试样本，7.2测试流程7.3测试方法..7.4综合评价方法附录A（资料性）违法信息和不良信息 参考文献..
前言
一第1部分：图像：第2部分：视频： 第3部分：文本：一第4部分：音频：
本部分为《内容安全检测人工智能系统鲁棒性测评规范》的第1部分.
本部分按照GB/T1.1-2020给出的规则起草.
请注意本文件的某些内容可能涉及专利.本文件的发布机构不承担识别专利的责任.
本标准由中国电子信息行业联合会提出并归口.
中国科学院自动化所、中移互联网有限公司、蚂蚁科技集团股份有限公司、同方知网数字出版技术股 本标准起草单位：国家工业信息安全发展研究中心、国家语音及图像识别产品质量检验检测中心、份有限公司、北京信源电子信息技术有限公司吉安分公司、北京信源电子信息技术有限公司大同分公股份有限公司、京东科技控股股份有限公司、北京信工博特智能科技有限公司、触景无限科技（北京） 司、大同市数字政府服务中心、中国科学院信工所、北京瑞莱智慧科技有限公司、罗克佳华科技集团有限公司.
世文、鲍晟霖、韩文、乔思渊、苏进军、韩杰、马国斌、马多贺、唐志敏、胡嵩智、韦云霞、薛学琴、 本标准主要起草人：朱倩倩、刘永东、李关桃、倪邦杰、刘雨帆、王英潮、王冠麟、林冠辰、崔侯韶君、刘宇光、狄帅、陈鹏、李阳、赵寒伟.
内容安全检测人工智能系统鲁棒性测评规范第1部分：图像
1范围
本文件规定了用于检测图像内容安全的人工智能系统鲁棒性分级要求和性能测评方法.
性开展测试评估. 本文件适用于第三方检验检测机构、技术生产方和技术应用方对内容安全检测人工智能系统鲁棒
注：本文件对图像内容安全检测人工智能系统附带的语料库、知识库规模不做限制要求.
2规范性引用文件
下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款.其中，注日期的引用文件，仅该日期对应的版本适用于本文件：不注日期的引用文件，其最新版本（包括的修改单）适 用于本文件.
GB/T41867-2022信息技术人工智能术语
3术语和定义
GB/T41867-2022界定的以及下列术语和定义适用于本文件.
3.1
内容安全检测人工智能系统artificialintelligence systems for contentsecuritydetection
使用机器学习算法自动识别图像、视频、文本、语音中的违法信息和不良信息的系统.
注：违法信息和不良信息参考附录A
3. 2
鲁棒性robustness
人工智能系统在任何情况下都保持其性能水平的特性，攻击样本的检测准确率越高，表示系统的鲁棒性越好.
3.3
原始样本originalsample
通过对真实事物拍摄得到的测试数据.
3. 4
原始无风险样本originalsample withoutrisk
不包含违法信息和不良信息的测试数据.
注：原始无风险样本如风景照、日常生活照等.
3.5
原始有风险样本originalsample withrisk
包含违法信息和不良信息的测试数据.
攻击样本attacksample
原始样本通过攻击方法处理后的测试数据.
原始样本检测准确率original sample accuracyrate
正确检测原始样本数量占已检原始样本数量的比例.
3. 8
T/CFEII 0015.1-2023
攻击样本错误接受率attack samplefalse acceptancerate
错误检测攻击样本数量占已检攻击样本数量的比例.
3.9
攻击样本检测准确率attacksample accuracyrate
综合评价正确检测不同等级攻击样本的概率.
4缩略语
下列缩略语适用于本文件.
OSAR：原始样本检测准确率（Original Sample AccuracyRate） ASFAR：攻击样本错误接受率（Attack Sample False Acceptance Rate）ASAR：攻击样本检测准确率（AttackSample AccuracyRate）
5图像内容安全检测人工智能系统测试样本分级
漂移的样本：L1级攻击样本指在自然条件下随机发生的变换，可能影响系统性能的攻击样本：L2级 按照测试样本生成方法和数据获取的难易度，对测试样本分为5个等级.L0级原始样本指无数据攻击样本指在不能够获取系统的权重信息和推理结果，仅基于先验条件下生成的攻击样本：L3级攻击指在能够获取系统的权重信息和推理结果条件下生成的攻击样本.LI级攻击样本、L2级攻击样本和 样本指在不能够获取系统的权重信息，但能获取系统推理结果条件下生成的攻击样本：L4级攻击样本L3级攻击样本对应图像内容安全检测人工智能系统鲁棒性攻击方法见表1.
注：考虑被测单位提供信息真实性对测试结果的影响，本文件在测评方法中未列入L4级攻击样本.
表1图像内容安全检测人工智能系统鲁棒性攻击方法
攻击样本等级 攻击方法 攻击方法说明 算法示例 图像示例随机截剪图像边缘并用底色填充，上下随机裁剪 边缘各载剪图像高度的0~20%，左右边 Image.crop() Python库缘各裁剪图像宽度的0~20%.Python库随机旋转 随机左右旋转图像，旋转0~90度. Image.rotate()L1 随机扭曲 随机扭曲图像. Python压[mage. warping0噪声变换 图像加入高斯噪声、散粒噪声、脉冲噪 numpy.random. Python库声和斑点噪声等. normal()
