Robustness evaluation specification for artificialintelligence systems for content security detection-Part4:Audio
目次
1范围... 前 昊 I12规范性引用文件3术语和定义4缩略语.5音频内容安全检测人工智能系统测试样本分级6音频内容安全检测人工智能系统鲁棒性分级要求 7音频内容安全检测人工智能系统鲁棒性性能测评方法7.1测试样本，7.2测试流程7.3测试方法..7.4综合评价方法附录A（资料性）违法信息和不良信息 参考文献...
前言
《内容安全检测人工智能系统鲁棒性测评规范》分为以下4个部分：
第1部分：图像：第3部分：文本； 一第2部分：视频：第4部分：音频：
本部分按照GB/T1.1-2020给出的规则起草.
请注意本文件的某些内容可能涉及专利.本文件的发布机构不承担识别专利的责任.
本标准由中国电子信息行业联合会提出并归口.
中移互联网有限公司、蚂蚁科技集团股份有限公司、人民中科（北京）智能技术有限公司、北京信源 本标准起草单位：国家工业信息安全发展研究中心、国家语音及图像识别产品质量检验检测中心、电子信息技术有限公司吉安分公司、北京信源电子信息技术有限公司大同分公司、大同市数字政府服技控股股份有限公司、北京信工博特智能科技有限公司、浙江君同智能科技有限责任公司. 务中心、北京瑞莱智慧科技有限公司、中国科学院信工所、罗克佳华科技集团股份有限公司、京东科
本标准主要起草人：朱倩倩、刘永东、李美桃、倪邦杰、王英潮、王冠麟、林冠辰、崔世文、顾侯韶君、刘宇光、狄帅、陈鹏、李阳、韩蒙. 艳梅、王坚、王西婷、乔思渊、苏进军、韩杰、马国斌、胡嵩智、韦云霞、马多贺、江俊烨、薛学琴、
内容安全检测人工智能系统鲁棒性测评规范第4部分：音频
1范围
本文件规定了用于检测音频内容安全的人工智能系统鲁棒性分级要求和性能测评方法.
本文件适用于第三方检验检测机构、技术生产方和技术应用方对内容安全检测人工智能系统鲁棒性开展测试评估.
注：本文件对音频内容安全检测人工智能系统附带的语料库、知识库规模不做限制要求.
注：本文件重点研究音频中的语音信息，不涉及音频中的声纹信息.
2规范性引用文件
下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款.其中，注日期的引用文件，仅该日期对应的版本适用于本文件：不注日期的引用文件，其最新版本（包括的修改单）适用于本文件.
GB/T41867-2022信息技术人工智能术语
3术语和定义
GB/T41867-2022界定的以及下列术语和定义适用于本文件.
detection 内容安全检测人工智能系统artificialintelligence systems for content security
使用机器学习算法自动识别图像、视频、文本、语音中的违法信息和不良信息的系统.
注：违法信息和不良信息参考附录A
3.2
鲁棒性robustness
鲁棒性越好. 人工智能系统在任何情况下都保持其性能水平的特性，攻击样本的检测准确率越高，表示系统的
3. 3
原始样本originalsample
通过对真实事物拍摄得到的测试数据.
3.4
原始无风险样本originalsamplewithoutrisk
不包含违法信息和不良信息的测试数据.
注：原始无风险样本如风景照、日常生活照等.
3.5
原始有风险样本originalsample withrisk
包含违法信息和不良信息的测试数据.
攻击样本attacksample
原始样本通过攻击方法处理后的测试数据.
3.9
4缩略语
OSAR：原始样本检测准确率（Original Sample Accuracy Rate） 下列缩略语适用于本文件.ASFAR：攻击样本错误接受率（Attack SampleFalse Acceptance Rate）ASAR：攻击样本检测准确率（AttackSample AccuracyRate）
5音频内容安全检测人工智能系统测试样本分级
按照测试样本生成方法和数据获取的难易度，对测试样本分为5个等级.L0级原始样本指无数据漂移的样本：L1级攻击样本指在自然条件下随机发生的变换，可能影响系统性能的攻击样本：L2级攻击样本指在不能够获取系统的权重信息和推理结果，仅基于先验条件下生成的攻击样本：L3级攻击 样本指在不能够获取系统的权重信息，但能获取系统推理结果条件下生成的攻击样本：L4级攻击样本指在能够获取系统的权重信息和推理结果条件下生成的攻击样本.LI级攻击样本、L2级攻击样本和L3级攻击样本对应音频内容安全检测人工智能系统鲁棒性攻击方法见表1.
注：考虑被测单位提供信息真实性对测试结果的影响，本文件在测评方法中未列入L4级攻击样本.
表1音频内容安全检测人工智能系统鲁棒性攻击方法
攻击样本等级 攻击方法 攻击方法说明 算法示例音速变换 音频速度变化. ffmpcg a_speed() Python 库Python库音量变换 音频音量变化. ffimpeg volume()L1 噪音变换 音频加入高斯噪声、音乐噪声和说话人 库添加高斯噪声 Python库 librosa噪声等. 等混响变换 音频添加混响模拟.使用扭曲信号，掩盖频域通道和时域通信道变换 道，修改频谱图. DFT等语音合成 使用语音合成类算法生成不同性别、不 WaveNet 等L2 同风格等音频. S1L aosuAI生成 使用深度学习生成类算法生成音频.基于迁移的黑盒使用已有的白盒对抗攻击算法生成能够 Houdini 等L3 基于查询的黑盒在黑盒情况下，使用梯度查询的方式寻 攻击 成功欺骗替代模型的对抗样本.攻击 找模型漏洞生成的对抗样本. FAKEBOB等
