声明:平时看些文章做些笔记分享出来,文章中难免存在错误的地方,还望大家海涵。搜集一些资料,方便查阅学习:http://yqli.tech/page/speech.html。语音合成领域论文列表请访问http://yqli.tech/page/tts_paper.html,语音识别领域论文统计请访问http://yqli.tech/page/asr_paper.html。如何查找语音资料请参考文章https://mp./s/eJcpsfs3OuhrccJ7_BvKOg)。如有转载,请注明出处。欢迎关注微信公众号:低调奋进。
Towards MeasuringFairnessinSpeech Recognition: Casual Conversations Dataset Transcriptions
本文为facebook在.11.18更新的文章,主要开源一个带诸多metadata属性(性别,年龄,肤色等等)的闲聊Casual Conversations语音测试集,并使用该测试集对ASR系统进行fairness评估,发掘更多影响ASR效果的诸多因素,为开发更加鲁棒的ASR系统做贡献,具体的文章链接
/pdf/2111.09983.pdf
1 研究背景
机器学习系统中的算法偏差问题广为人知并得到充分研究,诸如面部视觉系统受到肤色、年龄等等因素的影响,但对于ASR模型的偏差研究的关注度非常低,因此本文提供了带诸多metadata属性(性别,年龄,肤色等等)的闲聊Casual Conversations语音测试集,并进行ASR偏差实验和影响因素的探索,为探索更加鲁棒的识别系统做贡献,省却搜集大量的特定目标人的训练语料。
2 详细实验
数据从846小时数据整理和标注572小时,数据包括音频、对应的标注文本、说话人的性别、年龄、肤色等信息。
对比的四个系统RNN-T
1)LibriSpeech Model:使用LibriSpeech训练的模型
2)video model, supervised: 使用带标注的14k小时的数据训练新型模型
3)video model, semi-supervised: 使用带标注的14k小时的数据和2百万无标签的数据训练新型模型
4)video model, semi-supervised teacher: 使用10亿参数的teacher模型
对比影响因素:性别,年龄,肤色。其中肤色看起来不会直接影响ASR,但它代表隐含因素对系统影响。
实验结果:
先看table1的结果,每种系统的WER不一样,这个不在本文的探索之内。可以观测到性别和肤色影响因素对系统的影响很大,整体偏向女性效果较好。另外,年龄之间影响差别较小。Fig.1展示了各种肤色的测CI,如果包括零则差别不大,如黑色线。红色线代表差别大。LibriSpeech的肤色影响较重,Video semi-supervised稍微好一些,可能跟2百万的数据覆盖更多属性有关。Table2是使用本文闲聊数据划分部分数据进行微调,即使wer整体下降,但不能降低各因素之间的偏差,需要研究更深层次的影响因素。
3 总结
对于ASR模型的偏差研究,因此本文提供了带诸多metadata属性的闲聊Casual Conversations语音测试集,并进行ASR偏差实验和影响因素的探索,为探索更加鲁棒的识别系统做贡献。