创新的语音情感识别：利用 WavLM Large 探索性别信息整合和高级汇集方法
三个要点
✔️ 考虑了不同的汇集方法以及性别和文本信息的融入，以提高语音情感识别的准确性。
✔️ 提出了一种利用性别标签和文本注释提高情感分类准确性的方法。
✔️ 使用 MSP 播客语料库进行的实验表明，标准偏差集合法的效果最好。
Adapting WavLM for Speech Emotion Recognition
written by Daria Diatlova, Anton Udalov, Vitalii Shutov, Egor Spirin
(Submitted on 7 May 2024)
Comments: Published on arxiv.
Subjects: Machine Learning (cs.LG); Sound (cs.SD); Audio and Speech Processing (eess.AS)
code：
本文所使用的图片要么来自论文、介绍性幻灯片，要么是参考这些图片制作的。
概述
语音情感识别（SER）在客户服务、医疗保健和虚拟助理等各个领域的需求日益增加。 SER 是一种从语音数据中自动检测说话者情感状态的技术，可用于衡量客户满意度或监测心理健康。它可用于衡量客户满意度或监测心理健康。这项研究探索了利用自我监督学习（SSL）模型从语音中进行情感识别的方法，这种模型即使在标记数据稀缺的情况下也能有效学习，特别是通过利用大规模预训练模型。并能从无标签数据中提取有用的特征。
相关研究
WavLM 概述
WavLM 是一种基于变换器架构的自监督语音处理模型。该模型在大量语音语料库上进行了预训练，在语音去噪和屏蔽语音预测等任务中表现出色。特别是，WavLM 能够捕捉语音中的细粒度特征，从而更准确地识别情绪的细微差别。
什么是自我监督学习（SSL）？
SSL 是模型利用无标签数据学习特征的过程。这种方法可以利用大量无标签数据来学习强大的表征，以用于下游任务。在语音情感识别中，SSL 模型可以作为先验知识，从语音数据中提取情感特征，从而提高有限标签数据的学习效率。
建议方法
这项研究将几种新方法应用于 WavLM，以提高语音情感识别的准确性。这些方法包括时维集合、整合性别信息和利用文本数据。
时间维度集合
为捕捉语音数据的时间特征，引入了标准偏差集合和注意力集合。这些技术旨在突出对情感识别非常重要的语音特征。标准偏差池计算平均值的偏差，并捕捉情绪强度和可变性。注意力池允许模型关注重要的时间框架，并在情绪识别中更好地理解语境。
性别信息的使用
众所周知，性别会影响情绪的表达，将性别信息纳入模型有望提高情绪识别的准确性。性别信息的使用为模型提供了额外的线索，以识别同一话语中的不同情绪表达。
整合文本信息
语句的文本内容是有助于理解情绪的另一个重要因素。在这项研究中，使用句子转换器对语篇对应的文本信息进行编码，并将由此产生的文本嵌入与语音特征相结合，以提高情感识别的语境深度。
试验
实验装置
实验使用 MSP 播客语料库进行，分为训练集、开发集和测试集。该数据集包含 90,522 个语句，每个语句都有一个情感标签。实验特别使用了开发集来评估每个模型的性能。
汇集方法的影响
在使用标准偏差集合和注意力集合的实验中，标准偏差集合获得了最高的 F1 宏观分数（见图 1）。这表明，使用标准偏差集合变量能有效捕捉情绪的细微差别。
性别信息的影响
在加入性别信息的实验中，我们发现通过 "相加 "和 "相乘 "两种方式整合性别信息都能提高性能（见表 2）。这表明，将性别信息考虑在内可以使模型更准确地识别情绪，因为性别与情绪表达密切相关。
审议
本研究探讨了使用 WavLM Large 模型进行语音情感识别的不同微调方法。通过实验，深入了解了池化方法和附加信息整合对 SER 模型性能的影响。这些发现有助于情感识别技术的发展，但同时也有几个重要的考虑因素。
情感复杂性和模型适应性
情绪具有非常复杂和多层次的特征，很难用一种特征或方法来捕捉所有这些特征。标准偏差汇集法之所以表现出色，可能是因为它能够捕捉到情绪表达中最不稳定的部分，从而捕捉到情绪的微妙变化。不过，这种方法可能并不适合所有情绪和情境，需要根据具体情况进行调整。
整合信息的方法及其效果
研究发现，性别信息的整合方式对模型的性能有重大影响。结果表明，如何将其他信息整合到模型中非常重要。不仅要整合性别信息，还要整合其他个人识别信息（如年龄、地区等），这样才能更准确地识别情绪。但是，由于这些信息并不一定有助于准确的情绪识别，在某些情况下可能会导致模型出现偏差，因此需要慎重考虑。
机型多样性和专业化
另一个重要问题是，开发集的高性能能否在现实世界的各种情况下重现。由于实验室条件与真实世界条件之间存在差距，因此需要进一步验证，以提高模型的通用性。考虑到全球应用，开发针对特定文化和语言的情绪识别模型可能也是有益的。
结论
通过对 WavLM Large 模型进行微调，证实了标准差池化和性别信息的整合尤其有助于提高语音情感识别的性能。然而，整合文本信息并没有达到预期效果，因此还需要在这方面进一步改进。未来的研究需要开发对情绪更敏感的文本编码器，并探索更有效的文本信息整合方法。
与本文相关的类别
