[你使用的是 Wav2vec2？这是一种更有效的语音特征提取方法

三个要点
✔️ 使用 wav2vec2.0 提取特征提高了从语音中检测构音障碍和严重程度分类的准确性
✔️ 来自 wav2vec2 第一层的特征对检测最有效
✔️ 来自 wav2vec2 最后一层的特征对严重程度分类最为准确

Wav2vec-based Detection and Severity Level Classification of Dysarthria from Speech
written by Farhad Javanmardi,Saska Tirronen,Manila Kodali,Sudarsana Reddy Kadiri,Paavo Alku
(Submitted on 25 Sep 2023, last revised 17 Oct 2023)
Comments: copyright 2023 IEEE. Personal use of this material is permitted. Permission from IEEE must be obtained for all other uses, in any current or future media, including reprinting/republishing this material for advertising or promotional purposes, creating new collective works, for resale or redistribution to servers or lists, or reuse of any copyrighted component of this work in other works
Subjects: Audio and Speech Processing (eess.AS); Computation and Language (cs.CL); Machine Learning (cs.LG); Sound (cs.SD); Signal Processing (eess.SP)

code：

本文所使用的图片要么来自论文、介绍性幻灯片，要么是参考这些图片制作的。

利用 Wav2vec2 高效提取特征！

刚读到这个！论文超级摘要！

我阅读的论文和撰写的文章都是专门研究发音障碍语音识别的，所以我总是以 "你认识发音障碍者吗？"作为开场白。我总是以 "你认识肢体障碍者吗？

我需要一个转折，一个转折，一个转折...我想不出任何...

你好。言归正传，你听说过构音障碍吗？如果你正在阅读这篇文章，你可能至少和其他人一样感兴趣，所以这里有一个简短的概述。

构音障碍是一种疾病，患者能听懂某种语言，但由于语言器官的问题而无法正确发音。构音障碍有多种类型，如后天性或先天性、截瘫或非截瘫，每种类型的构音障碍都有截然不同的语言倾向，这使得对这些疾病的研究相当困难。

现在，你说构音障碍的特征确实各不相同。因此，即使是最熟练的医生也很难通过比较发音来判断症状的严重程度。

因此，在本文中，我们将一起研读有关通过使用 wav2vec2 进行特征提取来检测和识别语障严重程度的论文！

这次论文的关键词是麻痹性构音障碍。这是一种主要由神经系统损伤引起的语言障碍，对患者的生活和生活质量有重大影响。

传统上，这种残疾的评估是由医生和其他人进行主观判断，但这既费时又费钱，还会因评估者的经验不同而导致判断的差异。

这项研究解决了直接从语音信号中检测瘫痪性构音障碍并自动对其严重程度进行分类的难题。

结果表明，使用从 wav2vec2 模型中提取的特征，故障检测的准确率提高到了 93.95%，严重程度分类任务的准确率提高到了 44.56%。其中，来自模型早期层的特征对故障检测更有效，而来自后期层的特征对严重程度分类更有效。

以前的研究使用了明显改变语音信号的声学特征，如频谱图和 MFCC，但这项研究通过使用预先训练好的模型作为特征提取器，提取出了更复杂、更抽象的特征，并在以下方面优于以前的研究成果新系统的性能优于以前的系统。

现在，您对这一简要介绍有何感想？看到主要用于语音识别领域的 wav2vec2 被用作特征提取器，我感到非常惊讶。

此外，在故障检测任务中，检测率几乎达到 95%！这简直好得令人难以置信。严重程度分类约为 45%，所以很难全部由你自动完成，但作为评估人员的辅助工具绰绰有余，不是吗？

接下来，在简单介绍了 wav2vec2 的架构之后，让我们深入研究一下这篇论文。

让我们来看看 Wav2vec2 的体系结构...

拟议方法的流程如图所示，这次的图表更加简洁明了，便于阅读。

本文省略了对 wav2vec2 结构的解释，如果您不了解或已经忘记，建议您在阅读完本文后再复习。这种模型经常出现，如果是变压器模型，所有其他语音识别模型都有类似的结构。

让我们从 (a)--检测系统--开始，看看图中的流程。

1. 输入音频信号。
2. 通过 wav2vec2 特征提取器提取音频特征
3. 使用 SVM（支持向量机）对特征进行分类。
4. 分类结果可预测患者是正常构音障碍还是瘫痪性构音障碍

这就是预测流程。该流程非常简单：将提取的特征应用于分类任务，并根据结果进行预测、

接下来，让我们看看 (b)，即严重程度分类系统、

1. 输入音频信号。
2. 通过 wav2vec2 特征提取器提取音频特征
3. 使用 SVM（支持向量机）对特征进行分类。
4. 确定严重程度

嗯。和（a）几乎一样，不是吗？没错。在检测和严重程度判断中，这毕竟只是一项分类任务。

不过，正如开篇摘要中提到的，两者之间有一个明显的区别，那就是根据实验结果，wav2vec2 的第一层在检测方面更有效率，而最后一层在严重性分类方面更有效率。

像 wav2vec2 这样的转换器模型是由一层层负责不同角色的层组成的，因此即使在提取特征的层中，对于提取什么特征（猜测）可能也有角色分工。

在这篇文章中，我们介绍了一篇论文，该论文表明，通过使用 wav2vec2 作为特征提取器来有效提取发音障碍语音的特征，发音障碍语音检测任务的准确率提高了 93%，严重程度分类的准确率提高了 44%。

检测任务的得分看起来可以付诸实践，分类也足够准确，可以用于专家协助--。

在日本，关于疾病检测和严重程度分类的研究并不多，所以我想知道是否有可能用同样的方法提取日语中的特征。

下篇文章再见！

与女作家小笠原聊聊天

我们正在寻找有兴趣开展联合研究的公司和研究生！

他的专长是语音识别（实验系统），尤其是针对肢体障碍者。

这方面的资源有限，因此单独工作总是有限的。

谁愿意利用最新技术共同解决社会问题？

• 
• 
• 

与本文相关的类别

• 论文
• 语音识别
• 机器学习
• 深度学习
• 听力障碍者的语音识别
• 肢体瘫痪者的语音识别功能