[Be Who You Are: ....]不抛弃听力障碍者或老年人：使用 A2A 转换器提高语音识别率

三个要点
✔️ 将自我监督学习（SSL）与传统语音识别技术相结合，显著提高残疾演讲者和老年人的语音识别准确率
✔️ 对于输入特征，融合各种传统方法是有效的
✔️ 大幅提高错误率，最高可达 30%。

Self-supervised ASR Models and Features For Dysarthric and Elderly Speech Recognition
written by Shujie Hu, Xurong Xie, Mengzhe Geng, Zengrui Jin, Jiajun Deng, Guinan Li, Yi Wang, Mingyu Cui, Tianzi Wang, Helen Meng, Xunying Liu
[Submitted on 3 Jul 2024]
Comments:   IEEE/ACM Transactions on Audio, Speech, and Language Processing
Subjects:   Audio and Speech Processing (eess.AS); Artificial Intelligence (cs.AI); Sound (cs.SD)

code：

本文所使用的图片要么来自论文、介绍性幻灯片，要么是参考这些图片制作的。

为了建立一个让残疾人和老年人都能做自己的社会

刚读到这个！论文超级摘要！

语音识别很方便，不是吗？你不必打字或翻阅任何东西。如今，它被称为智能家居，只要你有正确的词语，就可以做任何你想做的事。但是，有发音障碍的肢体障碍者和老年人怎么办？目前，这些技术都是针对健全人的，因此他们无法从最新技术中受益。本文将认真探讨这一问题。

现在，你可能知道，在语音识别领域，SSL（又称自监督学习）在各种语音相关任务中表现出色。然而，由于缺乏数据和语音特征的差异，直接将语音输入这些模型并不能提供足够的结果。因此，本研究旨在有效利用 SSL 模型，并建立一个专门针对他们语音的系统。

广义上讲，这项研究面临的问题是，你想提高有发音问题的人的语音识别准确率。这个问题有点大，所以我们把问题缩小一点。造成这个问题的因素有两个：缺乏数据和语音特征。说到发音障碍者的语音特征，是辅音缺失还是发音不清晰、不规范？这与正常人的语音还是有很大区别的。

在这项研究中，提出了一种将 SSL 模型与几种传统方法相结合的方法。在四个数据集上，这种方法显著提高了误差率，最高可达 30%。

在这项研究之前，人们采用的方法是直接根据 SSL 模型调整语音，但这种方法无法提供足够的性能。然而，在本研究中，在利用 SSL 模型特征的同时，通过灵活结合传统方法，可以获得更高的性能。对于有严重残疾的说话者来说，性能提高尤为明显。

这些结果可能主要适用于数据稀缺或与标准数据存在显著特征差异的语音识别任务。

最后，这项研究的成果非常重要，因为它们将极大地促进实现一个残疾人和老年人都能以自己的方式进行交流的社会，换句话说，一个残疾人和老年人都能做自己的社会。

什么是 A2A 逆变换模型？它为什么有效？

非常感谢你们读到这里！

如果你读到这里，说明你对这篇论文感兴趣，对吗？下面我将详细介绍...

现在请看上图。没有人能够在瞬间理解这一点。我会慢慢解释，尽可能详细。我认为这是本文非常重要和有趣的部分。

首先，什么是 A2A 模式？我试着解释一下。简单地说，它是从语音转换为另一种语音形式。在本文中，它是从语音特征到发音特征的转换。作为补充，发音是指发音时舌头和嘴唇的运动。

现在，让我们继续有序地描述架构的工作流程。首先，让我们快速了解一下流程。

1. 对 HuBERT 编码器进行三步微调
2. A2A 模式培训。
3. A2A 模型的逆变换

看起来是这样的让我们仔细看看。

首先，HuBERT 编码器要使用三个数据集进行三次微调：第一次使用健康数据，第二次使用发音障碍数据，第三次使用健康发音数据。之所以要进行这一繁琐的过程，是因为我们拥有的不同数据越多，就越能为不同的说话者和任务创建模型。

训练 A2A 模型的下一步是从健康人的发音数据中提取的特征作为输入，然后学习发音特征作为输出。这样就可以学习从语音特征到发音特征的转换。

最后，通过将从数据集中提取的声学特征作为训练有素的 A2A 模型的输入，对A2A 模型进行反变换，生成与发音障碍语音相对应的发音特征。

看起来是这样的，不是吗？你对它有了哪怕是模糊的把握吗？论文中还有更多深入浅出的理论和结构，但现在，我希望你们只需理解核心要点就可以回家了、

A2A 模式有何过人之处？

现在让我们来总结一下。说实话，A2A 模型只是本文提出的方法之一。

因此，原文是一篇非常庞大的研究成果报告，长达 16 页。网络文章的载体和超过 3000 字的长篇文章并不匹配，所以你必须做出选择。其中有很多有趣的方法和成果，但这次我稍微深入地介绍了 A2A 模型。

这种方法的创新之处在于，它允许使用不同的数据分阶段估算发音障碍语音的发音特征。这对于数据有限的发音障碍者非常有用。

我期待着研究的进一步发展，以实现一个残疾人和老年人都能以自己的方式进行交流的社会！

最后，本文展示了大量来自各种实验的有趣数据。不过，由于比较的模型太多，测试的任务太多，实验结果表实在是太拥挤了。在这篇文章中，我们希望大家了解的是针对听力障碍者和老年人的语音识别技术现状以及 A2A 方法模型。由于这两点已经传达，本文省略了实验条件和实验。

如果您对文章感兴趣，请使用文章开头的论文链接访问原文！

与女作家小笠原聊聊天

我们正在寻找有兴趣开展联合研究的公司和研究生！

他的专长是语音识别（实验系统），尤其是针对肢体障碍者。

这方面的资源有限，因此单独工作总是有限的。

谁愿意利用最新技术共同解决社会问题？

• 
• 
• 

与本文相关的类别

• 论文
• 语音识别
• 机器学习
• 深度学习
• 自监督学习
• BERT
• 人工智能
• 听力障碍者的语音识别
• 肢体瘫痪者的语音识别功能