MATE：マルチエージェントによるアクセシビリティ特化モダリティ変換フレームワーク
3つの要点
✔️ 障害者支援を目的とした、モダリティ変換特化型のオープンソース・マルチエージェントシステム『MATE』を提案
✔️ モダリティ変換タスク分類用データセットModConTTとBERT微調整モデルを開発
✔️ 提案モデルは既存LLMやML手法を上回る精度を達成し、多分野での応用可能性を示した
MATE: LLM-Powered Multi-Agent Translation Environment for Accessibility Applications
written by Aleksandr Algazinov, Matt Laing, Paul Laban
(Submitted on 24 Jun 2025 (v1), last revised 15 Jul 2025 (this version, v2))
Comments: Published on arxiv.
Subjects: Multiagent Systems (cs.MA); Artificial Intelligence (cs.AI); Machine Learning (cs.LG)
概要
本研究では、障害のある利用者が直面するデジタル環境でのアクセシビリティ不足を解消するため、マルチエージェントシステム（MAS）を活用したオープンソースの支援フレームワーク「MATE（Multi-Agent Translation Environment）」が提案されています。
MATEは、ユーザーの要望に応じて異なるモダリティ（テキスト、音声、画像、動画など）間の変換を実行し、視覚や聴覚に制約のある人々が情報へ容易にアクセスできるようにします。
特徴として、ユーザーの入力を解析して最適な変換タスクを自動判別する「ModCon-Task-Identifier」モデルを搭載し、テキスト音声化（TTS）、音声認識（STT）、画像キャプション生成（ITT）、画像音声説明（ITA）など多様なタスクを実現。
さらに、モダリティ変換タスク分類用の専用データセット「ModConTT」を構築し、既存LLMや機械学習モデルと比較した評価を行いました。
結果として、提案モデルは高精度かつ低コストで動作し、医療・教育・交通など幅広い領域での応用可能性が示されています。
提案手法
MATEは、ユーザーのリクエストを解釈する「インタープリターエージェント」と、特定の変換タスクを実行する7種類の「専門エージェント」から構成。
インタープリターエージェントは、入力文からタスク種別を特定し、該当する専門エージェントへ処理を振り分けます。
各エージェントは既存の高性能モデル（例：Whisper、Stable Diffusion、Tacotron 2、BLIPなど）を活用し、TTS、STT、TTI（テキスト→画像）、ITT（画像→テキスト）、ITA（画像→音声）、ATI（音声→画像）、VTT（動画→テキスト）といった変換を実行。
タスク判定には、著者らが作成したModConTTデータセットを用いてBERTを微調整したModCon-Task-Identifierを採用し、汎用LLMやクラシカルな機械学習モデルより高い精度を実現しました。
システムはローカル実行を前提としており、プライバシー保護と柔軟なカスタマイズが可能で、医療や教育分野のリアルタイム支援に適しています。
実験
実験では、まずModConTTデータセットを用い、複数のLLM（GPT-3.5-Turbo、Llama-3.1-70B、GLM-4-Flash）をインタープリターとして比較。
230サンプルのタスク分類では、GPT-3.5-Turboが精度0.865と高性能を示しましたが、最も高精度だったのはBERTを微調整したModCon-Task-Identifierで、精度0.917・F1スコア0.916を達成。
さらに、TF-IDFおよびBERT埋め込みを用いたロジスティック回帰やランダムフォレストなどのクラシカルモデルとも比較し、提案モデルの優位性を確認しました。
誤分類分析では、UNK（不明タスク）カテゴリでの失敗率が最も高く、次いでSTTやATVが多い傾向が見られました。
これらの結果は、複雑なモダリティ変換タスクにおいてMAS＋特化モデルが有効であることを示し、医療や教育の支援ツールとして高い実用性を持つことを裏付けています。
この記事に関するカテゴリー
