LLMでドメイン汎化のための学習データを作る

3つの要点

✔️ NLIタスクのドメイン汎化性能を向上させるために、LLMを用いた合成データ生成手法を提案。
✔️ 提案した方法により生成した合成データを学習に用いた場合、特にモデルサイズが小さい（高速な推論が重要な）場合に有効。
✔️ さらに、十分大きなモデルに対して合成データを学習させることで分布内性能を改善することも示した。

A Synthetic Data Approach for Domain Generalization of NLI Models
written by Mohammad Javad Hosseini, Andrey Petrov, Alex Fabrikant, Annie Louis
(Submitted on 19 Feb 2024 (v1), last revised 28 Jun 2024 (this version, v2))
Subjects: Computation and Language (cs.CL)

code：

 

• 
• 
• 

この記事に関するカテゴリー

• 自然言語処理
• Dataset Synthesis with LLM
• dataset
• Large language models
• Datasets