Biomed-Enriched：具有 LLM 注释的大型生物医学数据集，具有临床和教育价值
三个要点
✔️ 对PubMed文章逐段进行LLM注释，可提取高质量的临床病例和有教育价值的句子
✔️ 临床句子上采样和教育价值过滤器可提高医学质量保证性能和学习效率
✔️ BE-All组合策略将提高性能和减少学习标记结合在一起，对多语言适应性有效可行性论证
Biomed-Enriched: A Biomedical Dataset Enriched with LLMs for Pretraining and Extracting Rare and Hidden Content
written by Rian Touchent, Nathan Godey, Eric de la Clergerie
(Submitted on 25 Jun 2025)
Comments: Dataset link: this https URL
Subjects: Computation and Language (cs.CL); Machine Learning (cs.LG)
本文所使用的图片要么来自论文、介绍性幻灯片，要么是参考这些图片制作的。
概述
本研究以 PubMed Central Open Access（PMC-OA）语料库为基础，提出了一个新的生物医学数据集 Biomed-Enriched，该数据集采用了基于 LLM 的分阶段注释。
虽然 LLM 在各种任务中普遍表现出很高的性能，但在医学和生物医学领域却缺乏专业性和术语准确性。
造成这种情况的原因之一是，训练数据主要来自网络，而专业领域的信息很少。特别是，由于隐私限制，临床数据很难公布，非英语数据也很少。
在本研究中，在 PMC-OA 中的约 1.3 亿个段落中，有 40 万个段落首先使用 Llama-3.1-70B-Instruct 进行了注释，然后将标签提炼成 XLM-RoBERTa-base 并应用于整个语料库。
这样，通过为每个段落分配类型（研究、临床案例、评论等）、领域（临床、生物医学、其他）和教育价值（1-5），就能提取高质量的临床案例和多语言片段。
实验表明，对临床句子进行上采样并根据教育价值进行筛选可提高医学质量保证的性能和学习效率。
建议的方法
拟议的方法 "Biomed-Enriched "具有逐段精确注释和数据过滤的特点。
在数据收集阶段，从 PMC-OA 中提取了约 450 万篇全文文章，删除了非文本元素，还剔除了少于 64 个标记的短句。
然后分两个阶段进行注释。
在第一阶段，使用 Llama-3.1-70B-Instruct 为随机选取的 400 000 个段落分配文本类型（临床病例、研究、综述或其他）、领域分类（临床、生物医学或其他）、教育价值（1-5 分）和语言。
第二步，将得到的注释提炼成 XLM-RoBERTa-base，并对所有段落进行有效分类。根据注释结果，BE-Educational（只保留教育值为 3 或更高的段落）、BE-Clinical（将临床领域的采样率提高 10 倍）、BE-ClinicalCase（增强临床案例）、BE-French（纠正多语言平衡）等。我们还构建了多个数据集衍生物。
我们还创建了 "BE-Prefix"，在段落开头提供注释元数据，并设计了将元信息与上下文关联起来的模型。
实验
在评估实验中，我们使用 OLMo2-7B-stage 1 作为基础模型，并在每个 Biomed-Enriched 派生数据集上训练了 3360 亿个额外标记。
结果与 BE-Base（未经处理的 PMC-OA）以及各种过滤和上采样版本进行了比较。
使用的评估指标包括 MMLU 医疗子集、MedQA、MedMCQA 和 PubMedQA，以及衡量法语适应性的 FrenchMedMCQA，并以零或五次拍摄来衡量性能。
结果显示，采用组合策略的 BE-All 表现最佳，平均得分率为 61.08%，比 BE-Base 提高了 0.67 分。其中，临床向上取样在 MMLU 专业医学中提高了 +4.04 分，教育价值筛选在 MedMCQA 和 PubMedQA 中有稳定的提高。
此外，BE-All 只用了 BE-Base 约三分之一的训练词块就达到了与之相当的性能，这证明了其较高的数据效率。
此外，BE-French 在使用 FrenchMedMCQA 时取得了显著的性能提升，证明了多语言支持的有效性。
与本文相关的类别
