预测 2024 年巴黎奥运会手球比赛结果，并用 LLM 解释预测依据
三个要点
✔️ 提出一个模型，试图预测和解释法国手球队 2024 年奥运会的比赛结果
✔️ 利用过渡学习提高预测准确性，克服数据偏差和不足
✔️ 介绍一种使用 LLM 的方法，以普通读者易于理解的格式总结比赛结果预测
AI for Handball: predicting and explaining the 2024 Olympic Games tournament with Deep Learning and Large Language Models
written by Florian Felice
(Submitted on 22 Jul 2024)
Comments: Published on arxiv.
Subjects: Applications (stat.AP); Artificial Intelligence (cs.AI)
code：
本文所使用的图片要么来自论文、介绍性幻灯片，要么是参考这些图片制作的。
概述
奥运会是世界上最大的体育赛事之一，汇集了来自约 80 个国家的 3000 名运动员参加 40 个不同项目的角逐。
特别是在手球项目上，法国也曾在 2020 年东京奥运会上获得过金牌，并被认为是男子和女子比赛的夺冠热门。这是一个备受瞩目的项目，法国有望在本土奥运会上赢得一枚金牌。
本文提出了一个模型，利用统计学、深度学习（DL）和大规模语言建模（LLM）来预测法国手球队在 2024 年奥运会上的表现，并以简单明了的方式解释结果。
以往的研究发现，基于树的模型在预测方面更胜一筹，但所有这些模型都是处理数字数据，因此体育专家很难理解。因此，本文旨在建立一个更易于理解的预测模型，该模型考虑到了球队的组成，并纳入了球队阵容的信息。
LLM 的进步正在创造一种环境，让体育专业人员可以轻松获得先进的预测解决方案。
数据集概览
本文开发了一个模型，用于预测一场比赛中主队和客队的进球数。该模型使用机器学习来学习历史比赛数据，并分析影响球队进球数的因素。
数据通过 SportDevs 手球应用程序接口收集，由多模态数据组成，包括数字和文本数据。在此基础上，还定义了四种类型的特征。
首先是比赛信息。这是包含比赛基本信息的数字数据，如比赛日期、时间和重要性。时间代表比赛的开始时间，清晨进行的比赛可能不太重要，参赛队也可能准备不足。就重要性而言，比赛的重要性按从友谊赛（4 分）到奥运会（10 分）的等级进行评分，如下表所示。
其次是团队信息。这是关于球队组成和疲劳程度的数字数据。其中包括旅行距离数据，表示从球队所在地到比赛地点的距离（以公里为单位），以便估算旅行造成的疲劳程度。还包括俱乐部数量。这表示每支球队的球员所属俱乐部的数量。俱乐部越少，球员越有可能经常在一起比赛。
第三项是球队实力。该数据量化了一支球队的攻防实力。这是影响比赛结果的重要因素。攻防实力都是根据主队和客队的能力进行估算和量化的。
第四个是团队阵容。这是显示球队成员组成的文字数据。球员名单在赛前公布。主队和客队的球员名单最多为 16 人。
数据预处理
数据预处理对于将这些数据纳入模型非常重要。特别是对于球队阵容数据，球员的全名被视为代币，主队和客队的球员名单被合并生成一个最多包含 32 名球员的向量。该向量被转换为数字数据，更易于模型理解。
不过，数据收集工作也面临一些挑战。阵容数据并不总是在所有比赛中都有记录，可能会有遗漏。在这种情况下，会使用赛季中最后一次记录的阵容来补充数据。对于俱乐部球队的数据，会对数据进行过滤，以排除阵容缺失的比赛，而对于国家队，缺失的数据也会被纳入模型中。
同时也考虑到了数据量存在较大偏差的事实。从下表中可以看出，俱乐部队的数据量远大于国家队，男性数据量是国家队数据量的 8.9 倍，女性数据量是国家队数据量的 6.1 倍。这一差异对预测结果产生了影响，但通过对俱乐部球队数据进行过渡学习，这一影响得到了缓解。
比赛结果预测模型概览
本文采用了深度学习（DL）技术。传统的基于树的方法使用球员年龄和身高等数字数据，但仅凭这些数据，体育专家很难理解这些数据如何影响比赛结果。
因此，使用神经网络可以更直接地将个别球员的信息纳入模型。这样，体育专业人士就能具体识别球员的名字，更直观地了解他们对比赛的影响。
具体来说，除了比赛和球队信息以及与实力相关的数据外，该模型还利用嵌入层纳入了球员阵容信息。该嵌入层将每位球员的名字转换成固定大小的数字向量。这样，模型就能了解每名球员的特点对比赛结果的影响。
通常，该嵌入层的初始化是随机进行的，但本文采用了一种称为过渡学习的技术，利用从预先训练好的模型中学习到的权重。这提高了模型的学习效率，使预测更加准确。
解释预测结果的语言模型概览
本文的目的不仅在于准确预测比赛结果，还在于提供一个易于理解的解释，说明预测结果是如何得出的。因此，本文利用神经网络的特性，采用 "综合梯度"（Integrated Gradients）方法计算得分，以显示每个输入特征对预测结果的影响程度。这种方法将输入数据与参考数据进行比较，以确定输入数据对模型输出的贡献。
然而，对于目标用户--体育专家来说，由此获得的解释是复杂而难以理解的。此外，由于比赛数据中包含大量项目，要正确解释所有项目是一项非常困难的任务。
为了应对这一挑战，本文介绍了一种利用大型语言模型（LLM）以简短易懂的方式总结技术信息的方法。具体来说，本文使用了开源的 Mistral 7B 指令模型。该模型已在互联网上的大量文本数据中进行过训练，能够推理和总结各种主题。该模型还经过压缩，因此可以在较小的服务器上运行，并减少内存使用量。
首先，将预测模型和 XAI（可解释人工智能）的输出数据输入 LLM。这里提供了基本的上下文信息，如比赛日期、球队信息和预测比分，以便模型能根据这些信息生成比赛摘要。然后，每个特征对预测影响的简要说明将为模型提供指导。这样，模型就能专注于重要的特征，并得出有意义的结论。最后，从 XAI 中获得的详细特征得分将被添加并输入模型，包括每个球员的信息。
我们还在提示中加入了一些示例，以便 LLM 生成适当的摘要。这是一种称为 "上下文学习"（in-context learning）的方法，它利用过去的匹配结果让模型学习预期的输出。输入几份人工生成的匹配报告，可让模型生成一致的摘要。不过，为了确保模型不会重复相同的模式，我们也尽量确保示例的多样性。
最后，对学习者进行具体指导。明确说明如何处理输入数据和利用示例，并具体说明预期的摘要内容和结论。这一步对于确保模型不会得出错误结论也至关重要。
这样，LLM 就能以一种易于理解的形式为非机器学习专家的用户提供复杂的匹配数据。
模型的预测性能
在此，我们评估了所开发的模型在预测国际赛事方面的准确性，并进一步分析了过渡学习对其准确性的影响。最后，我们展示了对 2024 年奥运会的预测结果，并对模型的解释能力进行了评估。
首先，我们评估了模型在国际比赛测试集上的预测准确性，发现误差比之前的研究要大，如下表所示。误差增大的原因可能是我们使用了国家队而非俱乐部球队的数据进行评估。
国家队的数据量较小，降低了模型的准确性，这也是引入过渡学习的原因。上表中的结果证实，过渡学习的使用持续减少了测试集上的误差。这说明俱乐部球队数据中的预训练信息对国家队模型有帮助。
此外，下图显示了迁移学习对模型学习过程的显著影响。在训练集和验证集上，使用迁移学习时的损失曲线（蓝色）都低于不使用迁移学习时的损失曲线。
也有可能在几个epoch后出现过度学习，但很明显，如果不使用过渡学习，影响会更大。为了降低过度学习的风险，我们采用了 "提前停止 "的方法，即当验证损失不再减少时停止训练。在上图中，提前停止训练是在两个历元之后进行的
结果表明，由于嵌入层的权重不是随机初始化的，因此使用过渡学习可以降低初始阶段的验证损失，并最终获得更好的性能。
上述情况表明，将俱乐部球队模型中的预习信息转移到国际比赛模型中，可以使训练更加顺畅，预测更加准确。
2024 年巴黎手球锦标赛预测
法国被认为是 2024 年奥运会男子和女子手球比赛的最大热门。法国队在 2024 年 1 月举行的男子欧锦赛上通过加时赛击败丹麦队（33：31）成为欧洲冠军，并在此前举行的女子世锦赛上战胜挪威队（31：28）夺得世锦赛冠军，这些都增强了人们对法国队的期待。自 2020 年世锦赛以来，法国男队和女队也一直备受关注。此外，在 2020 年东京奥运会上，法国男队和女队也都获得了金牌。
本文开发的基于深度学习的预测模型用于预测 2024 年奥运会手球半决赛和决赛的结果。预测结果表明，在上届奥运会中进入决赛的队伍很可能在本届奥运会中再次登上领奖台。
首先，关于男子比赛，下表显示法国队和丹麦队将在半决赛中相遇，预计法国队将获胜。决赛中，法国队将对阵克罗地亚队，预计法国队将夺得新一届奥运会冠军。
接下来是女子比赛，根据下表的预测，法国队有望对阵挪威队，与上届世锦赛一样，法国队将夺得金牌。在铜牌争夺战中，瑞典也将战胜丹麦，为 2023 年世锦赛复仇。
由 LLM 生成解释
除了预测每支球队的得分，论文还分析了影响这些预测的因素。例如，本文研究了被预测为男子手球决赛的法国队与克罗地亚队之间的比赛。在这场比赛中，预测法国队将以 35-24 的比分获胜并赢得金牌。
为了更好地理解预测的基础，我们使用了 "综合梯度 "方法来分析深度神经网络是如何利用每个特征来预测得分的。通过这种方法，我们可以直观地看到每个输入数据对预测的影响。例如，以法国队为重点的分析显示了每个特征对预测的贡献程度。
接下来，为了让普通读者更容易理解比赛预测结果，我们使用了 LLM，以通俗易懂的方式对技术内容进行总结；下图是 LLM 生成的总结示例。
在这里，模型正确反映了法国队将以 35-24 的比分战胜克罗地亚队的预测。虽然模型没有使用 "决赛 "一词，但它仍然明白奥运会是手球运动中最负盛名的比赛。
模型还提到迪卡-梅穆和埃洛欣-普兰迪是法国队战术中的关键球员。模型还提到了边翼球员的快速进攻能力，这很好地体现了法国队的优势。
最后，还提到了克罗地亚中后卫伊戈尔-卡拉契奇的影响力，强调了该球员入选 2020 年欧锦赛全明星队的记录。摘要证实了法国队将凭借强大防守取胜的预测。
摘要
本文提出了一个可预测 2024 年奥运会手球比赛的模型，并以通俗易懂的方式进一步解释了预测结果。该预测模型基于深度神经网络，并利用俱乐部球队数据从预先训练的模型中学习迁移学习。虽然面临数据量有限的挑战，但这种方法得出了合理的预测结果，满足了体育专业人士的期望。
本文的结果是在2024 年奥运会之前预测的，截至本文撰写之时，结果已经出炉。与实际结果相比，如下表所示，"女生的结果比较接近，但男生的结果相差甚远。作为一个预测模型，它被认为是不准确的，需要进一步改进。在男子组中，法国队被预测为第一名，但实际结果却是令人失望的第 8 名。
| 订单 | 预报 | 实际结果 |
| 1 | 法国 | 丹麦 |
| 2 | 克罗地亚 | 德国 |
| 3 | 丹麦 | 西班牙。 |
| 4 | 西班牙。 | 斯洛文尼亚 |
| 订单 | 预报 | 实际结果 |
| 1 | 法国 | 挪威 |
| 2 | 挪威 | 法国 |
| 3 | 瑞典 | 丹麦 |
| 4 | 丹麦 | 瑞典 |
进一步收集数据并提高数据的质量和数量被认为是今后改进工作的必要条件。然而，在某些比赛中，尤其是在友谊赛中，缺乏系统的报告是数据收集的主要瓶颈。这也需要人工收集数据并确定更可靠的数据来源。
为提高预测模型的性能，可专门针对球员表现和统计数据（如进球数、拦截数等）开发专用模型。这些模型可用于关注单个球员的表现，以实现更先进的预测。不过，这同样取决于各联合会提供数据的质量和数量。
此外，更有效的模型选择可能是进一步提高基于 LLM 的解释质量的下一个挑战。本文使用的是 Mistral 7B Instruct 的量化版本，以节省计算资源，但利用更大的模型和更详细的提示模板可以实现更高级的预测和解释。
与本文相关的类别
