知识图谱在人类与人工智能的合作中不断发展！全新链接预测技术 KG-HAIT 的完整故事

神经网络 01/11/2024

三个要点
✔️ 知识图谱嵌入（KGE）模型中人与人工智能合作的重要性。
✔️ 使用人类设计的动态编程（DP）生成人类洞察特征（HIF）向量。
✔️ 利用 KG-HAIT 系统提高链接预测任务的性能和训练效率。

Harmonizing Human Insights and AI Precision: Hand in Hand for Advancing Knowledge Graph Task
written by Shurong Wang, Yufei Zhang, Xuliang Huang, Hongwei Wang
(Submitted on 15 May 2024)
Comments: Published on arxiv.
Subjects: Machine Learning (cs.LG); Artificial Intelligence (cs.AI)

code：

本文所使用的图片要么来自论文、介绍性幻灯片，要么是参考这些图片制作的。

概述

知识图谱（KG）凭借其强大的表现力，已被应用于关系发现、问题解答和推荐系统等多个领域。然而，尽管知识图谱规模庞大，但其本身并不完整，人工知识收集永远不够。因此，知识图谱补全（KGC）作为一种发掘额外信息以扩展知识图谱的策略备受关注。而作为 KGC 的核心，链接预测（LP）致力于在现有知识的基础上提取新的可靠知识，它在很大程度上得益于机器学习（ML）技术。

本文提出了一种新颖的方法，通过将人类洞察力与知识图谱嵌入（KGE）领域的先进技术相结合来提高 LP 任务的性能。具体来说，它利用完全由人类设计的动态编程（DP）来生成人类洞察力特征（HIF）向量，以捕捉知识图谱的结构特征和语义相似性，然后将其纳入 KGE 模型的训练中，从而显著提高模型的准确性和收敛速度。

该方法旨在利用人工智能的计算能力和高精度能力，同时利用人类的概念分析和创造能力，克服传统 LP 方法的局限性。论文的结果表明，在一系列基准测试中，KG 分析技术都有了显著提高，这表明KG 分析技术具有进一步探索和创新的潜力。希望这将为人工智能与人类的合作开辟新的途径，从而开发出更有效、更有洞察力的知识图谱分析方法。

拟议方法（KG-HAIT）

本研究提出了一种通过人机合作进行链接预测（LP）的新系统 KG-HAIT。该系统利用人类的洞察力提取知识图谱（KG）的特征，并将其纳入人工智能模型的训练中，以提高其性能。建议的方法包括三个主要部分（见图 2）

1. 构建人类洞察力特征向量（HIF/实体）

首先，使用完全由人工设计的动态编程（Dynamic Programming，DP）来汇总每个实体周围的图结构信息，从而生成 HIF 实体。这样就能捕捉到实体的局部子图特征和语义相似性；DP 的计算过程如下。

在初始化步骤中，计算每个实体周围进出边缘的权重。
∙ 在随后的步骤中，重复与实体邻域的交互，以获得每个实体的最终 HIF 实体。

详细计算过程见算法 1。

2. 降维

然后，找到一个变换矩阵来调整 HIF 实体的维度，以适应任意数量的维度。具体来说，在保留每个 HIF 实体对的余弦相似度的同时，对维度进行压缩。这就将它们转换成了人工智能模型可以使用的低维向量，同时保留了原始高维空间中的信息。

3. 构建人类洞察力特征向量（HIF/相关性）

由于 HIF 相关性的构建比较困难，因此使用了 HIF 实体和人工智能模型本身。具体来说，使用 HIF 实体初始化的 KGE 模型会经过多次历时训练，由此产生的关系嵌入向量就是 HIF-关系。这可确保关系嵌入反映人类的洞察力，并有助于人工智能模型的训练。

利用所提出的方法，KG-HAIT 在链接预测任务中取得了显著的性能提升，显示了人类洞察力对 KGE 模型训练的影响。

试验

实验细节

本研究使用了三个数据集（FB15k/237、WN18RR 和 LastFM/9）来评估建议的 KG/HAIT 系统的有效性。每个数据集的详情如下（见表 II）。

FB15k/237：从 FreeBase 提取并改进的数据集，以避免测试泄漏问题。
WN18RR：基于 WN18 建立的数据集，已修复测试泄漏问题。
LastFM.9：从在线音乐平台 last.fm 收集的音乐收听数据集。

每个数据集中的实体、关系和三元组数量如表 II 所示。

实验中使用了三个 KGE 模型（TransE、TransH 和 TransR），并在应用和未应用拟议的 HIF 的情况下进行了比较。所有模型均在 PyTorch 中实现，并在 NVIDIA GeForce RTX 3090 GPU 上进行训练。训练以迷你批次进行（批次大小为 2000），并使用 Adam 作为优化器。通过网格搜索选择超参数。

结果

1. 链接预测：应用 HIF 后，所有 KGE 模型的性能都有显著提高。表 III 显示了每个模型在使用和不使用 HIF 时的结果。其中，MR（平均排名）平均降低了 42.8%，H@1（命中率@1）在 WN18RR 中提高了约四倍，在 LastFM/9 中平均提高了 44%，在 FB15k/237 中提高了 20%以上。

表 III 显示了应用和未应用 HIF 的 TransE、TransH 和 TransR 模型的结果。

2. 语义相似性：我们已经证明，HIF 有能力捕捉实体的语义相似性。

图 1 显示了一个例子，同一类型的实体表现出相似的子图结构。图 4 以混淆矩阵的形式显示了两个选定实体类型（国家/地区和机构）之间的余弦相似度计算结果。

国家/地区内部的平均相似度为 71.36%，机构内部的平均相似度为 72.30%。

3. 收敛速度：应用 HIF 的 TransE 模型的收敛速度明显提高。

图 5 显示了 LastFM/9 数据集中 H@10 和 MR 的逐时变化：对于 H@10 指数，应用了 HIF 的 TransE 在前 100 个时程迅速增长，并在 200 个时程后收敛。相比之下，未使用 HIF 的 TransE 在 400 个历元之前没有收敛迹象。

审议

实验结果表明，KG-HAIT 系统在链接预测任务中取得了显著的性能提升。特别是，我们发现人类洞察力捕捉实体语义相似性的能力有助于提高 KGE 模型的性能。由于收敛速度的提高，训练效率也得到了明显改善。未来的工作将通过应用更先进的模型和深入分析 HIF 向量，更深入地探索人类与人工智能的合作机制。

结论

在这项研究中，我们提出了一种新颖的链接预测系统 KG-HAIT，它将人类洞察力与人工智能的计算能力相结合。并将其纳入 KGE 模型的训练中，以提高链接预测性能。实验结果证实，在几个基准数据集上，HIF 显著提高了模型的准确性，还加快了训练收敛的速度。

展望未来，第一步是将 KG-HAIT 的应用范围扩大到更先进、更复杂的 KGE 模型。同样重要的是对 HIF 向量进行详细分析，找出其性能提高背后的机制。此外，我们还将深化人类与人工智能的合作，推动开发更有效、更有洞察力的知识图谱分析方法。这有望在数据挖掘、决策和推荐系统等多个领域得到应用。最终，我们希望通过构建人类与人工智能紧密合作的新系统，为知识图谱任务的进一步发展做出贡献。