解读蛋白质中的 "语言" - ProteinBERT.

生物信息学 22/03/2022

三个要点
✔️ 除了传统的MLM任务外，还增加了预测GO注释的任务，用于预训练蛋白质语言模型。
✔️ 提出了一种架构，通过分别处理局部和全局特征，比传统的神经网络更小更快。
✔️ 在包括结构预测和翻译后修饰预测在内的基准测试中优于传统方法

ProteinBERT: A universal deep-learning model of protein sequence and function
written by Nadav Brandes, Dan Ofer, Yam Peleg, Nadav Rappoport, View ORCID ProfileMichal Linial
(Submitted on 25 May 2021)
Subjects: Bioinformatics
Copyright:The copyright holder for this preprint is the author/funder, who has granted bioRxiv a license to display the preprint in perpetuity. It is made available under a CC-BY 4.0 International license.
code：

本文所使用的图片要么来自论文、介绍性幻灯片，要么是参考这些图片制作的。

介绍

蛋白质可以被认为是一种弦，因为它们是由20种不同的氨基酸连接而成的。这导致了越来越多的研究将自然语言处理技术应用于蛋白质。

这种研究的一个例子是蛋白质语言建模。目前正在研究将上下文感知的词嵌入计算方法，如自然语言处理中的BERT，应用于蛋白质，以获得有用的预学习模型，用于下游任务，如二级结构预测和翻译后修饰。解释蛋白质语言模型已经引起了很多关注，因为它们有可能发现以前未发现的生物学见解。

然而，蛋白质和自然语言之间存在着明显的差异，包括

蛋白质没有明确的成分，如单词或句子
蛋白质在序列长度上显示出比自然语言更大的变化
即使蛋白质在序列上相距甚远，由于立体结构等原因，它们也可以相互作用。

因此，有必要找到成功建立这些蛋白质特征模型的方法。

为了考虑到蛋白质的这些特征，这里介绍的ProteinBERT设计了一个架构，分别考虑局部和全局的表示。与传统的自然语言处理中使用的架构相比，这能以更小的网络规模实现更快的训练。

学习前的任务

ProteinBERT在自然语言处理中遵循BERT，并通过两个任务进行预训练：屏蔽语言建模（MLM）和基因本体（GO）注释预测。

GOs是基于基因在细胞中发挥的功能及其亚细胞定位信息的分级分类，而注释则是构建基因和GOs之间的对应关系。在本文中，通过向输入的氨基酸序列和GO注释标签添加噪声来进行学习，让深度学习模型恢复原始输入。这两个任务是同时训练的，整个模型的损失是预测每个站点的标记的交叉熵和预测GO注释标签的二元交叉熵之和。

预测每个部位的氨基酸的MLM任务可以被看作是学习局部特征，而预测GO注释可以被看作是学习全局特征。