Graphormer是一种基于Transformer架构的图深度学习模型，以下是关于它的详细介绍：
核心思想
Transformer最初是为序列建模设计，在处理图数据时不能很好地利用图的结构信息。Graphormer的核心思想就是通过引入多种有效的结构化编码方法，将图的结构信息融入到Transformer中，以使其能够更好地对图数据进行建模。
关键技术
-
Centrality Encoding（中心性编码）：利用度中心性为每个节点分配一个可学习向量，并将其添加到输入层中的节点特征中，用于捕获节点的重要性。
-
Spatial Encoding（空间编码）：计算节点之间的最小连接路径，将图的结构嵌入到一个矩阵中，以表示图中节点的空间关系，反映全局连接关系。
-
Edge Encoding in the Attention（注意力中的边编码）：找到节点间的最短路径，并计算沿该路径的边缘特征和可学习嵌入的点积的平均值，将其融入到注意力机制中。
特点
-
通用性：适用于多种分子建模场景，可应用于分子预测、化学反应模拟、药物研发等领域。
-
灵活性：可以轻松修改和扩展以适应不同需求，研究人员和开发者能根据具体任务对其进行定制化开发。
-
高效性：优化了训练过程，提高了计算资源的利用效率，在处理大规模图数据时也能表现出较好的性能。
应用领域
-
分子预测：如在PCQM4M和Open Catalyst等任务中，能够对分子的各种性质进行预测。
-
化学反应模拟：可以模拟化学反应过程，帮助研究人员理解反应机理，预测反应产物等。
-
药物研发：在药物活性预测方面，通过对大量化合物数据库进行分析，预测新合成分子的生物活性，加速药物筛选过程。
-
蛋白质设计：如基于Graphormer的蛋白质设计模型GPD，能够在三维蛋白质结构的图表示基础上，利用Transformer模型设计新的蛋白质序列。