图机器学习无处不在，用 Transformer 可缓解 GNN 限制作者|ClémentineFourrier编译|黄楠

文章图片
作者|ClémentineFourrier
编译|黄楠编辑|陈彩娴
在我们今天的生活中，图的示例包括社交网络、例如Twitter、Mastodon、以及任何链接论文和作者的引文网络，分子，知识图、例如UML图、百科全书以及有超链接的网站，表示为句法树的句子以及任何的3D网格等，可以说图已经无处不在。
近日， HuggingFace研究科学家ClémentineFourrier在文章《IntroductiontoGraphMachineLearning》就介绍了今天这种无处不在的图机器学习。什么是图形？为什么要使用图？如何最好地表示图？人们如何在图上学习？ClémentineFourrier指出，图是对由关系链接项目的描述，其中，从前神经方法到图神经网络仍然是目前人们常用的图上学习方法。
此外，有研究人员近期也开始考虑将Transformers应用于图中， Transformer具有良好的可扩展性，可缓解GNN存在的部分限制，前景十分可观。
1图是对关系链接项目的描述从本质上来看，图是对由关系链接项目的描述。图（或网络）的项目称为节点（或顶点），由边（或链接）来进行连接。例如在社交网络中，节点是用户，边是用户彼此间的连接；在分子中，节点是原子，边缘是它们的分子键。
一个有类型节点或类型边的图被称为异质图，举个例子，在引文网络的项目可以是论文或作者，有类型节点，而XML图中的关系有类型边；它不能仅仅通过其拓扑结构来表示，还需要额外的信息
图也可以是有向的（例如追随者网络， A跟随B并不意味着B跟随A）或无向的（例如分子、原子之间的关系是双向的）。边可以连接不同的节点或一个节点与自身（自边），但并非所有节点都需要连接
可以看到，使用数据必须首先考虑其最佳表示，包括同质/异质、有向/无向等。
在图层面，主要任务包括以下：
图形生成，用于药物发现以生成新的合理分子
图演化，即给定一个图来预测它将如何随时间演化，在物理学中可用于预测系统的演化
图级预测，来自图的分类或回归任务，例如预测分子的毒性
节点层通常是对节点属性的预测，例如Alphafold使用节点属性预测来预测给定分子整体图的原子3D坐标，从而预测分子如何在3D空间中折叠，这是一个困难的生物化学问题。
边缘的预测包括边缘属性预测和缺失边缘预测。边缘属性预测有助于对药物副作用的预测，给定一对药物的不良副作用；缺失边预测在推荐系统中则是用于预测图中的两个节点是否相关。
在子图级别中，可进行社区检测或子图属性预测。社交网络可通过社区检测来确定人们的联系方式。子图属性预测多应用在行程系统中，例如谷歌地图，可用于预测预计到达时间。
当要进行预测特定图的演变时，转换设置工作中的所有内容，包括训练、验证和测试等，都可在同一个图上完成。但从单个图创建训练、评估或是测试的数据集并非易事，很多工作会使用不同的图（单独的训练/评估/测试拆分）完成，这被称为归纳设置。
表示图处理和操作的常见方法有两种，一种是作为其所有边的集合（可能由其所有节点的集合补充），或是作为其所有节点之间的邻接矩阵。其中，邻接矩阵是一个方阵（节点大小×节点大小），指示哪些节点直接连接到其他节点。要注意的是，由于大多数图并不是密集连接的，因此具有稀疏的邻接矩阵会使计算更加困难。
图与ML中使用的典型对象非常不同，由于其拓扑结构比“序列”（如文本和音频）或“有序网格”（如图像和视频）更复杂：即便可以将其表示为列表或矩阵，但这种表示不可以被视为是有序对象。也即是说，如果打乱一个句子中的单词，就可以创造一个新句子，如果将一个图像打乱并重新排列它的列，就能创建了一个新图像。