图机器学习无处不在，用 Transformer 可缓解 GNN 限制( 四 ) 作者|ClémentineFourrier编译|黄楠

GRPE:RelativePositionalEncodingforGraphTransformer ，介绍了图相对位置编码Transformer ，其通过将图级位置编码与节点信息、边级位置编码与节点信息相结合，并将两者结合在注意力中来表示图。
GlobalSelf-AttentionasaReplacementforGraphConvolution ，引入了EdgeAugmentedTransformer ，该体系结构分别嵌入节点和边缘，并将它们聚合在经过修改的注意力中。
DoTransformersReallyPerformBadlyforGraphRepresentation ，介绍了微软的Graphormer ，它在OGB上问世时获得了第一名。该架构使用节点特征作为注意力中的查询/键/值，并在注意力机制中将它们的表示与中心性、空间和边缘编码相结合。
近期有研究“PureTransformersarePowerfulGraphLearners”在方法中引入了TokenGT ，将输入图表示为一系列节点和边嵌入，也即是使用正交节点标识符和可训练类型标识符进行增强，没有位置嵌入，并将此序列作为输入提供给Transformers ，此方法非常简单，同时也非常有效。

文章图片
论文地址：https://arxiv.org/pdf/2207.02505.pdf
此外，在研究“RecipeforaGeneral,Powerful,ScalableGraphTransformer”中，跟其他方法不同的是，它引入的不是模型而是框架，称为GraphGPS ，可允许将消息传递网络与线性（远程）Transformer结合起来，轻松创建混合网络。该框架还包含几个用于计算位置和结构编码（节点、图形、边缘级别）、特征增强、随机游走等的工具。

文章图片
论文地址：https://arxiv.org/abs/2205.12454
将Transformer用于图在很大程度上仍处于起步阶段，但就目前来看，其前景也十分可观，它可以缓解GNN的一些限制，例如缩放到更大或更密集的图，或是在不过度平滑的情况下增加模型大小。
参考链接：https://huggingface.co/blog/intro-graphml
更多内容，点击下方关注：
mp-common-profile
文章图片
未经「AI科技评论」授权，严禁以任何方式在网页、论坛、社区进行转载！
公众号转载请先在「AI科技评论」后台留言取得授权，转载时需标注来源并插入本公众号名片。
【图机器学习无处不在，用 Transformer 可缓解 GNN 限制】雷峰网