模型|首篇NLP图神经网络综述来了! 127页文档让你全面了解这个领域

AI科技评论报道
作者 | 陈大鑫
近些年来，深度学习已经成为处理NLP各种任务的主要方法。由于用图（graph）来表征文本可以更好的获取文本的结构信息，且随着火热的图神经网络的兴起，各种各样的NLP问题开始用图结构的形式来表示和学习。因此，为大量的NLP任务开发新的图深度学习技术就成为了一个必要的需求。
今天AI科技评论为大家介绍一篇论文：《Graph Neural Networks for Natural Language Processing: A Survey》，在这篇论文中来自京东硅谷研发中心 (JD.COM Silicon Valley Research Center) 的首席科学家吴凌飞博士等研究者为NLP中的图神经网络技术提供了一个详尽的综述。

【模型|首篇NLP图神经网络综述来了! 127页文档让你全面了解这个领域】

文章插图

论文链接：https://arxiv.org/abs/2106.06090本文提出了一种新的面向NLP的GNNs（图神经网络）分类与综述，该分类法从图的构造、图表示学习和基于图的编码器-解码器模型三个方面系统地组织了已有的GNNs for NLP的研究。本文还进一步介绍了大量GNNs助力的NLP应用场景，并总结了相应的基准数据集、评估指标和开源代码。最后，文章讨论了 GNNs for NLP所面临的各种挑战以及未来的研究方向.
1
介绍
在NLP中，深度学习已经成为处理各种任务的主要方法，尤其是在大规模文本语料库中。之前在NLP任务中，文本序列被认为是一个token包，例如BoW和TF-IDF。而随着最近词嵌入（Word Embeddings）技术的成功，在NLP任务中，句子通常可以表示为一系列tokens。因此，递归神经网络和卷积神经网络等流行的深度学习技术被广泛应用于文本序列建模。
然而，有各种各样的 NLP 问题其实可以用一个图结构来表示。例如，可以利用文本序列中的句子结构信息（即依赖树和选区分析树等句法分析树），通过合并特定于任务的知识来扩充原始序列数据。
类似地，序列数据中的语义信息（即语义解析图，如抽象意义表示图和信息提取图）也可用于增强原始序列数据。因此，这些图结构的数据可以编码实体 tokens 之间复杂的成对关系，以便学习更多的信息表示。
不幸的是，由于图数据的复杂性，例如不规则结构和节点邻居大小的变化，对欧氏数据（例如图像）或序列数据（例如文本）具有破坏性的深度学习技术不能立即适用于图结构化数据。因此，这一差距推动了图深度学习研究的浪潮，特别是图神经网络（GNNs）的发展。
这一波研究浪潮在深入学习图和 NLP 的交叉上影响了各种自然语言处理任务。人们对应用和开发不同的GNNs变体的兴趣激增，并在许多NLP任务中取得了相当大的成功，其中包括句子分类等分类任务、语义角色标注、关系提取，到机器翻译、问题生成以及总结等生成任务。尽管这些已有的研究已经取得了一些成功，但是对于NLP图深度学习仍然面临如下诸多挑战，例如：如何自动将原始文本序列数据转换为高度图结构化的数据；如何正确地确定图表示学习技术，以及如何高效地建模复杂数据。

文章插图

图1. GNNs for NLP 综述结构树在这篇综述中，作者将首次对用于NLP的图神经网络进行全面的概述，本综述对机器学习和NLP社区都是一个及时雨，它涵盖了很多有趣的主题，比如NLP自动图构造、NLP图表示学习、各种基于GNNs的高级NLP编码器-解码器模型（如graph2seq、graph2tree和graph2graph），以及GNNs在各种NLP任务中的应用。