你的 GNN，可能 99% 的参数都是冗余的( 三 ) 文|iven自从图卷积神经网络（

文章图片
此外，作者还举出一个例子，来演示GSC的推理过程。直接通过每一步的分数，我们就能得到推理路径，最终答案节点也得到一个分数，在不同的答案之间就用这个分数做出选择。

文章图片
思考和总结
这篇文章表明GNN中很多模块对于推理都是可有可无的。但似乎这和我们之前的印象有些不同？
大家一直都说，信息在图上传播的路径就是推理路径。 GAT的attention权重就是传播信息的一个权重，因此大家在casestudy上看信息传播路径的时候，都是找attentionscore大的，看做信息传播的下一跳。然而本文却表明， attention这部分参数对于结果几乎没有用？另外，在基于counter的模型上， casestudy中依然能复现出信息传播的过程。那这是不是说，节点之间的attentionscore没有必要，节点自己的表示就足够了？那GAT为什么又会比GCN好呢？
GNN里面到底哪些是有用的参数？推理真正需要什么模块？这些都需要更多的研究和思考。
参考文献
[1]MichihiroYasunaga,et.al.,''QA-GNN:ReasoningwithLanguageModelsandKnowledgeGraphsforQuestionAnswering'',NAACL2021,https://arxiv-download.xixiaoyao.cn/pdf/2104.06378.pdf
【你的 GNN，可能 99% 的参数都是冗余的】[2]GuoshunNan,et.al.,''ReasoningwithLatentStructureRefinementforDocument-LevelRelationExtraction'',ACL2020,https://arxiv-download.xixiaoyao.cn/pdf/2005.06312.pdf

文章图片