Michael Bronstein从代数拓扑学取经,提出了一种新的图神经网络计算结构!( 四 )
文章图片
图注:应用于2-单纯形的边界算子产生一个三角形 。 再次将算子应用于三角形 , 结果为零 , 由于三角形是一个循环 , 因此它没有边界 。
拓扑信息传递可以看作是代数算子(例如边界算子)的(非线性)推广 。 因此 , 拓扑信息传递表现类似是有必要的:我们希望各层的输出能够“一致”地响应输入复合物方向的变化 。 换句话说 , 我们希望我们的层是方向等值的 。 在工作中 , 我们研究了拓扑信息传递是如何通过选择合适的非线性和信息传递函数来满足这一特性 , 同时 , 纯卷积设置中也对这一点进行了研究 。
区分拓扑空间最早已知的拓扑不变量之一、欧拉特征 , 最初用于柏拉图固体的分类 , 我们可以将其定义为每个维度中单元格数量的交替总和 。 令人惊讶的是 , 如果两个细胞复合体是同胚的 , 即便它们是同一空间的不同离散 , 这些和也将是一致的 。
有趣的是 , 拓扑信息传递模型的读出操作 , 使其能很容易计算出该拓扑的不变性 , 因为它对每个维度单元应用了一个可包容不变量的还原 。
因此 , 这类模型在构造上可以区分某些非同构的空间(即具有不同的欧拉特征) 。 从计算的角度来看 , 这可以被看作是WL测试的一种推广 , 在WL测试中 , 我们不仅仅对确定两个细胞复合物是否相同感兴趣 , 也对它们是否彼此同构感兴趣 。
离散霍奇理论离散霍奇理论为细胞复合物的拓扑性质提供了一个更几何的解释 。 当与k-细胞相关的特征符号取决于k-细胞的方向时 , 这些特征在数学上可被看作是微分几何中的微分k-形的离散版本(即可以被整合的k维体积元素) 。 一个被称为霍奇拉普拉斯的算子概括了图形拉普拉斯 , 它可作用于这些微分形式 。 可以证明 , 基于此拉普拉斯算子的扩散PDE , 会在极限内收敛与复合物的洞的有关信号 。
文章图片
图注:基于霍奇拉普拉斯算子的扩散偏微分方程 , 收敛于初始微分形式在拉普拉斯算子核上投影的极限 。 该图像显示了霍奇拉普拉斯算子的零特征向量是如何在复合体中的洞周围取高值 。
第一个简单的神经网络模型实际上是基于霍奇拉普拉斯的卷积模型 , 反之 , 又受到拓扑信号处理的启发 。 就在最近 , 基于该算子的一个版卷积模型被用于解决计算代数拓扑学中的NP-hard问题 。
3最后的思考这些只是变相的图表吗?最近有论文认为 , 除其他外 , 拓扑信息传递方法不过是在编码细胞复合体结构的修正图上操作信息传递的GNN 。 这对卷积模型来说是正确的 , 其信息传递计算涉及到成对的单元格 。
然而 , 在其最一般的形式中 , 信息函数允许高维单元格调制其边界上的低维单元格之间传递的信息 。 一般情况下 , 能通过图上的常规信息传递 , 因为一条边正好连接两个节点 , 而一个2-单元格可以任意连接多的边 。
在这两种情况下 , 计算都是由数据所依附的底层空间的拓扑结构所驱动的 。 我们相信 , 在信息传递上采用这种拓扑视角所带来的好处 , 要超出纯粹的计算考虑 。 除了有价值的数学联系外 , 它还为其他数学和计算学科打开了研究话语 , 有利于我们经常过于单调的社区之间的积极交叉融合 。
拓扑信息传递的下一步是什么?我们预计拓扑信息传递方法的两个主要未来方向:
第一 , 多年来在GNN中开发的许多架构(如注意力机制)可能会在这些新的拓扑空间中被采用 , 同时可利用它们的特定特征 。
- 从华为数字机器人论坛,看政企领域的“政务新智理”
- meta|买手机不能盲从,价格良心也要看情况,比如这两款就很容易踩雷!
- 电子商务|莱西电商从业人员已达3万多人 各类淘宝店铺上万家
- 商业化|高考作文“通关” AI写作从秀技转入商业布局
- hr|从新增数量看热门专业:大数据、人工智能和物联网前三
- 电子商务|行业泡沫褪去,资本严冬来袭:35岁的互联网中年人,何去何从
- 华为“新技术”确定,自研编程语言今年发布,有望从根本上突破!
- 自媒体|一台手机轻松搞定自媒体??从0开始做视频博主!
- iqoo|眼睛往往会欺骗我们,从性价比手机可以看出,表面和深层完全不同
- 乐视手机|窘迫但依然可敬:测一台你从未见过的乐视手机