利用宇宙的能力来处理数据！“物理网络”远胜深度神经网络( 三 ) 轮到物理学家来揭示神经网络

“我们从来没有计算过3.532乘以1.567之类的， ”Scellier说。 “系统会计算，不过是通过遵循物理定律的方式隐含地计算。 ”
2
思考部分
McMahon和合作学者们已经在这个谜题的“思考”部分取得了进展。
在新冠疫情发生前的几个月， McMahon在康奈尔大学建立了实验室，他仔细思考了一个奇怪的发现。多年来，表现最出色的图像识别神经网络已经变得越来越深度。也就是说，有更多层的网络能够更好地接收一堆像素并给出标签，如“狮子狗” 。这一趋势启发数学家们研究神经网络实现的转换（从像素到“狮子狗”），在2017年几个小组在论文“任意深度残差神经网络的可逆结构（ReversibleArchitecturesforArbitrarilyDeepResidualNeuralNetworks）”中提出，神经网络的行为是一个平滑数学函数的近似版本。

文章图片
论文地址：https://arxiv.org/abs/1709.03698
在数学中，函数将输入（通常是x值）转换为输出（曲线在这个位置的y值或高度）。在特定类型的神经网络中，层数越多效果越好，因为函数不那么参差不齐，更接近于某种理想曲线。
这项研究引起了McMahon的思考。也许通过一个平稳变化的物理系统，人们可以避开数字方法中固有的阻塞。
诀窍在于找到一种驯化复杂系统的方法——通过训练来调整它的行为。 McMahon和他的合作者选择钛板作为这样一个系统，因为钛板的许多振动模式以复杂的方式混合传入的声音。为了使平板像神经网络一样工作，他们输入一种编码输入图像的声音（例如手写的6）和另一种表示突触权重的声音。声音的峰值和波谷需要在正确的时间撞击钛板，以便设备合并声音并给出答案——例如，一个新的声音在六毫秒内最响，代表“6”的分类。
图注：康奈尔大学的一个研究小组训练了三种不同的物理系统来“读取”手写数字：从左到右分别是一个振动的钛板、一个晶体和一个电子电路。图源：左图中图为康奈尔大学RobKurcoba摄；右图为Quanta杂志CharlieWood摄。
该小组还在一个光学系统中实现了他们的方案——输入图像和权重被编码在两束由晶体混合在一起的光束中——以及一个能够类似地变换输入的电子电路中。原则上，任何具有拜占庭行为的系统都可以如此，但是研究人员相信光学系统具有特殊的前景。晶体不仅能极快地混合光线，而且光线还包含了关于世界的丰富数据。 McMahon想象他的光学神经网络的微缩版本有一天会成为自动驾驶汽车的眼睛，能够识别停车标志和行人，然后将信息输入汽车的计算机芯片，就像我们的视网膜对进来的光进行一些基本的视觉处理一样。
然而，这些系统的致命弱点在于，训练它们需要回归数字世界。反向传播涉及到反向运行神经网络，但是底片和晶体不能轻易地分解声音和光。因此，该团队为每个物理系统构建了一个数字模型。在笔记本电脑上反转这些模型，他们可以使用反向传播算法来计算如何调整权重以给出准确的答案。
通过这一训练，这块钛板学会了对手写数字进行分类，正确率为87% 。而上图中的电路和激光的精度分别达到93%和97% 。研究结果表明“不仅标准的神经网络可以通过反向传播进行训练， ”法国国家科学研究中心（CNRS）的物理学家JulieGrollier说， “这太美了。 ”
该研究小组的振动钛板还没有使计算的效率接近大脑的惊人效率，这个设备甚至不及数字神经网络的速度。但McMahon认为他的设备十分惊人，因为这种设备证明了人不只可以用大脑或电脑芯片来思考。 “任何物理系统都可以是神经网络。 ”他说。