LeCun在线访谈：我的深度学习之路( 三 ) 新智元报道来源：thegradient编辑

这意味着你只需要大量的数据，而不进行人工标注，就能进行训练。
在系统训练时，会产生平凡解，即不同输入的图像产生同样输入图像的问题，我们称之为崩溃（collapse）。
那么如何避免训练机器时崩溃？
LeCun的FacebookAI小组用了一个非对比的方法，通过最大化输出的交互信息（mutualinformation）来避免崩溃。事实上这个方法是LeCun的导师Hinton在上世纪90年代发明的。
例如，假设有两个神经网络观察图像或视频的两不同部分，通过训练让他们之间的交互信息量足够大，那么崩溃就不会发生。
但这个方法的难点在于如何测量两个变量之间的交互信息。虽然交互信息有明确的定义，但是没有明确的估计方法，它类似于一个概率分布。
所以你需要对于这个分布进行假设，如果假设错误，那么系统肯定不会输出理想的结果。这就是Hinton在90年代遇到的问题。
SSL未来潜力无限但实现通用智能不太可能
当然，目前深度学习技术仍然有许多未知理论有待于我们去探索。 LeCun给了一个有意思的比喻。
比如蒸汽机在17世纪就发明了出来，但是热力动力学基本在100年之后才为我们解释了蒸汽机的局限性。

文章图片
又比如显微镜和望远镜同样也是很早之前就被发明了出来，但是衍射定律也是在那之后才发现的。
所以深度学习也一样，做研究需要直观地了解你究竟在做什么，如果你一味地将自己局限在模型中，你将失去接触许多其他事物的机会，只是因为你不理解它们。
深度学习技术如今已经几乎渗透进每一个大型互联网公司的DNA中， LeCun介绍到，如果没有深度学习，那么Facebook可能立刻会垮台。
但与此同时，指望AI达到通用智能的水平， LeCun认为需要重新审视一下通用人工智能的概念。
「在我职业生涯结束前，如果AI能够达到狗或者牛一样的智商，那我已经十分欣慰了」。
「我不太相信通用智能的概念，所以我们必须降低期待。当然，不容否认的是通用智能是我们的努力方向，比如在自监督领域取得突破性进展，让系统来运行世界模型。」
智力的本质是能够基于你的行动来预测世界可能发生的结果，因为这样才能够让你具备计划的能力。
参考资料：
https://thegradientpub.substack.com/p/yann-lecun-on-his-start-in-research