深度学习撞墙？LeCun与Marcus到底谁捅了马蜂窝( 二 ) 新智元报道编辑：Joey如David【

不同类型的人工智能
符号推理最重要的是精确:根据排列组合，符号可以有很多种不同的顺序，比如「(3-2)-1和3-(2-1)」之间的差异很重要，所以如何以正确的顺序执行正确的符号推理是至关重要的。
Marcus认为，这种推理是认知的核心，对于为语言提供潜在的语法逻辑和为数学提供基本操作至关重要。他认为这可以延伸到我们更基本的能力，在这些能力的背后，存在着一个潜在的符号逻辑。
而我们所熟知的人工智能，它就是从研究这种推理开始的，通常被称为「符号人工智能」。但是将人类的专业知识提炼成一组规则是非常具有挑战性的，会消耗巨大的时间成本和人力成本。这就是所谓的「知识获取瓶颈」。
虽然为数学或逻辑编写规则很简单，但世界本身是非黑即白的、是非常模糊的，事实证明，人类不可能编写出控制每个模式的规则或者为每一个模糊的概念定义符号。
但是，科技发展到现在，造就出了神经网络，而神经网络最擅长的地方就是发现模式并接受模糊性。
神经网络是一个相对简单的方程，它学习一个函数，为输入到系统的任何东西提供适当的输出。

文章图片
例如，训练一个二分类网络，通过将大量的样本数据（此处拿椅子作为例子）放入神经网络，对其进行若干个epoch的训练，最后实现让该网络成功推断出新图片是否是椅子。
说白了，这不仅是单纯的关乎人工智能的问题，更本质的是，到底什么是智能以及人类的大脑又是如何工作的问题。 ”
这些神经网络可以精确训练，因为实现它的函数是可微的。换句话说，如果符号AI类似于符号逻辑中使用的离散token ，那么神经网络就是微积分的连续函数。
这允许通过微调参数来学习更好的表示，这意味着它可以更恰到好处的去拟合数据，而不出现欠拟合或者过拟合的问题。然而，当涉及到严格的规则和离散token时，这种流动性带来了新的「一堵墙」:当我们求解一个方程时，我们通常想要确切的答案，而不是近似的答案。
这正是SymbolicAI的亮点所在，所以Marcus建议将二者简单地结合起来:在DL模块之上插入一个硬编码的符号操作模块。
这是很有吸引力的，因为这两种方法可以很好地互补，所以看起来，具有不同工作方式的模块“混合” ，将最大化两种方法的优势。
但争论的焦点转向了是否需要将符号操作内置到系统中，在系统中，符号和操作能力是由人类设计的，而该模块不可微的——因此与DL不兼容。
传奇的「符号推理」
这个假设是非常有具争议性的。
传统的神经网络认为，我们不需要手工进行符号推理，而是可以学习符号推理，即用符号的例子训练机器进行正确类型的推理，可以让它学习抽象模式的完成。简而言之，机器可以学习操作世界上的符号，尽管没有内置的手工制作的符号和符号操作规则。

文章图片
当代大型语言模型(如GPT-3和LaMDA)显示了这种方法的潜力。他们操纵符号的能力令人印叹为观止，这些模型表现出了惊人的常识推理、组合能力、多语言能力、逻辑和数学能力，甚至有模仿死者的可怕能力。
但其实这样做并不可靠。如果你让DALL-E制作一个罗马雕塑，一个留着胡子、戴着眼镜、穿着热带衬衫的哲学家，那它会很出色。但是如果你让它画一只戴着粉色玩具的小猎犬，去追逐一只松鼠，有时你会得到一只戴着粉色小猎犬或松鼠。