LeCun论文被指“洗稿”？LSTM之父发文怒怼：抄我的还标原创( 二 ) 新智元报道编辑：好困JoeyDav

不出意料，他的评论石沉大海了。

文章图片
LeCun只是重提我的工作，而且还没标引用！
Schmidhuber在这篇长文中表示，希望读者能研究原始论文，自己判断这些评论的科学内容，并且还希望自己的工作得到承认和认可。
LeCun论文开头部分说，本文描述的许多观点（几乎都是）由许多作者在不同的背景下以不同的形式提出， Schmidhuber则反驳称不幸的是，这篇论文的大部分内容就和我们1990年以来的论文「似曾相识」，且没有任何引用的标识。
先来看看他这次炮轰LeCun的证据（部分）。
证据1：
LeCun：
今天的人工智能研究必须解决三个主要挑战：
（1）机器如何能学会代表世界，学会预测，并学会主要通过观察来采取行动
（2）机器如何以与基于梯度的学习兼容的方式进行推理和计划
（3）机器如何以分层的方式，在多个抽象层次和多个时间尺度上学习表征感知（3a）和行动计划（3b）
Schmidhuber：
这些问题在1990年、1991年、1997年和2015年发表的一系列论文中得到了详细解决。
1990年，第一篇关于基于梯度的人工神经网络（NN）用于长期规划和强化学习（RL）以及通过人工好奇心进行探索的工作发表。
它描述了两个递归神经网络（RNN ，最强大的NNN）的组合，称为控制器和世界模型。
其中，世界模型学习预测控制器行动的后果，控制器可以利用世界模型提前规划几个时间步骤，选择使预测奖励最大化的行动序列。

文章图片
关于基于神经网络的分层感知（3a）的答案，这个问题至少部分由我1991年发表的「第一台深度学习机器—神经序列分块器」解决。
它在递归神经网络(RNN)的深层层次结构中使用无监督学习和预测编码，以在多个抽象级别和多个时间尺度（正是LeCun所写的内容）上找到「长数据序列的内部表征」。

文章图片
关于基于神经网络的分层行动计划（3b）的答案，已在1990年通过我的分层强化学习(HRL)这篇论文至少部分解决了这个问题。

文章图片
证据2：
LeCun：
由于成本模块的两个子模块都是可微的，所以能量梯度可以通过其他模块反向传播，特别是世界模块、表演模块和感知模块。
Schmidhuber：
这正是我在1990年发表的内容，引用了1980年发表的「具有前馈神经网络的系统识别」论文。
2000年，我的前博士后MarcusHutter甚至发表了用于学习世界模型和控制器的理论上最优、通用、不可微的方法。（另请参考称为哥德尔机的数学上最优的自我参照AGI）
证据3：
LeCun：
短期记忆模块架构可能类似于键值记忆网络。
Schmidhuber：
然而，他没有提到我在1991年发表了第一个这样的「键值记忆网络」，当时我描述了序列处理「FastWeightControllers」或FastWeightProgrammers(FWPs) 。 FWP拥有一个慢速的神经网络，它通过反向传播学习以快速修改另一个神经网络的快速权重。

文章图片
证据4：
LeCun：
这篇论文的主要原创贡献在于：
（I）一个整体认知架构，其中所有模块都是可区分的，其中许多模块是可训练的。