前谷歌大脑科学家称梯度下降为机器学习中最优雅idea，LeCun大赞丰色发自凹非寺量子位|公众号

丰色发自凹非寺
量子位|公众号QbitAI最近， DeepMind的一位AI研究员在推特上抛出了一个问题：
机器学习中最美/最优雅的点子是什么？
之所以会有这样的疑问，是因为他发现数学家和物理学家们就经常谈论美学，机器学习领域却很少这样，也很好奇为什么。

文章图片
很快，大家就给出了自己的答案。
但其中的一条回复却引发了很大的讨论，连LeCun等大佬都忍不住参与进来了。
这个答案就是来自前谷歌大脑的研究员ChrisOlah所提出的“梯度下降法最美论” 。
那么这到底是怎么一回事呢？
“梯度下降是机器学习中最优雅的idea”所谓梯度下降法，就是一种寻找目标函数最小化的方法，它利用梯度信息，经过不断迭代调整参数来寻找合适的目标值。

文章图片
这一思想更形象地解释就是下山。
假设当你站在山上时雾很大，想尽快下山的你却无法看清下山路线，那么就只能利用周围的环境信息走一步算一步，也就是以当前位置为准，找到最陡峭的地方往下走。重复这个计算过程，就能达到山谷。
我们在求解机器学习算法的模型参数时，为了让所得模型可以更好地捕捉到数据中蕴含的规律，进行更准确地预测，一般会最小化损失函数得到参数估计值。
梯度下降法就是此时最常用的优化算法，而且它对于复杂模型也很适用。
认为梯度下降法是机器学习中最优雅理论的ChrisOlah ，一直致力于对人工神经网络进行逆向工程的工作，曾先后就职于OpenAI和谷歌大脑，现在是一家主攻大型模型安全性的初创公司的联合创始人。

文章图片
他给出这一答案的理由是：
简单的梯度下降就可以创造出令人惊叹的结构和性能。

文章图片
这一回复得到了近1700人的点赞支持。
就连LeCun都转发起来，称自己四十年来都在说服身边搞理论的同事相信梯度下降法拥有多么不可思议的力量。

文章图片
彷佛一下子找到“知音”的LeCun话匣子打开，分享了自己20多年前的一桩趣事。
他说，在2000年举办的NeurIPS会议晚宴中，一位非常杰出的ML科学家就提出一个类似问题：
“我们在机器学习中学到的最重要的东西是什么？”
当时他就回答“梯度下降” 。
谁知这位前辈听完却一脸匪夷所思，那神情显得“自己”这一答案好像特别蠢一样……

文章图片
△或许就像这样吧
然而，事实证明， LeCun说的完全没错。
他还举证称， “我的一位朋友用3行随机梯度下降法就可以替代复杂的传统方法解决凸问题（SVM、CRF）” 。
有理有据，这位朋友（LéonBottou）的博客链接也被甩出来了。

文章图片
总的来说，关于“梯度下降法最优雅理论”这一观点，大家基本没有什么异议。
真正引起讨论的还是ChrisOlah小哥那句“机器学习的美是生物学之美，而不是数学或者物理学之美” 。
插曲：机器学习之美是生物学之美？小哥解释说，自己一开始也认为机器学习的美体现在复杂的数学和巧妙的证明上，但后来才渐渐发现不是这样的，他给出了以下理由和具体例子来支撑他的观点。