LeCun在线访谈:我的深度学习之路
文章图片
新智元报道
来源:thegradient
编辑:Emil、Su
【新智元导读】LeCun的AI启蒙竟是来自一本哲学书?他曾经因为用法语写论文阻碍了机器学习理论发展?SSL究竟能为世界带来什么?在最近的采访中 , 他向我们娓娓道来 。
近日 , 深度学习先驱YannLeCun接受了GradientPodcast的采访 , 畅谈了他在80年代早期的AI研究以SSL的最新发展 。
文章图片
LeCun现任Facebook副总裁兼首席AI科学家和纽约大学教授 , 2018年ACM图灵奖得主 。
他在80年代率先使用卷积神经网络进行图像处理 , 是AI深度学习革命的关键人物 。
本文带您揭秘大神都说了些什么!
入坑AI竟是源于一本哲学书?
在采访中 , LeCun首先聊到了他的早期求学和科研历程 。
出于对物理学的喜爱 , LeCun最早选择了工程学作为大学专业 , 1983年 , 他从巴黎ESIEE大学毕业 。
文章图片
本科时 , LeCun逐渐发现自己对科研的兴趣胜过普通的工程学 , 特别是人类以及其他动物智慧如何产生的问题 。
至于机器学习(当然当时还没有这个学科) , 他的灵感则来自一本哲学书籍 , 书中介绍了一场上世纪70年代著名的辩论——语言学家和心理学家讨论了语言究竟是先天还是后天习得的 。
辩论中提到了通过感知器 , 让简单的机器也能够学习复杂的概念 。
这个话题启发了LeCun 。 于是 , 他开始着手研究相关文献 , 但是他发现大多数发表的内容都集中在上世纪60年代 。
文章图片
阿瑟·塞缪尔在1959年发明了机器学习
到了80年代初期 , 专家系统变得炙手可热 。 但LeCun觉得这类系统不靠谱 , 那时关于机器学习的想法已经成型 。
他自嘲到 , 「可能是因为我懒 , 或是发现了自己能力有限 , 所以当时觉得造一台能够进行自我决策的机器基本是不可能的」 。
LeCun还对自我组织系统和神经网络十分痴迷 , 但当时世界上进行相关研究的人并不多 , 且没有一个统一的组织 。
于是 , LeCun和巴黎的一个小型独立实验室联系 , 开始展开自己的研究(注:当时的皮埃尔和马居里大学 , 今天的索邦大学 , LeCun1987年在那里获得了计算机专业博士学位) 。
文章图片
从那时起 , 一些新颖的观点便从众多简单元素的相互碰撞中产生了 。
「这正如神经网络做的那样」 。
深度学习居然被法语耽误了?
上世纪80年代 , LeCun开始着手研究反向传播算法 。
「在研究中 , 我意识到为什么60年代进行的神经网络早期尝试都失败了 , 因为研究它的人们都在试图寻找网络运行的规则」 。
文章图片
「事实上这是不可能的——我也一样」 。
所以LeCun开始研究用多层网络来覆盖每个神经元 , 无论目标输出是什么 , 这样的方法更容易计算出答案来 。
从60年代经典的优化控制算法中 , LeCun得到了启发 , 建立了反向传播梯度算法 。
文章图片
1986年 , LeCun曾写过一篇关于计算机深度学习的论文 , 不过是用他的母语法语写的 。
而且 , 他后来的导师GeoffreyHinton看到这篇论文时 , 觉得写得「十分糟糕」 。 但不可否认的是 , 这篇论文中已经有不少关于机器学习成熟的理论 。
- 苹果7|明明我的苹果7P还能再战两年,为什么要我淘汰
- 小米科技|用了一个月的小米后再次换回华为?不吹不捧,说一说我的心里话!
- 紫光展锐|从iOS系统更换到MIUI13的7天后:不吹不黑,说一说我的心里话!
- 小米科技|花4699买了一台104W跑分的小米12Pro:上手3天后,说说我的心里话
- 环绕屏|房子大是我的错吗?大户型的wifi信号有救了!
- 20年前年轻人用什么听歌?晒晒我的sony NTE MD MZ-505
- 索尼|已经20年前年轻人用什么听歌?晒晒我的sony NTE MD MZ-505
- 我对我的CRM系统合作伙伴不完全满意,该怎么办?
- Java|二本谈币:关于web3.0,谈两句我的看法
- 抖音最爱我的人最依赖我的人最懂我的人最离不开我的人从那天起再不会有是什么歌 歌曲分享