Bengio，58岁生日快乐( 二 ) 编辑：David【新智元导读】3月

Bengio认为，加拿大广泛传播研究资金和好奇心驱动的研究，说明加拿大愿意支持他在当时非正统的人工智能方面的工作。他认为，这为加拿大目前在机器学习方面的实力奠定了基础。

文章图片
2000年，他发表了《神经概率语言模型》一文，对自然语言处理做出了重大贡献。
训练网络来区分有意义的句子和无意义的句子是很困难的，因为要表达一个想法可以有许多不同的方式，大多数的词语组合是没有意义的。这导致了论文中所说的''维度的诅咒'' ，要求不可行的大型训练集，并产生不可行的复杂模型。

文章图片
这篇论文引入了高维词语嵌入作为词语意义的代表，让网络认识到新短语和包含在其训练集中的短语之间的相似性，即使使用的具体词语不同。这导致了机器翻译和自然语言理解系统的重大转变。
Bengio的研究团队通过将神经词嵌入与「注意力机制」相结合，进一步提高了机器翻译系统的性能。「注意力」是一个从人类认知中借用的术语。它帮助网络在翻译的每个阶段将重点缩小到相关的上下文，比如代词指代的对象的是什么。

文章图片
Bengio与他的博士生之一IanGoodfellow一起，提出了「生成对抗网络」（GAN）的概念。大多数神经网络被设计用来识别模式，而生成式网络则学习生成难以和训练集中的对象区分的目标。
GAN的运作过程经常被用来促进无监督的学习。目前GAN已被广泛用于生成图像，例如自动生成不存在的人或物体的高度逼真的照片，用于视频游戏。
Bengio是加拿大机器学习机构的核心人物。 2004年，加拿大高级研究所（CIFAR）内资助了一个神经计算和自适应感知的项目。

文章图片
Hinton是该项目创始主任，但Bengio从一开始就作为研究人员参与其中。 LeCun也是如此，自2014年以来， Bengio一直与他共同指导该项目（现已更名为「机器和大脑的学习」）。这个名字反映了跨学科的认知科学属性，表明在神经科学和机器学习之间的双向的思想通道。
由于Bengio等人的贡献，蒙特利尔地区现已经成为全球深度学习研究的工作中心之一。
2015年， GeoffreyHinton、YannLeCun、YoshuaBengio这三位深度学习巨头在Nature上共同发表一篇名为《深度学习》的综述文章，讲述了深度学习为传统机器学习带来的变革。

文章图片
截至2020年，谷歌、Facebook、微软和三星都已在蒙特利尔建立了卫星实验室。 Bengio本人也共同创办了几家创业公司，最引人注目的是2016年的ElementAI ，该公司为深度学习技术开发工业应用。
对于自己倾注了半生心血的AI研究事业， Bengio对计算机智能的未来仍然信心十足：

文章图片
「我并不认为创造力是计算机所不能企及的东西，我认为人类的任何能力都不是计算机所不可及其的东西。」他说。
祝YoshuaBengio生日快乐！
参考资料：
https://twitter.com/TheOfficialACM/status/33138436
【Bengio，58岁生日快乐】https://t.co/PKrb8TaoY3