连谷歌都喊贵！让ImageNet识别错误率降到5％，要花1000亿美元新智元报道来源：IEEE编辑：

文章图片
新智元报道
来源：IEEE
编辑：David、霜叶
【新智元导读】现在的深度学习模型要提升性能，对算力的需求简直令人瞠目。要重新训练一个ImageNet识别错误率5%的模型，需要1000亿美元！连谷歌、OpenAI都嫌贵了，未来我们还能训练的起吗？
深度学习如今应用领域愈发广泛。从语言翻译、预测蛋白质的折叠结构、以及到下围棋、写作文，几乎无处不在。
深度学习技术，从诞生初期的“无名小卒”逐渐发展到今天的“领军者” ，期间走过了数十年的漫长岁月。
深度学习：从“一纸空想”到“照进现实”
1958年的一天，康奈尔大学的Rosenblatt看见满屋子的大型计算机在真空管上运行时，大脑神经元之间相互联系激发了他的探索欲望，他设计出了第一个人工神经网络。他称其为“模式识别装置” 。

文章图片
但是，他心里很清楚：受限于时代，他无法实现这个愿望。他在论文中也不得不承认：计算规模要求太高了！我们做不到。因为随着网络中连接数的增加......传统数字计算机也将很快不堪重负。
幸运的是，人工神经网络包含了额外的神经网络后， “深度学习”由此诞生。
几十年来，由于摩尔定律的精准预测和计算机硬件的改进，计算机一秒钟内可以完成的计算数量增加了大约1000万倍。有了算力的支持，科学家开始直面以前无法想象的挑战。
有了性能更强大的计算机，构建更多连接和神经元的网络不再只是设想，复杂现象建模的能力也有所提高。利用这一点，研究人员一次次打破记录，将深度学习应用于越来越多的新的领域。
从图像分类、物体检测，到推荐问答、目标识别和机器翻译，深度学习以其灵活性和适应性，越来越成为业界的最佳选择。
但凡事皆有代价。这个代价就是模型成本的急剧上升。

文章图片
早期的人工智能系统是基于规则的，利用逻辑和专家知识得出结果。后来的系统中加入了学习，这让智能系统具备了前所未有的灵活性。
但是，这样做是有代价的。与灵活性一起到来的巨额的计算成本，这里计算成本的上升主要分两个部分：
第一部分是所有统计模型都要面对的情况，即统计模型性能和计算量呈平方关系。比如要想让性能提升10倍，需要的计算量是原来的100倍。
第二部分则来自模型的过度参数化，这部分的影响更大，如果考虑过参数化，对计算力的需求将与性能呈4次方关系。这种情况下，要让性能提升10倍，需要的计算量是原来的10000倍。
以上只是理论上的估计，而实际上，二者的关系远不止四次方关系，而是九次方的关系！
这无疑对计算力的增长提出了极高的要求。算力水平的增长能跟上深度学习模型的需求吗？深度学习模型的成本会不会高到无法承受，最终成为阻碍？
本文从1000多篇关于深度学习的研究论文中收集数据，涉及的领域包括图像分类、物体检测、问答、目标识别和机器翻译。为增强代表性，以下只详细讨论图像分类问题。
多年来，专家一直在尽力降低图像分类任务中的错误率。但由此也带来了计算成本的飙升。
2012年的AlexNet首次实现了在图形处理单元（GPU）上训练深度学习系统的能力。该模型使用两个GPU ，训练时间为五至六天。