机器人|人工智能,也应该学会遗忘( 二 )


要解决这样的过度拟合难题,“遗忘”就势在必行。
目前有一项技术叫做长短期记忆网络(LSTM)算法,它使用特定的学习机制来决定在任意一个节点哪些信息需要记住,哪些需要更新,哪些需要关注。用香港科技大学相关领域的专家Edwin Chen的话来说,LSTM应该达到这样的状态:
“当场景结束,模型应该忘记当前场景的位置,所处时间,并重置任何特定场景的信息;然而,如果场景中的一个角色死亡了,机器则应该继续记住他不再活着的事实。因此,我们希望机器能学习掌握一个相互独立的遗忘/记忆机制,这样当新信息进来时,它知道什么观念该保留什么该丢弃。”这些遗忘的过程,应该在没有人工干预的前提下独立完成。
对于人类来说,遗忘不仅仅是一次失败的记忆,还是一个积极的过程,可以帮助大脑获取新信息并更有效地做出决策。
对于人工智能来说也是如此。
遗忘或许是AI进步的关键我们先做一个看起来不是那么恰当的比喻,所有“记忆”的物质承载都是有承载上限的,日记本写满了就没法再记,硬盘的容量塞满了也放不下更多的东西。如果放任所有你看到的信息都记在你的电脑硬盘里,它可能很快就会被塞满,然后“写入”这个类似于“记忆”的东西就会罢工不干。
如果教一个说中文的孩子学习英语,孩子会很容易把学习中文的方法应用到英语的学习中(虽然这两者不属于同一语系,但是中间还是有相通的部分,同一语系中的相通部分更多,所能“借鉴”的经验也就更多),比如名词,句子构建,语序区别,同时忘记那些不相关的东西,比如口音,语调,没必要的俚语,我们人类可以同时进行遗忘和学习,并且总结他们之中的共同经验,放弃实际应用中毫无必要的细枝末节。
但是机器人的处境可不一样,如果训练神经网络学习英语,则他会通过“深度学习”整出一个适用于英语的学习方式。这让他在学英文的时候有了无可比拟的优势,但如果还想同时教它中文,对中文内容的学习将覆盖神经网络以前为学习英语所获得的知识,因为这与之前的学习方式矛盾,如果存储内存一定,那么只好删除所有内容并重新开始。
其实这也很好理解,现在的神经网络不允许AlphaGo在一个深度学习过程中同时学会围棋和五子棋,尽管他们棋具都很相似,但是规则大不同。如果用围棋的下法去下五子棋会速败,用五子棋的下法去下围棋会给自己挖出一个大坑。这被称为“ 灾难性遗忘 ”,也是神经网络的一个局限。
算法不能选择忘记什么,目前只能依靠人来对信息进行筛选,这是人相比机器的思维优势之一。通过选择性遗忘的提纯,AI可以更好地去理解人类的命令,解决更多的实际问题。比如在语音识别中摒弃各种干扰的声音,抓住最核心的内容,并且通过最正确的方式将其实现。
如果只是进行大量数据持续的收集,而没有简单的方法通过“遗忘”提纯数据,那人工智能也仅仅是在有限的容量上,在一个狭隘的角度里堆砌和发展我们的智慧成果而已。
因此,学会遗忘是人工智能面临的重大挑战之一,可能也是这个行业破局的关键所在。人类大脑和遗忘的过程中,有可能藏着颠覆现有AI技术的秘密。
忘记该忘记的,改变能改变的医疗机器人进行医疗诊断,智能家居设备监控我们的行动,安全机器人通过视频摄像机和热成像进行巡逻。面对这些海量存储的数据,决定一个机器人什么时候应该忘记,是一个深刻的人类挑战。
但是如果成功了呢?
前面我们提到了,因为过度拟合的存在,让AI在对未来做出逻辑判断时可能会出现失真的问题。如果我们把“遗忘”这把钥匙交给了人工智能,让他们通过合理的选择性遗忘,走出了过度拟合可能存在的问题。那么,我们拥有一个“百科全书”式的AI时,它(或者应该是他)能通过各种被记忆与遗忘提纯的数据,对未来进行精准的预测吗?