第四范式陈雨强：企业智能决策的下一代技术“强化学习＋环境学习” 机器之心报道机器之心编辑部

机器之心报道
机器之心编辑部
过去数年，以强化学习为代表的决策智能技术战胜人类玩家的新闻屡屡进入人们的视野，直观地展示了这种技术赋予AI的强大智能。同时，业界也开始思考，该技术能否像之前的机器学习、深度学习一样，应用到更加广泛的行业领域？
在2022北京智源大会「强化学习与决策智能专题论坛」上，第四范式联合创始人、首席研究科学家陈雨强发表了主题为「智能决策技术在企业智能化转型中的实践应用」的演讲。他从决策的本质出发，介绍了强化学习通过环境学习发挥产业应用的价值，并介绍这两项技术在产业界的应用实践。
【第四范式陈雨强：企业智能决策的下一代技术“强化学习＋环境学习”】机器之心对陈雨强的演讲内容进行了不改变原意的整理。
中国人工智能产业化发展的历程大体分为三个阶段。
第一阶段，在2010年前后，随着数据量增长、算力增强以及算法提升，人工智能开始帮助互联网实现很大的飞跃。其中，受益最显著的领域要属搜索、广告和推荐（搜广推）。
第二阶段， 2015年以后，随着AlphaGo的出现，人工智能被认为是一个改变生产力的新技术，开始试水除互联网之外的其他一些行业，比如智慧金融、智慧零售、智慧安防和智慧医疗。
如今到了第三阶段， AI已经不仅局限在个别行业领域，而是走向了赋能千行百业的道路上，产业互联网迎来了爆发期。产业互联网带来的GDP增量连年上升，并且企业生产和IOT数据呈现爆炸式增长，远未见顶。

文章图片
信息化面对高度不确定性的不足催生决策智能化
产业互联网服务于工业、制造业及其他各行各业。以工业生产为例，在过去传统的工业化生产的过程中，不管是外部环境、供求关系、生产计划等，都相对标准化，转型更多做的是信息化转型，尤其是流程的信息化和生产资料的信息化，从而优化管理，提升效率。
但是，面对当下高度不确定性的乌卡时代，外部环境与消费者需求高度变化，产品也高度多样化。面向大量的不断变化问题，固定流程已经没法保证效率与产能，因此单纯的信息化已经无法形成有效的决策与安排。

文章图片
另外，我们发现若使用人工智能解决这类问题，过去广泛应用在互联网核心场景的技术并不是解法的全部。
例如在供应链场景中，最核心的是要保证现货率与库存周转，但背后包含了销量预测、从哪发货、货发多少、如何配送等一系列问题。又例如在制造领域的生产环节中，工厂的核心目标是在需要保障生产安全合规的前提下，针对动态增加的订单合理的排产来提高产线效率、产能，提高机器综合利用率。在产品研发的环节中，需要决定生产什么类型的产品更受消费者欢迎。这些已经不仅是对未来的预测，而是当下该如何行动才能达成未来的预测结果。
同时，不断变化也给技术本身带来了巨大的挑战。这些决策场景往往面对的是大规模连续实时精准问题，更加关注长期回报，而非单次结果；场景的环境在时刻变化，每一次输出的结果可能会改变场景环境本身，比如交通场景中，单车的遵守或违背规则的决策会直接影响交通环境，改变整体环境的状态；在复杂多变的环境和众多的影响因素下，部分场景还需要实时输出决策结果。