算法全覆盖，还能玩星际争霸，开源决策智能平台OpenDILab面世( 二 ) 从强化学习到MCTS

OpenDILab平台概览。
·应用层：涵盖多种决策场景，支持多模态数据空间的表示和变换，并提供大量性能优异的算子，助力AI做出最优决策；
·算法层：提供多种常用模块化组件，可在此基础上构建不同的算法模型，支持用户多维度的扩展和定制，完成决策AI算法的大统一；
·训练层：内置多种类型的执行计算图，并深度优化了相应数据吞吐和资源利用率，可为小到学术研究，大到工业级应用的多种规模问题提供支持；
·支持层：尝试了CUDA异构计算和决策AI算法的结合，而在资源调度方面， OpenDILab可依据算法和资源，动态管理整个训练过程，提供异常自动化维护等多种微服务。作为一个系统工程， OpenDILab为AI+SYSTEM带来了全新形态。
二一键实现决策算法与应用
OpenDILab(beta)开源后，研究者和开发者们可以访问github ，获取最强最全的决策AI算法Zoo ，查看自动驾驶、游戏AI等工业问题在OpenDILab平台加持下的具体实践，以及诸多决策AI系统设计和优化的相关组件。
在OpenDILab（beta）的开源版本里，我们可以看到它已经开放了四个核心代码库，最底层的DI-engine ，致力于解决决策AI环境算力标准化的训练问题；中层的算法抽象层DI-zoo ，提供了目前最全最强的决策AI算法集合。还有顶部应用生态层，开源了基于DI-engine的自动驾驶决策平台DI-drive和面向策略游戏《星际争霸II》的大规模分布式训练平台DI-star 。

文章图片
DI-engine是一个通用的决策智能引擎，不仅支持DQN、PPO、SAC等大多数基础的深度强化学习（DRL）算法，而且支持诸多特定研究领域的算法，如多智能体RL中的QMIX、逆向RL中的GAIL和探索和稀疏奖励问题中的HER ， RND等等。对于每种算法，可以从多种环境和多种训练pipeline的角度探索决策AI技术的不同形态。
DI-zoo则可以为开发者提供当前最全、最强的决策AI算法集，拥有包括强化学习、MARL、MCTS等20多种跨领域决策AI算法，支持10多个决策AI环境，并原生集成了大量研究员的算法调优经验。这为开发者省去了调参困扰，方便在统一平台对比性能。

文章图片
而说到应用层的两个代码库：DI-star、DI-drive ，可以说是研究决策AI最合适的场景。
从国际象棋、围棋到麻将、斗地主，各类游戏一直都是AI挑战的对象，而这些复杂的游戏也成为了研究AI技术的绝佳场景。星际争霸2作为目前难度最高的游戏之一，为检验人工智能决策能力提供了合适的舞台。
基于DI-engine的底层支持和大规模分布式深度强化学习训练技术， DI-star打造出了人类大师分段水平星际争霸2智能体，并把完整的技术实现细节和与人机对战测试（仅需Windows系统+1060以上显卡）开放给所有人，希望借此促进通用人工智能的研究。
同时OpenDILab团队也希望借助DI-star ，汇聚更多社区开发者的力量优化大规模深度强化学习训练效率等方面的问题，将AlphaStar级别的智能体设计简化到原来的1/20～1/30 。

文章图片
自动驾驶同样也是当前人工智能的热门研究方向。决策、规划与控制是自动驾驶任务的大脑，被各大公司视作高度保密技术。 DI-drive是自动驾驶领域第一个开源的，人人可以参与的研究平台。
DI-drive支持各种模仿学强化学习等决策算法，支持多模态类型的输入输出，支持高度定制的可视化模块，为自动驾驶和决策AI搭建了至关重要的桥梁。 DI-drive还自主研发设计了Casezoo这一从实车采集数据转化而成的测试场景，在及贴近真实的驾驶环境中训练和测试决策模型，促进自动驾驶领域仿真研究在实车环境中的推广和应用。