机器人智能进阶的秘诀，为什么是这个技术？( 二 ) 智东西（公众号：zhidxcom）

面对这项游戏与机器人研发的共同核心课题，腾讯游戏技术团队和机器人团队进行了智能体动作生成技术的合作研发，并在游戏虚拟环境中应用和训练NPC ，让NPC通过不断自主学习，学会更加拟真的动作、反应和表达。
研究期间，合作团队意识到，游戏里累积的大量技术经验与虚拟模拟的训练条件，可以为机器人的智能研发提供帮助，同时帮助解决成本高、优化难的两大研发痛点。

文章图片
在合作过程中，以腾讯RoboticsX实验室为主的机器人部门负责设计核心算法，包括定义任务环境和目标、构建和训练AI算法、搭建机器人智能控制系统整体框架、真机部署等。
以天美J3工作室、天美技术中心、腾讯互娱旗下START团队、腾讯AILab为主的游戏和AI部门，则主要基于游戏NPC动作模拟的智能体动作生成技术，助力实现机器人的自主决策并适配不同场景；同时提供高效和逼真的虚拟仿真能力，如环境场景搭建、核心物理引擎加速等，强化机器人训练效率和速度。
二、两大核心游戏技术加持，机器人越来越“聪明”
智东西获悉，经腾讯多个团队合作，机器狗RoboticsXMax的训练效率得到大幅提升。
此外，机器狗能基于对虚拟场景中周边环境和自身状态感知到的信息，实现更好的姿态和行为控制，在智能感知、智能控制和智能决策方面的能力有明显进步。
这背后，两个游戏中的技术起到关键作用：
智能体动作生成技术：让机器人学会“思考”
智能体动作生成技术能让虚拟环境中无论是NPC还是机器人都能提高“思考能力” ，使其作出符合环境交互特点的拟真动作和反应。
需注意的是，这跟以往“填鸭式”教机器人、编码设定固定动作的逻辑大不相同。
具体来说，该技术利用AI强化学习算法，学习动作捕捉数据，通过数据驱动的自适应算法，让NPC或机器人根据玩家操作或环境变化等不同外界反应，基于运动学原理来自主生成和调节动作，仿佛帮助NPC或机器人形成大脑，让它们进行自主决策，自动生成更像真实生物的动作、反应与表达。

文章图片
有了这一技术加持，机器狗在向着既定目标运动的过程中，即使临时碰到预先不知道的障碍物，也能轻轻一闪，灵巧避开，灵活自主地修改运动轨迹，用不同路线方案完成既定目标。
通过对学习算法中奖励函数的进一步设计优化，智能体动作生成技术做到了让机器人更灵动，该技术被用于研究训练之后，机器狗RoboticsXMax的运动轨迹规划将会更加自然流畅，能够实现更细颗粒动作的智能生成、控制、决策，使动作表现体现高度智能。

文章图片
实时物理模拟技术：百倍提升训练效率
智能体动作生成技术可以帮助解决机器人自主动作生成和控制，但是需要进行大量的仿真训练。
而在游戏中被广泛使用并积累了丰富经验的实时物理模拟技术，便是本次项目投入应用的另一个核心技术。它可以基于动力学搭建出高度拟真的虚拟环境，打破物理世界的局限性，满足机器人研发对复杂训练环境和多样化场景样本的需求。
游戏是模拟现实世界的最佳场所，也是最好的虚拟模拟和训练环境。相比直接在真实场景中训练实体机器人，该技术能降低试错成本，避免出现危险，进一步提升受力、碰撞等模拟效果的精确性，还有助于尽早发现机器人研发中的潜在问题。