空中悬停、翻滚转身、成功着陆，我用强化学习“回收”了SpaceX的火箭机器之心报道编辑：杜伟、陈

机器之心报道
编辑：杜伟、陈萍
我自己造了个「火箭」，还把它回收了。
SpaceX作为一家太空探索技术公司是美国一家民营航天制造商和太空运输公司，由伊隆·马斯克于2002年创办，目标是降低太空运输的成本，并进行火星探索。 SpaceX成立近20年以来，吸引了无数的火箭爱好者。
对于个人来说，怎样实现这个火箭梦呢？据了解， SpaceX制造一枚猎鹰9号的费用实际在3040万美元左右。对于个人来说，这个费用简直是天方夜谭，更别说涉及到的技术等问题了。
有困难就要想办法解决，作为SpaceX的超级粉丝，来自密歇根大学安娜堡分校的博士后研究员ZhengxiaZou也是个火箭迷，一直梦想拥有自己的火箭。最近，他研究了一个有趣的问题，即我们是否可以「建造」一个虚拟火箭，并通过强化学习解决火箭回收这个具有挑战性的问题。在实验中， Zou尝试了关于火箭悬停和降落的两个任务。
由于这是Zou的第一个强化学习项目，包括环境、火箭动力学、RL智能体等， Zou表示尽量从头开始实现所有内容，并希望通过这些底层的编码，能够对强化学习有更深入的了解，包括基础算法，智能体与环境的交互，以及奖励的设计。

文章图片
项目主页：https://jiupinjia.github.io/rocket-recycling/
GitHub地址：https://github.com/jiupinjia/rocket-recycling
不过对于这个项目，也有网友提出质疑：「如果我们能够用经典的控制方法来完成这项任务，为什么在SpaceX之前没有人做过呢？」对于这一质疑，有网友表示：「SpaceX没有使用强化学习，他们使用论文《LosslessConvexificationofNonconvexControlBoundandPointingConstraintsoftheSoftLandingOptimalControlProblem》中的方法来解决火箭着陆问题，性能优于RL 。」

文章图片
实现悬停和降落的智能体以及环境
Zou尝试了悬停和降落这两个任务。如下图所示，火箭被简化成二维平面上的刚体，并且考虑了基本圆柱体动力学模型，并假设空气阻力与速度成正比。火箭底部安装了一个推力矢量发动机，该发动机为火箭提供不同方向的推力值(0.2g,1.0g,2.0g) 。喷嘴添加角速度约束，角速度最大旋转速度为30度/秒。
通过上述基本设置，动作空间（actionspace）被定义为发动机离散控制信号的集合，包括喷管的推力加速度和角速度。状态空间（state-space）由火箭位置、速度、角度、角速度、喷嘴角度和模拟时间组成。

文章图片
对于着陆任务， Zou遵循了StarshipSN10的BellyFlop式降落（腹部朝下的翻转动作以实现空中转身）的基本参数。初始速度设置为-50m/s ，火箭方向设置为90度（水平），着陆burnheight设置为离地500米。

文章图片
图源：https://twitter.com/thejackbeyer/status/1367364251233497095
奖励函数非常简单。
对于悬停任务：基于两个规则给出step-reward：1）火箭与预定义目标点之间的距离——它们越近，分配的奖励越大；2）火箭机身的角度（尽量保持直立）。
对于着陆任务：观察看触地瞬间的速度和角度——当触地速度小于安全阈值并且角度接近0度（直立）时，则认为它是成功着陆并获得丰厚奖励。其余规则与悬停任务相同。
除了进行上述任务外，有网友表示，「希望将燃料的研究也纳入进来，燃料的有效使用是火箭技术的主要关注点，因此看到有效着陆奖励将是一件好事。开始时火箭有给定的燃料量，剩余的燃料量成为学习者的另一个信号——既用于控制也作为奖励。」