想知道哪些RL技术用在了增材制造中，不妨看下这篇文章( 二 ) 机器之心分析师网络作者：W

我们根据三篇近期发表的论文一起来了解增材制造中的强化学习。其中，第一篇文章针对原位工艺学习和控制问题，提出了一种基于模型的强化学习与矫正框架。该框架可以应用于机器人电弧增材制造的过程控制，以使得打印零件具有更好的表面光洁度和更多的近净形状（near-net-shape）的输出[5] 。第二篇文章提出了一种提高激光粉末熔床产品质量的深度强化学习方法。通过迭代优化策略网络以最大化熔化过程中的预期奖励，可通过近端策略优化（ProximalPolicyOptimization ， PPO）算法生成能够减少缺陷形成的控制策略[6] 。第三篇文章主要是使用光纤布拉格光栅（fiberBragggrating ， FBG）作为声学传感器对AM过程进行现场和实时监测，并使用强化学习（RL）进行数据处理，是RL在AM现场监测中的应用[7] 。
1
基于模型的强化学习与校正框架在机器人电弧增材制造过程控制中的应用[5]

文章图片
1.1背景介绍
电弧增材制造（WireArcAdditiveManufacturing ， WAAM）是一种定向能量沉积制造技术，利用运动系统在基体上逐层构建金属零件。通常情况下，它利用电弧作为能量来源，电线作为原料，工业机器人手臂作为运动系统。最近，这种技术由于其高沉积率和低买飞比（buy-to-flyratio），在生产近净形（near-net-shape）的大型金属零件方面得到了学术界和工业界越来越多的关注。 WAAM通过在水平（多道（multi-bead））和垂直（多层（multi-layer））方向沉积重叠的焊珠来构建3D零件，每个沉积层都作为后续层的基底。因此，重要的是要确保打印层质量足够高，以便为后续层的沉积提供一个较好的基底。不规则的层表面通常会导致几何误差的累积，随着打印的垂直推进而导致不理想的凹/凸表面，如图2所示。

文章图片
图2.单道（single-bead）方法通常不够精确，无法预测3D打印的输出行为，通常会导致累积误差（如图中示出的不规则或凹凸表面光洁度）。另一方面，多层多道（multi-layermulti-bead ， MLMB）方法开销相当大。本文的工作为多层多道工艺提供了一种经济有效的方法，即在打印实际零件时通过现场学习不断改进，从而获得更好的表面光洁度和更接近近净形（near-net-shape）的输出。
为了解决MLMB打印的单道模型不准确性问题，研究人员引入了基于视觉的复杂控制方法，通过实时调节工艺参数和沉积，以提高打印输出的质量。然而，实施这样的反馈控制需要开发一个复杂的在线监测系统，由于存在高强度焊接电弧，该系统容易出现噪声和不准确的情况。此外，还可以通过层间铣削（inter-layermilling）来达到所需的表面平整度。但是这种混合制造方法由于混入了传统的减材制造工艺，会造成时间和材料的浪费，从而影响了WAAM制造工艺本身的成本效益和优势。
本文提出了一个用于MLMB打印的综合学习校正框架（anintegratedlearning-correctionframework），该框架引入了基于模型的强化学习方法。在该框架中，过程模型被反复学习，随后被用来补偿每一层的平整度误差， "原位（insitu）"补偿。这样做的好处是，这个学习框架可以与零件的实际打印结合起来使用（因此是insitu的），最大限度地减少了所需的前期训练时间和材料浪费。作者表示，这项工作是一项初步研究，也是向机器人WAAM的原位学习范式迈出的第一步，目的是促进MLMB工艺研究，在保证执行和交付制造功能的前提下提高打印质量。