CoRL2021落幕:多模态通向机器人智慧,无模型框架拥抱现实应用

经济学家熊彼特认为 , 所谓创新就是要”建立一种新的生产函数” , 即"生产要素的重新组合” , 就是要把一种从来没有的关于生产要素和生产条件的“新组合”引进生产体系中去 , 以实现对生产要素或生条件的“新组合” 。 目前 , 机器人就是新的生产要素 , 要妥帖地缝合在社会生活中 。
后疫情时代的科学家与产业人士 , 已经找到机器人与人工智能发展的方向 , 我们将看到 , 他们会逐渐把重心放在技术发展的时速上 , 保证机器人在进击的道路上 , 适应这个时代的节奏 。
作者|吴彤
编辑|青暮
今年的CoRL落下帷幕 , 这个专注于机器人领域的新秀 , 再一次将机器人前端研究推至大众面前 。
今年的机器人研究有哪些看点?公开展示的11个机器人研究和最佳论文奖到底有何突破?与往年相比 , 今年的机器人研究有哪些不同?后续将会影响哪些产业?
带着这些问题 , AI科技评论深剖了今年的CoRL会议 , 与大家共同探讨「2021年最前沿的机器人研究」 。
1
CoRL中的11demo
在公布今年最佳论文奖之前 , CoRL展示了11个机器人项目 , 透露了本年度最受关注的机器人研究方向 。
CoRL2021落幕:多模态通向机器人智慧,无模型框架拥抱现实应用
文章图片
demo链接:https://www.robot-learning.org/program/demos
这11项中 , 其中四项为四足机器狗 , 即2 , 4 , 7 , 10 , 分别为瑞士ANYbotics的ANYmal和杭州宇树科技A1 。
CoRL2021落幕:多模态通向机器人智慧,无模型框架拥抱现实应用
文章图片
CoRL2021落幕:多模态通向机器人智慧,无模型框架拥抱现实应用
文章图片
在性能上 , 它们都利用了机载本体感受和外感受反馈 , 将感官信息和所需的速度命令映射到脚步计划中 , 实时、在线地适应未见过的地形环境 , 表现显著优于其他腿式机器人 。 除此之外 , 它们还能在一系列运动步态之间随意切换 , 以最小化其能量消耗 。
而它们背后的无模型强化学习 , 也一举成为腿式机器人运动控制器开发中的最优方法 。
具体来说 , 无模型强化学习指智能体与环境进行实时交互和探索 , 并直接对得到的经验数据进行学习 , 最终实现累积收益最大化或达到特定目标 。 它不需要拟合环境动态模型 , 只要与环境的实时交互 , 就可以保证智能体渐近收敛得到最优解 。
拥有这种模型的四足机器狗 , 不仅能顺利走出实验室 , 还能在更复杂的场景中自我决策 , 成就名副其实的--“跟着感觉走” 。
接着 , 在机器人感知领域 , 视觉领域的项目有两项 , 即1 , 3;触觉领域有三项 , 即6 , 8 , 9 。
在CV领域 , 实时密集三维映射称为密集SLAM(Simultaneouslocalizationandmapping , 同步定位与建图) , 一直是机器人技术的主要挑战之一 , 问题包括估计传感器的自由度位姿和环境的三维重建 。 尽管目前存在RGB-D映射解决方案 , 但深度值不能简单地从传感器读取并融合 , 单目摄像机成为性价比最高的方案 。
CoRL2021落幕:多模态通向机器人智慧,无模型框架拥抱现实应用
文章图片
CoRL2021落幕:多模态通向机器人智慧,无模型框架拥抱现实应用
文章图片
TANDEM框架的创新之处在于 , 它在摄像机跟踪方面优于其他基于学习的单目视觉里程计(VO)方法 , 并展现出实时三维重建的性能 。
具体来说 , 它采用了一种新的跟踪前端 , 该前端使用由密集深度预测增量构建的全局模型渲染的深度图来执行密集直接图像对齐 。 其次 , 为了预测稠密的深度图 , 作者提出了级联视图聚合MVSNet(CVA-MVSNet) , 能够利用整个活动关键帧窗口 , 通过分层构造具有自适应视图聚合的3D成本量来平衡关键帧之间的不同立体基线 。 最后 , 将预测的深度图融合为一致的全局图 , 并以截断的带符号距离函数(TSDF)体素网格表示 。