科学家开发可提高3D感知能力的模型，实现四足机器人自由行走
借助机器人的本体感觉对足式运动进行研究已有数十年。在以往的研究手段中，研究人员往往采用基于模型的方法开发神经网络控制器。但是，这类方法无法在那些现实世界里没有见过的环境中得到应用。
近年来，为了获得更好的泛化性和鲁棒性，研究者们开始采用无模型强化学习，在vwin 中训练控制器，然后将学习到的策略直接转移到真实的机器人上。
那么，如何在无需遥控器操控的条件下，让四足机器人实现在复杂地形上自由流畅地行走呢？
近期，来自美国加州大学圣地亚哥分校和麻省理工学院的研究团队，开发了一个可以提高机器人 3D 感知能力的模型，能够支配四足机器人在各种困难地形场景下完成自动化行走，比如爬楼梯、踩石头、在树林中走路等。
如视频所示，该四足机器人的额头上装有前置的深度摄像头，该摄像头向下倾斜的角度，可以帮助该机器人前面的两足，根据所看到的前方场景和脚下地形做出正确的行动决策。但其后面的两足必须先记住前面看过的内容，才能确保在经过时踩在正确的位置上。
所以，这中间存在一个重要的问题，即需要一个短期的 3D 环境记忆体，能够使得机器人的四足都对三维环境有良好的感知和模拟。
为此，该团队构建了一种神经体积记忆（Neural Volumetric Memory，NVM）架构，可以先借助自监督方法对视频帧中的三维特征进行学习，再用几何变换把这些三维特征投影到同一个空间下面，最后通过模型将所有的特征信息融合在一起，让机器人对它所处的 3D 环境建立起短期记忆。
其中，需要说明的是，将上述带有特征的全部视觉信息综合在一起，可以帮助四足机器人记住其看到的内容，以及足部之前做过的动作，并利用这些记忆指导它下一步行动。这也表明，NVM 能为机器人执行决策提供可靠的 3D 结构信息，并为足式机器人利用视觉进行观察开辟新的可能性。
2023 年 3 月，相关论文以《用于视觉运动控制的神经体积记忆》（Neural Volumetric Memory for Visual Locomotion Control）为题发表在CVPR上，并被选为Highlight论文［1］。
图丨相关论文（来源：arXiv）
据介绍，该研究始于 2022 年 1 月。在当时的条件下，该团队先在模拟器环境下进行训练，再转至机器人上进行部署和测试。NVM 模块可以令四足机器人在模拟环境和真实世界中穿越复杂地形，并获得更好的模拟-真实泛化结果。
但是，由于模拟器和机器人在物理和视觉方面都存在一些差距，因此需要克服许多有难度的工程问题。此外，从模拟器中制定任务，以及做强化学习训练所需的代码，也需要该团队自行开发。
图丨实际部署（来源：arXiv）
据了解，这项成果建立在该团队之前的一项研究上，此前，该团队使用强化学习和基于 Transformer 的模型，将本体感受和视觉信息相结合，使得四足机器人能够避开障碍物，在不平整的地面上行走和奔跑 ［2］。
“我们目前这项研究是在不同帧上抽取三维特征，把它们放到同一个三维空间下进行合并，而之前的那项研究仅仅将不同帧直接合并起来，当做一个视频放入卷积神经网络中，没有做太多三维理解。”谈及本项成果取得的进展，王小龙表示，“并且，之前机器人能完成的任务比较简单，不能实现爬楼梯或踩木桩这种比较困难的任务。”
不过，该团队也表示，他们目前开发的模型还存在一些局限性。首先，不能引导四足机器人到达指定的目的地；其次，完成部署后，机器人只能简单地走一条直线，如果看到障碍物，会通过另一条直线避开；此外，机器人还不能精确控制其去向。
从应用层面上看，相较于安装轮子才能走路的机器人，四足机器人的通用性更强。比如，其可以用于应急救援领域，执行受困人员搜救、废墟清理等任务；用于下水管道探测等。
后续，该团队不仅计划开发更多用于规划机器人的技术，还打算在四足机器人上增加机械臂，来执行抓取、开门等任务；同时，他们也想让机器人实现更多创意性的技能，诸如跳跃、踢球等。
-
机器人
+关注
关注
211文章
28379浏览量
206906 -
模型
+关注
关注
1文章
3226浏览量
48806 -
3D感知
+关注
关注
0文章
19浏览量
3724
原文标题：科学家开发可提高3D感知能力的模型，实现四足机器人自由行走
文章出处：【微信号：tjrobot，微信公众号：天津机器人】欢迎添加关注！文章转载请注明出处。
发布评论请先 登录
相关推荐
【「具身智能机器人系统」阅读体验】+初品的体验
开源项目！OpenCat—— 一个全能的平价四足机器人
【书籍评测活动NO.51】具身智能机器人系统 | 了解AI的下一个浪潮！
英伟达预测机器人领域或迎“GPT-3时刻”
Jim Fan展望:机器人领域即将迎来GPT-3式突破
Nullmax视觉感知能力再获国际顶级学术会议认可
天津大学科学家突破人类大脑器官成功驱动机器人
Al大模型机器人
基于FPGA EtherCAT的六自由度机器人视觉伺服控制设计
银牛微电子3D视觉感知方案赋能小米CyberDog系列仿生四足机器人
技术基因＋自主创新，光鉴科技塑造3D视觉感知新范式
高精度彩色3D相机：开启崭新的彩色3D成像时代
工商网监
评论