1 用视觉传感器代替触觉?华为天才少年稚晖君首个机器人登场!感知+AI创造未来!-德赢Vwin官网 网
0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

用视觉传感器代替触觉?华为天才少年稚晖君首个机器人登场!感知+AI创造未来!

传感器专家网 来源:传感器专家网 作者:传感器专家网 2023-08-21 17:21 次阅读

就在今天(8月18日)上午10:10,“野生钢铁侠”、“华为天才少年”、“年薪百万离职创业”——头戴这些传奇光环的稚晖君,带来了其创业以来的产品首秀。 而这离稚晖君从华为“出走”仅6个月,造出人行机器人——智元具身智能机器人 “远征 A1”。据介绍,智能机器人 “远征 A1”融合了各种先进的本体控制、感知、认知和决策智能技术,基于当前 AI 领域非常前沿的大语言模型,以及其自研的视觉控制模型等一系列创新技术,将拥有出色的智能交互和任务执行能力,未来甚至能帮我们搬砖、打螺丝、当保姆、搞科研…… 从本次发布会上,我们也能窥视到天才少年稚晖君认为的未来智能,除了拥有AI人工智能的思维能力外,感知能力也是重要的一环——此前其设计的“自动”自行车、智能键盘、自平衡机器人等等均内置了大量的传感器,许多功能依赖于这些传感器进行开发。 值得一提的是,在智能机器人 “远征 A1”上,稚晖君创意地将视觉传感器应用于灵巧手(机器手)实现触觉的压力传感器效果——某方面上这显示了目前柔性传感器技术的滞后以及对柔性传感器的强烈需求。 下文,我们来看看稚晖君的第一个人形机器人有什么功能?搭载了什么传感器?怎么用视觉传感器代替触觉压力传感器?

作者:Sophia

物联网智库整理发布(部分内容有删改)

远征A1能做什么?首先,我们先来看看远征A1长得咋样? 远征A1是一台具有完整人类造型的人形双足机器人。从现场演示来看,远征A1走路的速度并不快,跟小米的“铁大”较为接近,其走路的状态还是比较稳的,不过步幅比较小。

根据现场视频,远征A1可以在汽车产线中从事地盘装配、外观检测

还可以在工厂中进行3C产品的组装装配、物料搬运,在生化实验室中帮助研究员进行样本制备、样本增扩。

在家庭场景中,远征A1甚至可以在烹饪场景中磕鸡蛋。

还能照顾老人、帮助老人吃药,还能帮孩子辅导功课。

值得一提的是,虽然发布会上提到了各种炫酷能力,但在今天的发布会现场,稚晖君并没有对这些功能进行演示。

这场发布会,也是稚晖君创业公司——智元机器人(Agibot)品牌的首次对外露出。

085c0e36-4004-11ee-852b-dac502259ad0.png

为什么要用这个名字?因为“智”代表人工智能,“元”则是下方有两条腿的人的象形,其英文名Agibot是通用人工智能机器人的意思。

所以,智元机器人(Agibot)这家公司的初心&使命就是“创造出和人一样灵活以及智能的机器人,让智能机器创造无限生产力”,最终推动人类整个社会迈向一个更加智能、高效和可持续的未来。

“远征 A1”到底有多牛?指尖视觉传感器能识别压力?RGBD相机、激光雷达、IMU等传感器各显神通

网上有个经典的AI段子,如下图所示:

088ad48c-4004-11ee-852b-dac502259ad0.png


我们想让AI做饭、打扫房间、洗衣服晾衣服晒衣服、扔垃圾、铲屎等,但是AI实际在做的事却是聊天、绘画、写作、作曲和游戏等等……

要想让机器人真正去做图上左边的事情,必须实现AI和机器人技术更深层次的结合,这涉及到对环境的理解、上下文的推理、物体识别、运动规划等一系列复杂的技术挑战——这并不是一个硬件或者软件的问题,它是一个系统性的软硬件算法各方面综合的协同问题。

为此,智元团队在软件和硬件方面都取得了阶段性的进展。

人形机器人本体技术

首先来看硬件部分,也就是人形机器人本体技术。

08b47c42-4004-11ee-852b-dac502259ad0.png

为什么是人形?

答案其实很简单,因为人类生活的整个物理世界就是为人的形态而设计的,包括各种场景、任务、设备、工具都是为人类量身打造的,所以人形的身体结构和能力显然可以帮助机器人更好地融入人类生活的环境。

当然,稚晖君也承认——

人形并不是通用机器人唯一的解决方案,在一些特定的结构化场景中,可能其他平台的机器人会有更高的效率和可用性,所以他们也对机器人本体进行了各种模块化的设计。

但长远来看,从第一性原理出发,稚晖君的团队还是认为人形机器人是在人类环境中最为通用的一种形态,也是未来可以走进千家万户,有希望进入大家生活中的最终的终极形态。

为了实现机器人流畅的基础行走能力和上下协同能力,在本体硬件设计方面,智元团队在机器人全身搭载了包括谐波一体关节、直线推杆、无刷行星伺服、空心杯电机等在内一共49个自由度,各类的执行器。

08ee9328-4004-11ee-852b-dac502259ad0.png

一台行动非常精准灵敏的机器人,它的关节需要具备一系列特征:体积小、重量轻、功率密度足够高、能量利用效率足够高、高响应带宽、耐冲击等等…..

然后再结合机器人整机结构设计和控制系统的最优设计,才能保障其执行的高效。

所以这个核心关节它不仅是让人形机器人更加灵活,更加自由的关键,那也同时也是未来智元想要实现规模量产化,实现低成本制造的重要门槛之一。

为此,智元团队自研设计了名为PowerFlow的专用关节,重量仅为1.6kg,小小的体积下集成了液冷循环散热系统,峰值扭矩可达350Nm。

0949c176-4004-11ee-852b-dac502259ad0.png

另外一个非常重要的核心零部件就是零巧手。

智元团队自研了高自由度的灵巧手,目前拥有12个主动自由度和5个被动自由度,而且所有驱动都是内置的,成本却可以低至1万元以内。

同时,因为A1机器人应用将瞄准一些非常精密的操作场景,所以该款灵巧手的指尖也集成了基于视觉的指尖传感器,可以分辨操作物的颜色、形状,甚至材质,而且可以基于各种算法的数据融合,去做到近似触觉压力传感器的感知效果。

09718094-4004-11ee-852b-dac502259ad0.png

除了这两个核心零部件之外,远征A1的AI算力达到了200TOPS,搭载了RGBD相机、激光雷达、IMU等传感器,在智能方面则支持多模态感知、少样本学习、任务闭环、强人机交互等能力和特性。

09a951a4-4004-11ee-852b-dac502259ad0.png

有了非常良好的硬件平台作为基础,运控算法也是非常核心的关键。据稚晖君介绍,在短短几个月的研发实践中,其团队已经快速迭代了三版运控算法,可以说其已经拥有目前业界一梯队的最核心的算法研发能力。

09fe9588-4004-11ee-852b-dac502259ad0.png

为了让远征AI具备真正落地的可能,智元团队希望未来将整个机器人硬件成本控制在20万元人民币以内,也不知手握擎天柱机器人的马斯克慌不慌。

具身智能技术

机器人要想低成本的量产并产生实际应用价值,硬件本体只是前置条件,更重要的则是机器人的AI大脑,也就是软件部分。

0a6b746e-4004-11ee-852b-dac502259ad0.png

近年来,随着大语言模型技术的飞速发展,稚晖君认为让机器人自主去感知环境,理解任务动作编排,自主地去完成一整套流程已经成为了可能。

0a8f918c-4004-11ee-852b-dac502259ad0.png

在智元团队看来,大模型在机器人领域运用最大的价值体现在两点:

第一点是“庞大的先验知识库&强大的通识理解能力”。

举例而言,当我们需要让机器人把桌子上的垃圾扔到旁边的垃圾桶里,我们不再需要去告诉他垃圾是啥,垃圾桶是啥。所有的这些数据,都是预训练的 GPT 模型从海量物联网数据中已经学到的概念,所以大模型的出现可以使得机器人把原有的能力更好地泛化到它没有见过的场景中。

0ae43fe8-4004-11ee-852b-dac502259ad0.png

第二点是“复杂语义多级推理能力,所谓的思维链”。

如下图所示,如果我们需要指令机器人将“蓝色的方块放在红色方块下面”,那么机器人就得理解重力是怎么回事,因为东西不会飘在空中,他要怎么进行一个多级的操作来完成这样一个复杂的任务?

所以在大模型时代到来之前,机器人都是专用设备,我们需要针对性地对每一个任务进行调试和部署,而如今利用大模型的各种通识能力和举一反三的推理能力,我们可以看到解决这些问题,最终走向通用机器人的一道曙光。

0b3ac426-4004-11ee-852b-dac502259ad0.png

基于此,智元设置了“具身智脑”EI-Brain框架,把机器人的思维系统分为四个层级,分别是云端超脑、大脑、小脑和脑干。

0b6b024e-4004-11ee-852b-dac502259ad0.png

0ba067d6-4004-11ee-852b-dac502259ad0.png

讲完技术后,稚晖君也用一段视频展示了人形机器人在各个场景里面应用的无限潜力。


据悉,“远征A1”将首先用于新能源制造、3C制造,目前已经与头部企业进行对接。但具体品牌名,尚未透露。

“天才少年”离职创业史,自动平衡自行车火遍全网,搭载多种传感器模块

公开资料显示:稚晖君,真名彭志辉,2018年毕业于电子科技大学信通学院。

0c48ba8a-4004-11ee-852b-dac502259ad0.jpg

2018年毕业后,他曾就职于OPPO研究院AI实验室担任算法工程师,后受邀通过天才少年计划加入华为,从事昇腾AI芯片和AI算法相关研究工作,年薪百万。

能加入“华为天才少年计划”,就已经很能说明其实力之牛了。该计划对申请者具有极高的要求:国际顶刊论文发表数量及引用量丰富者;研究方向有出色及丰富的商业化成果;有知名赛事名次者优先。与之相对的招聘流程亦非常严格,一般需要经历7轮左右流程,最终还要通过华为总裁的面试。

与其他那些神秘天才不同,稚晖君是一位活跃于网络的大V,他所做的许多研究也都公布在了网上,相信不少科技爱好者都在B站上刷到过他的视频。

比如这辆硬核自行车,它不但能够自己稳稳站立,还能够自动行走、躲避障碍物,甚至还能自己拐弯……

0c6653a6-4004-11ee-852b-dac502259ad0.gif

0e85caf4-4004-11ee-852b-dac502259ad0.gif

据网传硬件清单中,这台自动自行车集成了陀螺仪加速度计模块、超声波模块、距离传感器、摄像头 Motion Sensor红外传感器)等多种传感器模块,以实现各种自平衡等各种功能。

0f7f4b4c-4004-11ee-852b-dac502259ad0.png

还有这台钢铁侠的机械臂,稚晖君远程操控其为一颗破口葡萄缝针,葡萄未被机械臂损坏。

0fa1d266-4004-11ee-852b-dac502259ad0.gif

在“葡萄包扎术”后,原本裂开小口的它,变成了这个样子:

13ff390c-4004-11ee-852b-dac502259ad0.gif

以及稚晖君“鸽”到今年4月在B站分享自制的“轮足”机器人哪吒,简直就是“国风神话”和“赛博机械”的组合~

14b749fc-4004-11ee-852b-dac502259ad0.gif

网友惊叹稚晖君的恐怖之处在于:一个人完成了所有细节,建模,算法,电路设计,驱动设计,APP开发,知识储备量和动手实践能力恐怖如斯!

完成了许多创举的稚晖君本身则比较谦虚,他自己在很多采访里都表达过“我觉得我既不是天才,也已经不是少年了”,自己只是个很爱折腾的极客而已。

去年12月,稚晖君正式确认离开华为,表示自己接下来会开启一段新的事业。虽然华为内部也曾挽留,但显然这种级别的天才是很难在大厂做一颗“螺丝钉”的。

151740b4-4004-11ee-852b-dac502259ad0.png

今年2月,稚晖君的创业公司智元机器人(Agibot)正式成立。

据悉,智元机器人(Agibot)是一家专注于发展通用人形机器人和具身智能的公司,致力于以A1和机器人的深度融合,长期投入打造有竞争力的机器人产品和生态。

截至目前,智元机器人(Agibot)已经完成了第三轮融资,市场估值被曝在十几亿美元左右。

15a04aa8-4004-11ee-852b-dac502259ad0.jpg

几个月前,稚晖君也在微博上发了招聘贴,表示人工智能正在迎来新一轮产业剧变,往AGI圣杯的方向加速迈进,LLM+Robotics的组合已是必然趋势,机器人将在不久的未来迎来应用场景爆发的拐点,希望更多人加入他们这个年轻的团队,一起拥抱AI世界的星辰大海。

15be6cfe-4004-11ee-852b-dac502259ad0.png

具身人形机器人才是未来?

就今天发布的新品来看,稚晖君选择的方向是具身人形机器人。

所谓具身智能,就是Embodied Intelligence,简称EI,图灵于1950年在论文《Computing Machinery and Intelligence》中第一次提出这一概念。具身智能可以让机器像人一样能和环境交互感知,自主规划、决策、行动,并具备执行能力,也被认为是AI的终极形态。

知名美籍华裔人工智能学者李飞飞曾经直言,具身智能将会成为AI领域的下一个“北极星问题”之一。而英伟达首席执行官黄仁勋也表达过类似的观点,称“AI的下一个浪潮将是具身智能”。

就在今年7月,李飞飞带队的项目组,发布了一项最新的“具身智能”成果——VoxPoser。

15f2c49a-4004-11ee-852b-dac502259ad0.png

其原理就是使用者给定执行具体需求的自然语言指令,以及环境信息(通过相机采集的RGB-D的图像),然后,LLM(Large Language Model,大语言模型)将根据以上信息生成与VLM(Visual Language Model,视觉-语言模型)交互的代码。

1625322c-4004-11ee-852b-dac502259ad0.png

基于这一系列操作,系统会自动生成相应的供机器人进行空间感知的“3D Value Map”(3D值图)。它会“告诉”机器人自己在哪里、目标在哪里。

这一成果的最大亮点在于——整个机器人训练过程是不需要进行任何额外的数据投喂和预训练的。换而言之,目前机器人训练所需要进行的预定义训练、大规模数据缺失等问题,在这里统统不存在。

正是因为具备上述能力,机器人只要符合相关流程,也基本能够完成任何给定任务。

关于VoxPoser这项成果,可以说又是人工智能领域和机器人领域融合的一个新的里程碑!

而在机器人形态方面,智元团队也认可人形机器人才是终极目标。

我们熟悉的马斯克就是人形机器人的忠实拥趸。

1666bb16-4004-11ee-852b-dac502259ad0.gif

在前不久的二季度业绩说明会上,特斯拉CEO埃隆·马斯克公布了备受关注的特斯拉人形机器人Optimus的最新进展。马斯克表示,特斯拉已经生产了10台人形机器人。预计在今年11月份进行行走测试,计划明年在特斯拉工厂进行实用性测试。

除了特斯拉,小米也研发了其首个全尺寸人形仿生机器人“CyberOne”,中文名“铁大”。整机高为1.77米,重量为52KG,跟正常的成人一般大小。

177b32ca-4004-11ee-852b-dac502259ad0.png

据雷军介绍,“铁大”拥有和人类一样的高智商,它能感知45种人类语义情绪,分辨85种环境语义。“铁大”采用了小米全自研全身控制算法,协调运动21个关节自由度,全身5种关节驱动,峰值扭矩可达300Nm;在视觉方面,通过Mi Sense视觉空间系统加持,“铁大”具备三维重建真实世界的能力。

不久前的WRC 2023上,知名机器人公司优必选则对外发布了人形机器人智能多模态交互系统,这是一个集人机交互、指令理解、自主规划、任务执行等技术于一体的智能系统。

优必选科技在展台上还展示了熊猫机器人优悠和Walker X,它们都是刚从成都大运会闭幕式赶赴北京的骑过平衡车的大型人形机器人。

17b7b09c-4004-11ee-852b-dac502259ad0.png


总体来看,人形机器人已经站上了风口。未来,具身智能+人形将成为一个大杀器。

写在最后

发布会的最后,稚晖君通过一段视频展示了智元这个富有活力的团队~

17f8ce4c-4004-11ee-852b-dac502259ad0.gif

1834634e-4004-11ee-852b-dac502259ad0.gif

185cc032-4004-11ee-852b-dac502259ad0.gif

1a061f46-4004-11ee-852b-dac502259ad0.gif

创业维艰,但是热爱的热情似乎可以克服一切阻力。

在谈到自己的梦想时,稚晖君说道:

“我的梦想之一,就是希望有一天能够让科幻电影里的智能机器人真正变为现实,这些机器人不再是简单的机械装置,而是拥有自主思考能力和学习能力的伙伴,能够感知和理解我们的世界,然后与我们进行深入的沟通和合作。”

致敬每一个追梦人

也期待未来远征AI的更多惊喜!

您对本文有什么看法?欢迎在传感器专家网公众号本内容底下留言讨论,或在中国最大的传感社区:传感交流圈中进行交流。

您对本文有什么看法?欢迎留言分享!

顺手转发&点击在看,将中国传感产业动态传递给更多人了解!

审核编辑 黄宇

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表德赢Vwin官网 网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 机器人
    +关注

    关注

    211

    文章

    28379

    浏览量

    206908
  • AI
    AI
    +关注

    关注

    87

    文章

    30728

    浏览量

    268875
  • 视觉传感器
    +关注

    关注

    3

    文章

    249

    浏览量

    22872
  • 稚晖君
    +关注

    关注

    6

    文章

    35

    浏览量

    5155
收藏 人收藏

    评论

    相关推荐

    【「具身智能机器人系统」阅读体验】+初品的体验

    解决许多技术的和非技术的挑战,如提高智能体的自主性、处理复杂环境互动的能力及确保行为的伦理和安全性。 未来的研究需要将视觉、语音和其他传感技术与机器人技术相结合,以探索更加先进的知识表
    发表于 12-20 19:17

    《具身智能机器人系统》第1-6章阅读心得之具身智能机器人系统背景知识与基础模块

    挑战,BEV技术提供了新的解决思路。 第5章机器人定位系统的设计思路给了我新的灵感。本章详述了多传感器融合定位方法,将GNSS、IMU等直接测量与视觉里程计等环境感知相结合,
    发表于 12-19 22:26

    掰掉卫星电话的外置天线,华为天才少年”助力 Mate 捅破天

    专注于移动终端天线的研究,在与华为的合作项目中应用成果突出。获得“天才少年”offer 后,他入职华为, 和团队 2 年时间完成了“手机卫星通话”这项填补业界研究空白的突破,成为 2
    发表于 12-06 17:03

    这批中国企业,在做人形机器人触觉传感器

    具备多模态感知能力,可捕捉细微的触觉变化——Meta声称,该传感器可以 模拟人类的触觉,支持振动、温度等多重感知能力 。 Meta认为,打造
    的头像 发表于 11-18 18:28 579次阅读

    一文讲透人形机器人常用的四类感知传感器视觉、力/力矩、触觉、IMU

    随着科技的飞速发展,人形机器人正逐步从科幻电影走进现实生活,成为未来智能社会的重要组成部分。它们不仅能够执行复杂的任务,还能与人类进行自然交互,这一切都离不开先进的传感器技术。在人形机器人
    的头像 发表于 11-14 16:44 944次阅读
    一文讲透人形<b class='flag-5'>机器人</b>常用的四类<b class='flag-5'>感知</b><b class='flag-5'>传感器</b>:<b class='flag-5'>视觉</b>、力/力矩、<b class='flag-5'>触觉</b>、IMU

    【书籍评测活动NO.51】具身智能机器人系统 | 了解AI的下一个浪潮!

    情况为例,具身智能机器人的核心元器件(包括 3D 视觉传感器、六维力传感器、微型传动系统、灵巧手与精密力控系统、高性能 驱控关节模组、融合通用大模型、
    发表于 11-11 10:20

    触觉传感器的发展,对机器人产业有什么影响?

    从工业生产线的自动化到家庭服务的智能化,机器人的身影无处不在,它们正在改变着我们的生活方式和工作模式。而在这一过程中,触觉传感器的发展起到了至关重要的作用。触觉
    的头像 发表于 10-23 18:25 486次阅读

    传感器:人形机器人感知核心(附报告全文)

    在人形机器人中较为重要的几种传感器有力矩传感器触觉传感器、IMU、视觉
    的头像 发表于 08-27 16:45 1263次阅读
    <b class='flag-5'>传感器</b>:人形<b class='flag-5'>机器人</b><b class='flag-5'>感知</b>核心(附报告全文)

    人形机器人感知变化的未来

    电子皮肤作为一种新型的仿生柔性触觉传感系统,在人形机器人感知过程中扮演着至关重要的角色。尽管国内部分厂商已经开始布局柔性触觉
    的头像 发表于 08-05 00:00 821次阅读
    人形<b class='flag-5'>机器人</b><b class='flag-5'>感知</b>变化的<b class='flag-5'>未来</b>

    视觉传感器助力机器人“看到”并理解周围世界

    ,正因为有了传感器机器人才具备了类似人类的知觉功能和反应能力。   机器人需要用到哪些传感器   机器人要用到的
    的头像 发表于 07-10 00:16 3266次阅读

    Al大模型机器人

    金航标kinghelm萨科微slkor总经理宋仕强介绍说,萨科微Al大模型机器人有哪些的优势?萨科微AI大模型机器人由清华大学毕业的天才少年N博士和王博士团队开发,与同行相比具有许多优
    发表于 07-05 08:52

    工业机器人触觉传感器有哪些?传感器作用是什么?

    工业机器人触觉传感器可以帮助工业机器人测量与其环境的任何物理交互。传感器可以测量与传感器和物体接
    的头像 发表于 03-11 08:39 784次阅读

    用于机器人触觉和非接触距离感知的柔性双模态传感器设计

    具有非接触式传感功能的柔性传感器的开发仍然是触觉感知的技术挑战。
    的头像 发表于 02-28 09:58 645次阅读
    用于<b class='flag-5'>机器人</b><b class='flag-5'>触觉</b>和非接触距离<b class='flag-5'>感知</b>的柔性双模态<b class='flag-5'>传感器</b>设计

    全面分析:人形机器人快速发展,哪些国产传感器将受益?(深度报告)

        传感器是人形机器人感知层的关键,基于MEMS工艺的力控、触觉、惯性传感器有望充分受益。   ① 人形
    的头像 发表于 02-21 09:53 1030次阅读
    全面分析:人形<b class='flag-5'>机器人</b>快速发展,哪些国产<b class='flag-5'>传感器</b>将受益?(深度报告)

    机器人会用到哪些传感器

    、测量距离和方向等。以下是机器人常用的一些传感器。 1. 视觉传感器视觉传感器
    的头像 发表于 01-03 15:59 2688次阅读