1 用于在超声图像中对毫米尺度机器人胶囊进行2D姿态估计的方法-德赢Vwin官网 网
0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

用于在超声图像中对毫米尺度机器人胶囊进行2D姿态估计的方法

MEMS 来源:MEMS 2022-12-28 11:51 次阅读

具有移动能力和采样机构的可口服机器人胶囊在胃肠道无创诊断和介入治疗方面具有巨大的潜力。实时跟踪胶囊位置和运行状态对于临床应用是必要的,但这仍然是一个重大挑战。

据麦姆斯咨询报道,近日,加拿大多伦多大学(University of Toronto)和美国范德堡大学(Vanderbilt University)的研究人员组成的团队在Scientific Reports期刊上发表了题为“Capsule robot pose and mechanism state detection in ultrasound using attention-based hierarchical deep learning”的最新论文,提出了一种基于注意力的分层深度学习方法,以用于在超声图像中对毫米尺度机器人胶囊进行2D姿态估计和机构状态检测。实验结果表明,胶囊状态分类的准确率为97%,方位和质心位置的平均估计误差为2.0°和0.24mm(胶囊体长的1.7%)。提出的方法有望推进无线胶囊机器人技术的发展。

无线胶囊机器人在靶向给药、活检取样和胃肠道(GI)局部诊断等任务中显示出巨大的潜力。尽管内窥镜手术通常被用于胃肠道的诊断和治疗,但内窥镜检查需要麻醉,并存在肠道破裂的风险。基于微创胶囊机器人的技术有望替代内窥镜。对于使用无线胶囊机器人进行活检或靶向治疗等手术,需要准确和实时地跟踪胶囊位置和运行状态。

磁定位技术作为一种用于无线胶囊内窥镜(WCE)姿态估计的无遮挡跟踪方案已被广泛研究。典型的配置是将一个或多个小永磁体封装在胶囊中,并使用外部传感器根据感测到的磁场数据确定胶囊的姿态。现有方法以高定位精度实现了实时精度,但是由于执行器对定位系统的干扰,因此无法实现对胶囊的同步磁驱动。

为了解决这个问题,研究人员已经提出了一种约束在3 x 3平面内的线圈系统,以最小化执行器对传感器的影响。Y. Xu等实现了WCE的同步磁驱动和定位,并通过使用积分滤波器消除了磁干扰。然而,这种系统受限于相对较低的姿态更新频率(约0.5~1.0Hz)。此外,磁跟踪无法对胃肠道生理学方面进行定位,而这对于许多应用(例如靶向取样、活检或治疗递送等)来说是必需的。超声引导的胶囊机器人将通过使用安全、无创成像模式跟踪胶囊来解决这些障碍,该成像模式还有潜力定位胶囊的胃肠道位置。

与磁共振成像(MRI)和X射线等其他医学成像技术相比,超声成像技术因其结合了高时间分辨率和无电离辐射成像,成本较低,且更容易实现,因此受到人们青睐。尽管超声成像已在许多临床应用中使用,但使用GI超声成像胶囊仍存在一些挑战。胃肠道由5个管状组织层组成,这些组织层是交替产生回声和消声的材料,在超声B模式扫描中表现为亮层和暗层。此外,胃肠道内部充满了空气、水和消化物质的混合物,这在超声B模式图像中表现为许多斑点和明暗对比的区域。在这种环境下,胶囊机器人的精确检测和跟踪是非常具有挑战性的。

虽然超声成像被熟练的超声医师手动使用作为诊断工具,但仍需要对胶囊机器人进行基于计算机的自动跟踪,因为(1)具有移动或机构驱动能力的胶囊机器人必须同时被跟踪和控制,这对操作员来说是一个重大的挑战,因为这要求操作员对胶囊和超声系统的动力学和操纵具有良好的了解;以及(2)在B模式图像中,通过手动从背景组织中识别设备和胶囊机载机构状态来进行精确的图像判读是特别困难的。研究人员提出了一种自动检测方法用于帮助临床医生进行胶囊操纵,可在无需超声医师持续关注的情况下进行胶囊跟踪,并提供更标准化的反馈。这种自动跟踪将使临床医生通过解剖工作空间指定的路径实现完全闭环控制。

在本论文中,作者们提出了一种基于注意力的分层深度学习方法,并在非医学数据集上采用训练有素的CNN模型,以在离体猪胃肠道中使用超声成像对毫米级机器人胶囊进行2D姿态估计和机构状态检测。该胶囊机器人由封装在软弹性体样品室中的两个永磁体构成。它具有一个磁力驱动的取样机构,当被施加磁场时,该机构会使胶囊打开以进行取样或治疗给药。胶囊的直径和长度分别设计为8mm和14.5mm。在临床使用期间,胶囊在口服给药后通过胃肠道,并在移动期间保持关闭,只有在到达目标位置时才被激活以打开进行取样或药物释放。最后,胶囊可以通过常规的粪便通道取回。

他们考虑了胶囊机器人的三种可能的机构状态:闭合、打开和消失在视场(FOV)中(由于周围组织引起的离面运动或闭塞),如图1b–d所示。胶囊机器人在超声图像坐标系U中的2D姿态定义为(xU,yU,θU),超声成像平面内的质心位置和方向如图1b所示。

15304e6c-7d5c-11ed-8abf-dac502259ad0.jpg

图1 胶囊机器人的三种可能的机构状态

为了训练神经网络,他们在离体猪胃内生成了机器人胶囊的代表性数据集。实验结果表明,在测试集上,胶囊状态分类的准确率为97%,方位和质心位置的平均估计误差为2.0°和0.24mm(胶囊体长的1.7%)。在猪胃和结肠中通过外部磁体操纵胶囊机器人时,对胶囊的精确检测也得到了证实。结果表明,通过在临床场景中提供胶囊机器人的精确检测,提出的方法有望推进无线胶囊机器人技术的发展。

15460f72-7d5c-11ed-8abf-dac502259ad0.jpg

图2 离体猪胃实验设置

155124de-7d5c-11ed-8abf-dac502259ad0.jpg

图3 胶囊机器人的离体姿态估计和机构状态检测结果

本论文研究工作的主要贡献包括:

(1)这项研究工作演示了在离体猪胃肠道超声B模式成像下对无线胶囊机器人的姿态和运行状态的检测。这允许将超声引导的临床手术整合到常规工作流程中,以协助临床医生使用胶囊机器人。

(2)这项研究工作提出了一种新的基于注意力的分层深度学习方法,以增强特征表示能力,并首次将在非医学数据集上预训练的CNN模型应用于目标跟踪任务的临床数据集。基于离体超声图像开发的训练模型具有很大的临床价值,可以作为超声引导的医疗器械在体内跟踪的预训练模型。

(3)这项研究工作提供了一个在离体临床相关环境中的超声图像的大型标记数据集,用于对微尺度胶囊机器人跟踪算法的开发进行基准测试。





审核编辑:刘清

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表德赢Vwin官网 网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 传感器
    +关注

    关注

    2550

    文章

    51035

    浏览量

    753059
  • 磁共振成像
    +关注

    关注

    0

    文章

    20

    浏览量

    8591
  • 执行器
    +关注

    关注

    5

    文章

    377

    浏览量

    19347

原文标题:基于注意力的分层深度学习方法,用于胶囊机器人姿态和机构状态的超声成像检测

文章出处:【微信号:MEMSensor,微信公众号:MEMS】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    《具身智能机器人系统》第1-6章阅读心得之具身智能机器人系统背景知识与基础模块

    ,互联网行业占成熟经济体的GDP增长的21%,世界经济正面向数字经济转型的大趋势。具身智能机器人集成人工智能、高端制造、新材料等技术,其核心在于通过智能体与环境的动态互动实现智能行为。 2章“具身
    发表于 12-19 22:26

    Sonair推出用于机器人避障的3D超声波传感器

    据麦姆斯咨询报道,Sonair近日发布一款用于自主移动机器人(AMR)和自动导引车(AGV)避障的新型3D超声波传感器。 Sonair将新型3D
    的头像 发表于 11-16 09:57 576次阅读

    【开源项目】你准备好DIY一款功能强大的机器人了吗?

    欢迎来到DIY SMARS Robot 机器人制作教程!本教程,将教你制作这款功能强大的机器人,它配备了OLED显示屏、RGB LED灯和可播放旋律的蜂鸣器等新功能。一起来设计电
    发表于 11-08 10:53

    用于机器人视觉系统的LED光源

    工业光源机器视觉系统扮演着至关重要的角色,它们直接影响到图像采集的质量以及后续图像处理的效率和准确性。
    的头像 发表于 08-30 13:10 220次阅读
    适<b class='flag-5'>用于</b><b class='flag-5'>机器人</b>视觉系统的LED光源

    智能移动机器人

    富唯智能移动机器人分为复合机器人和转运机器人,搭载ICD核心控制器,实现一体化控制,最快可实现15分钟现场机器人的快速部署,无缝对接产线,配合自研2
    的头像 发表于 08-27 17:22 333次阅读
    智能移动<b class='flag-5'>机器人</b>

    机器人视觉技术中常见的图像分割方法

    机器人视觉技术图像分割方法是一个广泛且深入的研究领域。图像分割是将图像划分为多个区域或对象的
    的头像 发表于 07-09 09:31 651次阅读

    机器人视觉技术图像分割方法有哪些

    机器人视觉技术是人工智能领域的一个重要分支,它涉及到图像处理、模式识别、机器学习等多个学科。图像分割是机器人视觉技术
    的头像 发表于 07-04 11:34 913次阅读

    编码器机器人系统的应用

    随着科技的飞速发展,机器人技术已广泛应用于工业、医疗、服务等多个领域。机器人系统,编码器作为核心的位置和速度检测装置,发挥着至关重要的作
    的头像 发表于 06-13 14:51 811次阅读

    基于FPGA EtherCAT的六自由度机器人视觉伺服控制设计

    、Zynq和摄像头为硬件基础,搭建了六自由度机器人视觉平台。 (2)设计了基于 FPGA的视觉检测方案。利用 西林提供的 HLS和CV库对从摄像头采集到的像素流进行实时处理,并设计了一套识别物块坐标
    发表于 05-29 16:17

    生医应用的磁控胶囊机器人,实现多模态响应与多功能集成

    胶囊机器人可以通过口服方式抵达胃肠道病灶区域实施医疗功能,为实现胃肠道疾病无痛无创诊疗和提高患者依从性提供了重要途径。
    的头像 发表于 03-14 15:36 1112次阅读
    生医应用的磁控<b class='flag-5'>胶囊</b><b class='flag-5'>机器人</b>,实现多模态响应与多功能集成

    移动协作机器人的RGB-D感知的端到端处理方案

    本文提出了一种用于具有双目视觉的自主机器人的三维语义场景感知的端到端流程。该流程包括实例分割、特征匹配和点集配准。首先,利用RGB图像进行单视图三维语义场景分割,将
    发表于 02-21 15:55 681次阅读
    移动协作<b class='flag-5'>机器人</b>的RGB-<b class='flag-5'>D</b>感知的端到端处理方案

    介绍一种使用2D材料进行3D集成的新方法

    美国宾夕法尼亚州立大学的研究人员展示了一种使用2D材料进行3D集成的新颖方法
    的头像 发表于 01-13 11:37 1058次阅读

    一种用于2D/3D图像处理算法的指令集架构以及对应的算法部署方法

    二维(2D)和三维(3D)双模视觉信息自动驾驶、工业机器人、人机交互等前沿领域具有广泛的应用前景。
    的头像 发表于 01-05 10:35 458次阅读
    一种<b class='flag-5'>用于</b><b class='flag-5'>2D</b>/3<b class='flag-5'>D</b><b class='flag-5'>图像</b>处理算法的指令集架构以及对应的算法部署<b class='flag-5'>方法</b>

    【爱芯派 Pro 开发板试用体验】人体姿态估计模型部署前期准备

    使用到,这里给大家举几个例子: 1、虚拟主播:大家看到B站直播时的“皮套”,通常通过一个2D live的形象展示一个动漫形象,然后和主播同步动作。这就是通过摄像头识别当前主播姿态,再同步到虚拟形象上实现
    发表于 01-01 01:04

    子母式微纳米机器人系统,用于颅内跨尺度靶向给药

    该团队分别在体外胶质瘤细胞微环境和离体猪脑组织内开展了试验。结果表明,微纳米机器人可远距离递送到指定病灶,释放药物杀死胶质瘤细胞。这验证了该研究所提出的子母式微纳米机器人尺度递送方法
    的头像 发表于 12-26 16:40 425次阅读
    子母式微纳米<b class='flag-5'>机器人</b>系统,<b class='flag-5'>用于</b>颅内跨<b class='flag-5'>尺度</b>靶向给药