一种融合基于相机的姿态估计和IMU传感器的步态分析方法
无标记步态分析系统可以测量有用的步态指标，以确定有效的临床治疗方案。尽管这种步态分析系统不需要很大的空间、多个标记，也不受时间限制，但它在步态过程中无法精确测量下肢关节运动学参数。特别是，它具有较大的踝关节角度误差。
据麦姆斯咨询报道，近日，由日本东京理工大学（Tokyo University of Science）、广岛大学（Hiroshima University）、县立广岛大学（Prefectural University of Hiroshima）的研究人员组成的团队在Scientific Reports期刊上发表了题为“Verification of gait analysis method fusing camera-based pose estimation and an IMU sensor in various gait conditions”的最新论文，团队提出了一种融合基于相机的姿态估计和IMU传感器的步态分析方法，提出的方法显著降低了踝关节峰值角度的平均绝对误差（MAE），有望作为临床步态评估工具。
步速、步长和关节运动学等步态指标是临床环境中步态障碍患者的关键评估参数。步态的时空和运动学参数已被用于评估神经系统疾病的治疗效果，并预测老年人摔倒的风险。这些指标为规划物理治疗和确定治疗效果提供了有价值的信息。目前，基于光电标记的三维运动捕捉（3DMC）系统已被用作临床步态分析的典型测量工具，它能够精确测量步态指标。
光电3DMC系统具有步态指标测量的可靠性和可重复性。尽管3DMC系统能够精确测量步态指标，但由于经济和时间的限制，人们很难在临床环境中使用它。此外，它在测量时需要较大的空间和专业的技术。
基于惯性测量单元（IMU）的运动捕捉系统可被用作3DMC的替代方法。然而，该系统需要将多个IMU传感器连接到多个人体关键部位。基于相机的无标记运动捕捉系统使用人体姿态估计算法来测量人体步态，也可作为3DMC的替代方法。微软Kinect由配有深度传感器的RGB相机组成，可以在没有反射标记的情况下测量步态。
Kinect可以高可靠性地测量步速、步时和步长等时空参数。此外，它还被用作体弱者的运动辅助工具，以及测量双任务步态的认知功能评估工具。然而，先前的研究表明，与光电3DMC系统相比，深度相机无法精确测量下肢关节角度等运动学参数。
此外，由于采样率的原因，使用深度传感器的无标记运动捕捉系统无法轻松测量快速的关节运动。大多数深度传感器的采样率为30Hz，而用于步态分析的3DMC采样率大于60Hz或100Hz。较低的采样率可能导致重要的下肢关节角度数据丢失。
最近，基于RGB相机的二维（2D）无标记人体运动跟踪系统，如PoseNet和OpenPose（OP），已被开发用于估计人体姿态和人体关键部位。OP是一款开源的人体姿态估计软件，它使用来自每个RGB图像的两分支多级卷积神经网络（CNN）作为输入来估计人体关键点。
尽管这些系统没有深度传感器，但它们可以使用CNN的二维图像或视频来估计人体关节点。这些系统在临床环境中具有作为步态分析工具的巨大潜力，因为它们不需要附加标记、专业的技术或巨大的成本。
OP可作为帕金森病和自闭症谱系障碍的筛查工具，但使用二维姿态估计系统进行步态分析时仍存在一些问题。由于姿态估计仅估计人体关键点，因此用户需要根据人体环节和匹配计算关节运动学。此外，当OP被用于步态分析时，对于其精度有较高的要求。之前的一些研究报告指出，OP可以在步态过程中测量矢状面上的时空和运动学参数，且误差较小。
研究团队之前的研究表明，与光电3DMC系统相比，通过OP进行的单RGB相机步态分析可以测量多个时空参数和矢状面关节角度，具有良好到优秀的一致性；然而，在某些步态条件下，下肢关节角度的测量误差会增加，包括过量的二维图像平面外运动，例如增加的足行进角度（FPA）。
尤其是，踝关节峰值角度会有很大误差。当使用单个RGB相机从侧面测量行走对象时，相机的二维图像平面可以轻松捕捉屈伸运动。相比之下，二维图像平面外的运动（如过量的FPA）会影响关节角度的精度。姿态估计算法也影响了其精度，因为该算法没有设计用于在这种情况下的步态运动学分析。
尽管研究人员试图在单个RGB相机分析中减少由二维图像平面外运动引起的关节角度误差，但针对二维平面外过量运动和踝关节角度误差的有效校正方法尚未得到充分解决。准备多台RGB相机可能会减少角度误差；然而，由于空间和成本较大，在临床环境中难以采用这种方法。
使用单台相机的三维姿态估计器可能有用，但是，考虑到其在临床环境中的使用，这种方法存在处理速度和应用方便性等问题。为了克服这些限制，使用IMU传感器数据（如人体关键部位加速度和角速度）补充OP运动学参数可能有助于提高精度。
在本论文中，科研团队研究了无标记步态分析方法的性能，该方法使用OP和足部的IMU传感器进行基于单个RGB相机的姿态估计，以测量不同步态条件下的踝关节运动学参数。16名健康的年轻成年男性参与了这项研究。他们比较了四种不同步态条件下的时空参数和下肢关节角度。
这些参数是利用光电运动捕捉、使用OP的无标记步态分析方法以及提出的融合OP和IMU方法进行测量的。他们发现，在四种步态条件下，与OP相比，提出的融合OP和IMU方法显著降低了踝关节峰值角度的平均绝对误差。所提出的方法具有在各种步态条件下测量时空步态参数和下肢关节角度（包括踝关节角度）的潜力，有望作为临床步态评估工具。
图1 步态测量实验设置和OP的人体模型
图2 本论文提出的融合OP和IMU的踝关节角度测量方法
图3 三种方法（3DMC、OP、融合OP和IMU的方法）的踝关节角度测量结果对比
论文信息：
https://doi.org/10.1038/s41598-022-22246-5
审核编辑：刘清
-
传感器
+关注
关注
2550文章
51035浏览量
753048 -
RGB
+关注
关注
4文章
798浏览量
58459 -
FPA
+关注
关注
0文章
9浏览量
1578 -
卷积神经网络
+关注
关注
4文章
367浏览量
11863
原文标题：融合基于相机的姿态估计和IMU传感器的步态分析方法
文章出处：【微信号：MEMSensor，微信公众号：MEMS】欢迎添加关注！文章转载请注明出处。
发布评论请先 登录
相关推荐
《DNK210使用指南 -CanMV版 V1.0》第二十三章 六轴传感器——姿态解算实验
精密制造的革新：光谱共焦传感器与工业视觉相机的融合
爱普生开发用于姿态和振动控制的理想IMU
六轴姿态倾角动态传感器
一种手掌大小的气体传感器和分析仪，可实时检测多种有毒气体
雷达流速流量传感器是一种用于测量水体流速和流量的传感器装备
【核芯观察】IMU惯性传感器上下游产业梳理（一）
爱普生（EPSON）开发新IMU产品M-G370PDS改善姿态和震动控制
爱普生为姿态和振动控制开发理想的IMU
深度解析：多传感器融合SLAM技术全景剖析
【先楫HPM5361EVK开发板试用体验】06-基于MPU9250的姿态解算
霍尔传感器是基于什么的一种传感器
液位传感器的接线方法及工作原理
灵动佳芯发布一种非接触式红外体温传感器
工商网监
评论