8月23日消息,美国专利商标局发布了苹果一项VR/MR头显相关追踪专利,专利中指出了一种采用inside-out方式,可追踪头部、身体和环境的系统。据悉,该专利申请于2018年第三季度,其技术基于苹果在2017年11月收购的AR/VR混合头显开发商Vrvana的一项专利技术。
苹果在专利中写到,若要营造VR的沉浸感,需要考虑多种因素,包括:显示屏画质、刷新率、像素分辨率、高动态范围(HDR)、图像暂留和纱窗效应等等。如果FOV过小,或者追踪功能出现延迟或不准确,也会降低沉浸感。而在MR中,虚拟物体与真实世界表面的实时交互也需要依赖优质的追踪效果。
总之,对于优质的VR/MR体验来讲,各种追踪功能都是必要的,尤其是头部追踪、身体追踪和环境追踪,对于营造沉浸感将起到关键作用。因此,苹果提出了一种集成全部追踪元件且便于移动的紧凑型VR/MR头显。
该头显可采用的多个传感器包括:一对RGB摄像头传感器(配备红外光截止滤光片的透镜)、一对配备近红外带通滤波器和相关透镜的单摄像头传感器、一个惯性测量单元(IMU)、一个配备相关红外线发射器的ToF摄像头传感器、一个斑点图案发射器。
其中RGB摄像头将用于支持头显的MR透视功能,而红外摄像头将用于为追踪功能提供视觉数据。
专利中还详细描述了头显所搭载的各种传感器的追踪方式,其中头部追踪的方法是,通过识别透视功能捕捉到的2D图像特征,识别并匹配每个特征的深度,并生成3D点云,然后通过对3D点云的实时追踪来推断头部方向。此外,IMU传感器也可以提供补充信息。
而追踪用户身体姿态的方法是,显示在密集的深度图上对人体图像进行分割,提取与姿态网格和身体分割图,然后再从网格中提取出骨骼模型,然后通过追踪用户身体活动,并将姿态模型与骨骼模型和身体动作相匹配,来识别人体姿态。
最后,环境追踪的方式是,利用透视立体图和姿态追踪数据生成一个运动模型,然后识别关键节点,利用描述符来提取关键点附近的特征,接着通过将密集深度图与提取的特征相结合,预测出环境表面描述符。
-
苹果
+关注
关注
61文章
24395浏览量
198528 -
MR
+关注
关注
2文章
334浏览量
43324 -
vr
+关注
关注
34文章
9638浏览量
150205
发布评论请先 登录
相关推荐
评论