1 杂谈光场相机的不足、优势、应用和展望-德赢Vwin官网 网
0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

杂谈光场相机的不足、优势、应用和展望

QQ475400555 来源:机器视觉沙龙 2023-05-09 10:55 次阅读

Lytro 公司在2011年向市场推出了第一代光场相机,距今已经过去了近十年。这款号称“一次拍摄,多次对焦”的成像设备,在进行首次商业发布之时,在摄影界、科技界和媒体界都引发了不小的轰动。相比于传统的单反摄影相机,它主打的卖点是不需要繁琐地对焦和寻找摄影角度,单次拍摄后即可得到不同焦深和角度的照片。

光场相机的发明者、同时也是Lytro的创始人Ren Ng的博士论文获得了ACM Dissertation Award,而他本人也获得了"MIT Tech Review's TR35" ,"Fast Company's 100 Most Creative People in Business" ,"Silicon Valley Journal's 40 under 40" 等一系列称号。光场相机可谓一时风光无限,在被誉为一项颠覆性的技术发明的同时,甚至有人视其为单反相机的历史终结者。

然而十年过去了,负责研发、推广这款产品的公司Lytro在2018年被Google收购了,公司的CEO、同样也是这款相机的发明人Ren Ng选择了重回学术界任职,成为UC Berkeley的一名教授,其他高管则选择启动第二次创业,创立了light field lab做光场全息显示。

尽管在To C端, 光场相机的表现可谓惨不忍睹,使用者的反馈也是恶评如潮,但是在To B端和学术界,光场相机依然延续着比较旺盛的生命力,不仅学术文章在陆续的被发表,拓展光场相机的应用范围,同时国内外少数科技独角兽也将该技术在某些应用领域进行落地(比如德国的Raytrix和国内的上海奕目科技,他们可谓是光场成像在工业应用领域的两大领头羊)。

不仅有高校科研成果转化,比如上海交通大学施圣贤教授成功将光场相机产业化落地,应用于三维流场检测,航空发动机和泛半导体等高端智能制造检测领域;亦有基于光场成像的技术发明获得了国家重大科技进步奖项,世界顶级学术期刊上也可以见到它的身影,比如清华大学的戴琼海课题组,在光场成像的生物医学显微应用上,有着较大的影响。

这种仿佛是一个技术,在经历着某种兴衰变革,在技术史上不乏某种技术几起几落的兴衰交替的现象,驱使着学界和业界的人们一哄而上、一哄而散,不断参与或者离开某个技术领域。

就光场相机而言,本文试图从纯技术角度去回答一个对该现象反思式的问题:光场相机的优势和劣势在哪里?什么原因使得它被消费者抛弃的同时却又在工业界延续着自己的生命?落地应用的现状如何?本文既是自问自答,也是抛砖引玉,希望各位从事本行业的看官,能多多发表自己的高见。

01

不足篇

欲扬先抑,回顾该设备的不足,也是对光场相机在To B市场逐渐被抛弃的一个回顾和解释。光场相机由于其本身的硬件构造,无法避免的存在三大先天缺陷。


1. 空间分辨率低

2d25f8aa-ee04-11ed-90ce-dac502259ad0.png

图1 光场相机结构源于《基于仿生视觉的单相机光场成像及3-3维直接转换基础》

由于光场相机为了采集不同视角的信息,在CCD前放置了一个微透镜阵列。但是相机可以采集的总信息量却是受限于成像芯片上CCD像素的尺寸和数目,角度信息和空间信息的关系可以简单描述为:

信息总量=空间信息x角度信息

两者相互折中和制约,单个视角下的光场图像的大小,等于微透镜阵列中微透镜的个数,由于单个微透镜下的像素数目介于100到200之间,因此微透镜个数相当于原始CCD像素数目的100倍级别的压缩,对于一个1000万像素的光场相机,经过视角信息的折中压缩后,得到的单视角有效像素数目,居然只有十万像素量级!相比起传统单反相机几千万像素的纤毫毕现,这个数量级的空间分辨率,对用于摄影的消费者而言如同玩具。这也是光场相机在消费者市场遇冷到消失的最大因素。即使Lytro后续推出了2.0代光场相机,以进一步压缩角度分辨率的方式来提高空间分辨率,上述问题,依旧没有得到彻底的解决。不过,这个缺陷应该辩证看待,角度信息和空间信息的相对取舍,取决于应用场景。

2. 基线过短

基线问题的长短问题,消费者对其不敏感,然而在宏观成像和测量领域,比如航空摄影测绘、双目立体视觉、卫星遥感成像,却是一个极其重要的参数

2d3ccc4c-ee04-11ed-90ce-dac502259ad0.png

图2 基线和视差关系示意图

在多目视觉中,图像接受者(人,机器)对于深度信息的感知,源于目标在不同相机(眼睛)上的视差,视差大小随着目标物离相机的距离变化。相机之间的距离长度被称为基线长度,在同等距离条件下,基线长度越大,则视差越大,对深度的分辨能力也越高。

对于双目视觉,它的基线长度可以由大致平行布置的两个相机之间的间距表示,而对于光场相机,它的基线长度如何计算?如下图所示,因为每个微透镜都记录着入射点光源的一部分信息,此时你把每个微透镜都当成是一个小相机,那么你就可以直观地得到答案,由于多个“小相机”的存在,光场相机存在多个基线,但是光场相机的最大基线长度,是被点亮的间隔最远的两个微透镜的距离。但是这个基线长度,存在两个特性:首先是基线长度随着点光源的离焦距离变化,离焦平面近的时候,只有少数个微透镜下被点亮,因此最大基线长度比较短,但是离焦平面远的时候,更多的微透镜被点亮,最大基线长度变大(这也是光场相机在焦平面附近,景深分辨率最差的原因);尽管如此,微透镜的基线长度,无法超过CCD芯片尺寸本身。

2d515c48-ee04-11ed-90ce-dac502259ad0.png

图3:双目视觉和光场相机的基线长度对比

这种差距,和双目视觉对比,尤其明显,比如上图右边的光场基线长度,大致在2~3个微透镜的直径左右。由于光场相机的基线过短,在被测物距离较远的情况下,深度分辨率将会受到很大限制。

3. 相机的动态范围HDR被压缩

利用上一个点光源的分析案例可以发现,当点光源在焦平面附近时,只有少数微透镜被点亮,必然有更多的光能量,集中到少数CCD上;当点光源离焦平面院时,多个微透镜被点亮,即点光源的能量分布更加分散。在这种条件下,为了让相机CCD不过曝或者过暗,被拍摄物体的亮度只能在一个比较小的动态范围内,使得物体离焦近时不至于过曝,离焦远时不至于过暗。

2d7a52d8-ee04-11ed-90ce-dac502259ad0.png

上述三大问题,严重限制着光场相机的应用领域,也是光场相机在过去十年,不被消费者所接纳的主要原因。然而,寸有所长,尺有所短,在To B端以及学界,光场相机却有着诸多独特优势,能完成传统成像设备所不能的任务。上述三大不足,在这些应用领域,都得到了相应的克服和一定程度的解决。此外,以动态的目光看,随着像素尺寸的缩小、芯片上像素数目的增长、更高动态范围芯片的出现(甚至有些芯片号称,开发了永远不过曝的技术),上述问题有望得到根本性的解决。

技术的兴衰往往如此,峰回路转又一村,吸引着每一个十年中的人们“Boom and Bust”。

审核编辑 :李倩

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表德赢Vwin官网 网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 图像
    +关注

    关注

    2

    文章

    1083

    浏览量

    40449
  • 相机
    +关注

    关注

    4

    文章

    1350

    浏览量

    53580
  • 成像设备
    +关注

    关注

    0

    文章

    41

    浏览量

    18231

原文标题:杂谈光场相机的不足、优势、应用和展望

文章出处:【微信号:机器视觉沙龙,微信公众号:机器视觉沙龙】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    紧凑型矢量生成系统

    紧凑型矢量生成系统 1,概述矢量可广泛应用于光学捕获和操纵、表面等离子体、光学加工、焦工程、量子信息处理、超分辨率显微成像、光通
    发表于 02-28 13:20

    视频采集/呈现技术的应用场景讨论

    Lytro已经吃了第一只螃蟹,在相机上9000万美金灰飞湮灭,相比之下德国RAYTRIX则更为聪明,在工业领域的应用一直稳步上升,但
    发表于 07-11 11:46

    数码相机优势

    数码相机优势            &nbs
    发表于 12-19 09:55 595次阅读

    是谁污染了太阳能(科技杂谈

    是谁污染了太阳能(科技杂谈) 一向被誉为清洁、绿色的太阳能伏发电近年来被戴上了“高污染”的帽子:国内许多新上马的一些
    发表于 03-01 08:30 442次阅读

    OLED电气与光学特征分析杂谈(三)

    OLED电气与光学特征分析杂谈(三)
    发表于 02-08 02:19 25次下载

    单片机低功耗设计杂谈

    单片机低功耗设计杂谈
    发表于 01-14 12:21 10次下载

    高压输电线路设计之美国智能电网杂谈

    高压输电线路设计之美国智能电网杂谈
    发表于 01-17 19:47 5次下载

    关于嵌入式开发杂谈

    关于嵌入式开发杂谈
    发表于 10-31 15:39 8次下载
    关于嵌入式开发<b class='flag-5'>杂谈</b>

    相机立体视觉和结构立体视觉原理及优势对比

    目前的深度相机根据其工作原理可以分为三种:TOF相机、双相机立体视觉、结构投射立体视觉。
    的头像 发表于 05-14 09:04 8040次阅读

    3D相机检测解决方案提供商奕目科技已完成Pre-A轮投资

    在工业质检领域,相机无需主动投射激光,受环境光和遮挡干扰较少,在光敏材料、透明/半透明材料、表面反光材料的三维检测更具优势,并解决了玻璃、薄膜、微小金属等复杂、高精度场景三维缺陷快
    的头像 发表于 04-25 10:39 1952次阅读

    面向多功能三维视觉的紧凑型摄影

    这项研究提出了一种简约摄影(CLIP)技术,以便显著地提高对密集采样的效率和灵活性。与以往需要密集采样2D图像来恢复4D
    的头像 发表于 07-12 15:16 2668次阅读

    浅谈相机存在的三大先天缺陷

    由于相机为了采集不同视角的信息,在CCD前放置了一个微透镜阵列。但是相机可以采集的总信息量却是受限于成像芯片上CCD像素的尺寸和数目,角度信息和空间信息的关系可以简单描述为: 信
    的头像 发表于 05-08 11:41 1103次阅读
    浅谈<b class='flag-5'>光</b><b class='flag-5'>场</b><b class='flag-5'>相机</b>存在的三大先天缺陷

    杂谈相机不足优势、应用和展望(中)

    尽管相机的空间分辨率较低,但是这一问题,有望随着感光芯片的技术进步而解决。机器阅读并去理解图像,对空间分辨率的需求不一定需要很高,达到人审美需求的那种程度。
    的头像 发表于 05-10 14:29 1638次阅读
    <b class='flag-5'>杂谈</b><b class='flag-5'>光</b><b class='flag-5'>场</b><b class='flag-5'>相机</b>的<b class='flag-5'>不足</b>、<b class='flag-5'>优势</b>、应用和<b class='flag-5'>展望</b>(中)

    什么是伏IR相机

    伏IR相机是一种特殊的光电设备,它使用红外线(IR)技术来检测和捕捉伏电池板上的热图像。这种相机的主要功能是检测伏电池板上的热分布和异
    的头像 发表于 01-23 11:36 884次阅读
    什么是<b class='flag-5'>光</b>伏IR<b class='flag-5'>相机</b>?

    利用喷墨打印技术制造紧凑型多光谱相机

    研究人员利用喷墨打印技术制造出了一种紧凑型多光谱相机。这种相机可以放在手掌中,可用于自动驾驶、回收材料分类和遥感等多种应用。 三维光谱信息对于物体和材料的分类非常有用;然而,从场景
    的头像 发表于 11-09 09:26 206次阅读
    利用喷墨打印技术制造紧凑型多光谱<b class='flag-5'>光</b><b class='flag-5'>场</b><b class='flag-5'>相机</b>