Foveon 传感器背后的想法

日前，Sigma 首席执行官 Kazuto Yamaki 透露，该公司制造全画幅 Foveon传感器的工作有望在今年年底前完成。

在Mirrorless Rumors发现的 Sigma 的 YouTube 频道上发表的一次采访中，Yamaki 被问及自今年早些时候提供更新以来是否有任何关于传感器开发进展的消息。“我们仍在努力，现在我们正在研究三层 X3 传感器的原型，”他回应道。“这个传感器应该在今年某个时候上市。”

Yamaki 和 Sigma 之前曾表示，制作全画幅 Foveon 传感器的过程很困难，他在这里重申了这一点。

“Foveon X3 传感器不是一个非常通用的传感器，”Yamaki 说。“在低光照条件下会有一些‘缺点’，但如果光线充足，那台相机可以拍出非常漂亮和令人印象深刻的照片。”

Foveon陷入困境的发展史

Sigma 的 Foveon 传感器使用专有的三层结构，其中红色、绿色和蓝色像素各有自己的完整层。在传统传感器中，三个像素以马赛克排列共享一个图层，相机通过检查相邻像素来“填充”缺失的颜色。

由于照片的每个像素都以三种颜色记录，因此生成的照片应该更清晰，色彩准确度更高，伪影更少。

但Sigma多年来一直在努力将全画幅 Foveon 传感器推向市场。最初于 2018 年 9 月发布的全画幅 Foveon 传感器出现了多次延迟。2020 年 2 月，该公司宣布该开发项目已被“重新设计”并推迟了一段时间，具体时间不详。

一年后，Yamaki 透露该传感器再次被推迟，由于严重缺陷而无法投入量产。

2022 年 2 月，适马宣布已进入传感器原型制作三个阶段中的第二个阶段，并表示如果第三阶段进展顺利，它可以开始验证其量产性。

“当我们进入第 3 阶段时，我们将根据评估结果与研究机构和制造供应商验证传感器的量产性，然后最终决定是否量产图像传感器，”山木当时说。

“虽然我们还没有达到可以公布图像传感器量产的具体时间表的阶段，但我们决心尽最大努力尽快实现一款真正让等待它的客户尽可能满意的相机。”

Yamaki 的新声明和 2022 年时间表似乎表明该公司已成功完成第三阶段，再次希望全画幅 Foveon 传感器能够重见天日。

Foveon：未能赶上的智能图像传感器

早在 2000 年代初期，Sigma（通常在摄影界被称为镜头制造商的公司）发布了一种名为 Foveon X3 的新型相机传感器。该传感器技术于 1999 年由一家名为 Foveon， Inc. 的公司（后来于 2008 年被 Sigma 收购）首次获得专利，并采用了创新的色彩感知技术：3 层光敏二极管堆栈。

从纸面上看，这项技术承诺在色彩准确度、低光噪声和图像清晰度方面优于 CMOS 传感器。本文将解释为什么 Foveon 技术尽管是一个聪明的想法，但从未真正在摄影行业取得成功。

硅作为一种半导体材料而广为人知，并且在许多电子电路中都使用这种材料。然而，对于摄影师来说，硅的主要兴趣在于它是一种感光材料。

更具体而言，硅吸收介于 400nm 和 1100nm 之间的任何波长的光。好消息是，这个范围涵盖了可见光谱（大约 400nm 到 750nm），甚至还有一点近红外光谱。坏消息是，硅本身并不能区分光的颜色，只会积累 400-1100nm 范围内的任何光子。

提高图像质量的第一步是添加一个滤光片，以在红外光（750nm 和 1100nm 之间）到达传感器之前将其去除。生成的系统构成单色相机传感器（提供黑白图像）。

从那时起，收集一些颜色信息的最常见方法是使用滤色器阵列 （CFA）。通常，这个滤镜是按照拜耳模式（来自柯达工程师的名字）组织的，带有红色、绿色、绿色和蓝色滤镜。

多亏了这三个滤镜，人们可以恢复图像中的颜色信息。然而，这个过程是以牺牲一些图像分辨率为代价的。对于给定的“红色”像素，必须进行插值以找到丢失的绿色和蓝色信息。存在许多插值算法，但该过程总是会导致某种形式的颜色伪影和图像柔化。

彩色滤光片阵列除了不准确之外，在收集一些颜色信息的过程中也会吸收很多光子。吸收取决于滤光片的选择和图像内容，但通常承认光通量在到达传感器之前要除以 3 倍。那是1.5档光。

碰巧的是，根据它的颜色，给定的光子在被吸收之前在硅中传播了特定的距离。这个“行进距离”与光子的能量有关，而光子的能量取决于它的波长。短波长光子（蓝光、紫外光等）比长波长光子（红光、红外光等）能量更高，因此在硅中的较短行程后被吸收。

由于硅中的吸收深度提供了对光子波长的估计，因此吸收深度的测量在理论上提供了颜色信息。Foveon 传感器的巧妙之处在于使用“深度滤镜”而不是并排的彩色滤镜。

至少在纸面上，移除任何滤色片应该会增加落在传感器上的光通量，并消除与滤色片相关的缺点。

早在 2002 年 Foveon 传感器在 SigmaSD9 DSLR 中首次进入市场时，大多数数码相机的分辨率都远低于 10MPx。佳能 EOS-1D 有 4.2MPx，尼康 D100 有 6MPx。由于滤色器阵列需要数字插值，因此对于给定数量的像素，滤色器阵列提供了巨大的清晰度升级。

Sigma实际上试图通过声称 SD9 相机具有 3.43MP 输出图像但“1030 万有效像素”来推销这种图像质量差异，这意味着它们的像素表现要好 3 倍。几篇学术论文确实发现，由于缺乏插值和锐利边缘周围的颜色伪影，Foveon 传感器提供了更高的感知分辨率。从这个角度来看，Foveon 传感器为用户提供了明确且可衡量的好处。

Sigma 声称的最后一点是，在色彩准确性方面，Foveon 传感器优于滤色片传感器。该声明是由缺少颜色信息插值来解释的。实际上，对于给定的 Foveon 像素，红色、绿色和蓝色数据记录在同一个位置，这与彩色滤光片阵列相反。

至少在纸面上，Foveon 传感器具备一切：更好的光通量意味着更好的低光性能、更好的色彩准确度和更好的图像清晰度。但是纸质规格从来没有完全讲述完整的故事……

从那以后真正的问题真的归结为：既然 Foveon 传感器背后的想法非常聪明，为什么我们不都使用 Foveon 传感器呢？

一、解析度

随着 CMOS 传感器的发展，对 Foveon 技术的一些兴趣消失了，因为像素密度的急剧增加降低了 Foveon 传感器的主要卖点之一。当然，这并不是一个真正的apple to apple的比较，因为像素数只影响最终图像质量的一小部分（连同镜头、可用光量等）。由于即使是智能手机也可以提供至少 20MPx 的图像，所以 Foveon 的吸引力不如 2000 年代初期。

二、颜色

Foveon 传感器的色彩优势在理论上是不可否认的，但实际上几乎没有什么好处。在色彩校准显示器和实验室环境之外，色彩精度的差异很小，以至于大多数休闲摄影师都不会注意到。它肯定比白平衡错误或创意Instagram过滤器的影响更微妙。

三、噪音

这可能是最有争议的一点。在纸面上，Foveon 传感器应该收集大约 3 倍的光，这应该转化为信噪比提高 1.7 倍。也就是说，假设散粒噪声占主导地位。然而，事实证明，在实际比较中，Foveon 传感器的弱光性能不足。甚至 Foveon 总经理Shri Ramaswami 在 2014 年的一次采访中也承认了这一点：

“Foveon 方法的一个限制是图像噪声高于传统传感器，”他说。“这可能部分是由于传感器架构本身的效率低下——也许一些光会丢失到分隔各层的内部结构中——也部分是由于必须进行处理才能从相当混合的信号中产生纯色芯片实际上捕捉到了。”

CMOS 传感器和 Foveon 传感器有一个相似的设计问题：一些光从一个像素泄漏到下一个像素。在 CMOS 传感器中，这种串扰问题通过使用光电二极管之间的垂直隔离结构来解决。

然而，在 Foveon 传感器中，不可能应用相同的技巧（否则，您将只能获得蓝色信息）。因此，Foveon 传感器往往会遭受从一个光电二极管层到下一个光电二极管层的光子泄漏。

所有“不寻常”色彩系统（无论是富士 X-Trans、RGBW 滤镜还是 Foveon）的一个共同缺点是图像处理也会受到选择的影响。尽管拜耳滤光片可能不是捕捉颜色的最佳方式，但它们已经存在了几十年，并且在传感器市场上绝对占据主导地位。因此，图像处理研究人员和公司有强烈的动机为这种类型的传感器微调所有算法。

例如，去噪通常是通过一些关于收集到的光子的统计数据的假设来完成的，这些光子不能直接应用于 Foveon 传感器。遗憾的是，鉴于使用的 Foveon 传感器的份额，大多数图像处理公司没有任何动力支持 Foveon 文件，更不用说开发专用于此类传感器的图像处理管道了。

基于机器学习的算法，这种趋势只会变得更糟。坦率地说，机器学习算法只与用于训练它们的数据一样好（在数量和质量方面）。由于拜耳滤波器阵列提供的图像数量是 Foveon 的数千倍，因此前者传感器将受益于比后者更好的算法。

最后，我们需要解决房间里的大象。由于技术原因，摄影设备并不总是出售。定价、营销、镜头生态系统、品牌——一项技术的成功有很多因素。

Sigma试图提供一种与众不同的传感器，但该公司不得不同时打两场战斗。第一个是证明 Foveon 传感器的图像质量。第二个是证明，作为相机制造商，他们的相机优于佳能或尼康相机。

Foveon 可能是Sigma在竞争激烈的相机行业的秘密武器。但是，传统传感器和 Foveon 传感器之间的性能差异并不明显。至少，还不够清晰，不足以吸引新摄影师加入 Sigma 品牌。

作为一家公司，Sigma在镜头制造方面享有良好和当之无愧的声誉，并希望将其业务进一步扩展到相机和传感器。然而，相机不仅仅是一个传感器。Sigma 面临的真正挑战很可能是缺乏高质量的图像处理。Sigma 甚至必须为AdobePhotoshop 创建一个插件才能打开 Foveon 文件。

虽然适马发布带有全画幅 Foveon 传感器的新相机并非不可能，但要在现有的 Foveon 社区之外销售该技术还有很长的路要走，更不用说使其成为行业标准了。