基于衍射光学网络的快照式多光谱成像

多光谱成像技术已成为推动众多领域取得重大进步的关键工具，涵盖环境监测、天文学、农业科学、生物成像、医学诊断和食品质量控制等。现代快照式光谱成像系统通常利用编码孔径与计算图像重建算法相结合，以数字方式来克服传统多光谱成像系统存在的缺点。随着高分辨率图像传感器阵列的发展，牺牲一定的空间分辨率以获取更丰富的光谱信息是目前更可行的方法。

围绕这种权衡设计的最常见且相对原始的光谱成像系统是基于拜耳滤光片的彩色相机。尽管它在各种成像应用中被频繁使用，但研究人员一直致力于开发更优的替代方案，以克服这些吸收型滤光片存在的较高串扰、较低功率效率和较差色彩还原等缺陷。为此，研究人员探索了包括等离子体天线、电介质超构表面和三维多孔材料在内的诸多工程光学材料结构。然而，这些包括各种超构材料设计在内的基于结构化材料的方法，均局限于4个或更少的光谱通道，并且用于多光谱成像的大面阵光谱滤波器的研究暂未见报道。

据麦姆斯咨询报道，近日，美国加州大学洛杉矶分校（University of California, Los Angeles）的科研团队在Light: Science & Applications期刊上发表了以“Snapshot multispectral imaging using a diffractive optical network”为主题的论文。该论文第一作者为Deniz Mengu，通讯作者为Aydogan Ozcan。

在这项研究中，研究人员介绍了一种基于衍射光学网络（亦称为“D2NN”，衍射深度神经网络）的快照式多光谱成像仪，并分别演示了具有4（2 × 2）个、9（3 × 3）个和16（4 × 4）个独特光谱带（光谱通道NB）的性能，这些光谱带在输出图像视场（FOV）周期性重复，从而构成虚拟的多光谱滤波器阵列。

这种基于衍射网络的多光谱成像仪（如图1）利用深度学习训练，可将物体的空间信息映射到虚拟像素网格上，每个像素携带预设光谱带的信息，通过精确控制的光衍射在轴向跨度约~72 λm的无源透射层实现快照式多光谱成像，其中λm是所研究的整个光谱带的平均波长。研究人员所展示的衍射光学网络能够在无需传统的光谱滤波器的情况下，将单色焦平面阵列或图像传感器转换为快照式多光谱成像器件。

图1 衍射多光谱成像仪的原理图

图1展示了一种5层衍射多光谱成像仪的光学设计和正向模型，该成像仪可以将NB个不同光谱带在空间上分离到位于输出像平面的单色图像传感器上的虚拟光谱滤波器阵列，图1为NB= 9的多光谱成像仪示例，NB可进一步增加。

为了训练（和设计）衍射多光谱成像仪，研究人员创建了输入对象，其中每个光谱带的给定对象的传输场振幅由涵盖101.6 K训练图像的EMNIST数据集中随机选择的图像来表征。在基于深度学习的训练阶段之后，使用包含2080个不同物体（在训练期间从未见过）的多色图像测试集来评估训练后的衍射网络多光谱成像性能，NB= 9的衍射多光谱成像仪相关性能的研究结果如图2所示。为了证明衍射多光谱成像的光谱通道数量可以增加，图3展示了NB= 16的衍射多光谱成像仪的性能研究结果。

图2 NB= 9的衍射多光谱成像仪的性能研究

图3 NB= 16的衍射多光谱成像仪的性能研究

接着，为了实验验证这项研究所提出的衍射多光谱成像框架，研究人员设计了一组可以处理太赫兹波长的衍射网络。如图4所示，该太赫兹衍射多光谱成像仪采用3层（K = 3）衍射多光谱成像仪，在其输出像平面上具有周期性重复的2 × 2光谱像元（以NB= 4为例时的0.375 THz、0.4 THz、0.425 THz、0.45 THz）以构成虚拟的滤波器阵列。

图4 多光谱太赫兹成像仪的实验设置（NB= 4）

通常，衍射光学网络的一个关键设计参数是深度学习设计的衍射特征数N，这是因为衍射特征数N直接决定了系统中独立自由度的数量。图5a至图5c分别比较了NB= 4、NB= 9、NB= 16时，四种不同衍射网络架构实现的多光谱成像质量随N的变化。图5d进一步说明了NB对四种不同NL和K组合下的衍射网络多光谱成像性能的影响。

图5 衍射特征数（N）和目标光谱带（NB）对衍射光学网络多光谱成像质量的影响

关于衍射多光谱成像仪设计的另一个关键性能指标是光学合成虚拟滤波器阵列的功率传输效率。如图6所示，NB= 9的5层衍射多光谱成像仪可实现高达79.32%的平均虚拟滤波器传输效率。

图6 多光谱成像质量与虚拟滤波器阵列功率传输效率之间的权衡

综上所述，本研究提出了一种基于衍射光学网络的多光谱成像系统，利用深度学习在输出图像视场创建虚拟的光谱滤波器阵列。该衍射多光谱成像仪可在大范围光谱上进行空间相干成像，同时将一组预设的光谱通道连接到输出像平面的像素阵列上，将单色焦平面阵列或图像传感器转换为多光谱成像器件，而无需传统的光谱滤波器或图像重建算法。此外，该衍射多光谱成像仪的光谱响应对输入偏振态不敏感。通过数值vwin ，研究人员提出了基于无源空间结构衍射曲面的不同衍射网络设计，在可见光光谱范围内分别实现了4个、9个和16个独特光谱带的快照式多光谱成像，其紧凑型设计的轴向跨度为~72 λm，其中λm为所研究光谱带的平均波长。

此外，研究人员通过实验论证了基于3D打印衍射网络的衍射多光谱成像仪，该多光谱成像仪在其输出像平面上创建了空间重复的虚拟光谱滤波器阵列，该阵列具有在太赫兹频谱的4（2 × 2）个独特光谱带。凭借其外形紧凑且无需计算、高能效以及偏振不敏感的正向操作等特点，衍射多光谱成像仪可为各类成像和传感应用带来变革性影响，并可用于尚未广泛使用的高密度、广域的多光谱像素阵列的不同电磁波谱领域。

审核编辑：刘清