采用单片超构表面与元注意力网络实现快照式近红外光谱成像-德赢Vwin官网网

日前，北京理工大学王涌天教授、黄玲玲教授团队联合张军院士、边丽蘅教授团队，采用单片超构表面与元注意力网络实现快照式近红外光谱成像。该方法充分利用C4对称超构表面结构单元丰富的光谱编码随机性以及结构单元之间的低相关系数的特点，结合基于元注意力网络先验的迭代去噪重建算法的优异性能，实现了具有高光谱分辨率和低串扰的近红外光谱快照成像。相关成果以“Meta-attention network based spectral reconstruction with snapshot near-infrared metasurf ace”为题发表于Advanced Materials期刊。

图1 基于近红外超构表面的快照式光谱重构

光谱信息作为不同物质的光学指纹，能够在多种场景下用于物质的鉴定与识别，在遥感探测、智慧农业、生物监测、化学分析等多个领域取得了广泛的应用。然而，现有的光谱成像系统多采用窄带滤光片或者棱镜、光栅等色散元件实现不同波长信息的提取。采用窄带滤光片，已发展出分焦面（DoFP）和分时（DoT）探测两种方式。采用DoFP方式时，光谱图像的空间分辨率与光谱分辨率互相限制；而对于DoT方式，光谱成像的时间分辨率受限，难以适用于高速运动场景的准确获取。对于编码孔径快照式光谱成像（CASSI）系统，相对庞大的体积限制了其与移动设备的集成。

近年来，许多研究者采用超构表面、光子晶体、纳米线、二维材料等一系列光学材料，实现了小型化、集成化的快照式光谱成像系统。然而，此前的研究大多集中于可见光波段，针对近红外波段光谱成像的研究还有待进一步深入。此外，重构算法在快照式光谱系统中也扮演了极为关键的角色，而目前的算法在重建性能和真实场景泛化性上，尤其是对于基于超构表面的成像系统，仍存在较大挑战。

为了在近红外波段实现高质量的快照式光谱成像，上述团队设计基于元注意力网络的近红外超构表面快照式光谱成像系统。研究人员设计出25种不同的超构表面结构单元对入射光谱进行调制，并提出一种基于元注意力网络先验的迭代去噪重构算法对单次拍摄得到的灰度图像进行重构，在算法重构的过程中，充分利用了超构表面结构单元规则的空间排布方式与随机的光谱编码过程，最终实现了光谱图像的准确恢复。

超构表面结构单元的设计细节如图2所示。为了提高对近红外波段能量的利用率，研究团队选取非晶硅作为纳米天线的材料，共设计出25种具有C4对称性质的结构单元，每种结构单元具有相同的周期（1.5 μm）与高度（600 nm），且每个结构单元被划分为边长相同（100 nm）的正方形区域，可在不同区域填充非晶硅纳米天线，不同结构单元的区别仅在于纳米天线的空间排布不同。考虑结构的C4对称性，在每个结构单元内共可以设计出243种不同的纳米天线排布方式，大大拓展了结构设计自由度。纳米天线丰富的空间排布方式与互相之间的共振作用使得结构单元的透射光谱曲线上具有随机而丰富的共振峰，并且使得不同结构单元透射光谱之间的相关性较低，本研究中25种结构的相关系数平均值仅为0.13，从而为充分调制入射光谱并实现准确重构提供可能性。

图2 超构表面结构单元的设计与表征测试。(a)25种结构单元；(b)图(a)中第5行、第3列结构单元斜视图；(c)超构表面样品的光学显微镜测试结构；(d)结构单元透射光谱的相关系数矩阵；(e)3种结构单元的SEM测试图及透射光谱标定曲线。

为了充分利用超构表面的光谱调制能力并提高重构算法的普适性，研究团队提出了一种元注意力网络先验的迭代去噪重构算法(MAN-IDR)，算法框架如图3所示。由于所设计的超构表面具有马赛克形式的规则结构单元排布方式，算法对局部结构的过度关注会容易导致伪影的出现，研究团队引入了空间光谱交叉注意(SSCA)模块来尽量避免这一负面效应；此外，为了将混叠的光谱信息进行解耦并减小不同光谱通道之间的串扰，研究团队引入了元交叉注意(MCA)模块，以实现光谱维度上的准确重构。进而构建基于SSCA和MCA的多尺度编解码网络，称为元注意力网络（MAN）。MAN网络作为去噪重建先验项，以端到端方式交替求解深度先验项和线性投影项，最终实现高保真度和泛化性的高光谱图像重建。实验证明元注意力网络对于基于超构表面光谱解耦和纹理保留具有良好性能，欧几里德投影算子对优化方向起到约束作用提升算法泛化性。

图3 基于元注意力网络先验的迭代去噪重构算法(MAN-IDR)

采用上述超构表面与重构算法，团队搭建了基于近红外超构表面的快照式光谱成像系统，并验证了其光谱成像性能，结果如图4所示。由图4可见，通过CMOS拍摄所得图像均为灰度图，仅能体现图像的强度信息，而无法体现出不同通道的波长信息，而经过算法的重构，光谱图像的波长维度得以体现出来。并且重构图像具有清晰的纹理与较小的伪影，展现出重构算法良好的细节恢复能力；此外，研究者还从重构图像中提取光谱曲线并与真值进行对比，两组实验的光谱曲线保真度平均值分别为92.26%和91.40%，表明重构结果具有较高的波长准确性。

图4 具有复杂纹理的单色光谱图像重构结果

研究团队还测试了系统的光谱曲线恢复能力，结果如图5所示。针对准单色光，重构光谱曲线平均保真度达到98.26%，且中心波长准确性达到0.05 nm，半高全宽准确性达到0.13 nm。针对形状复杂的宽带光谱，也实现了准确重构。

图5 光谱曲线重构结果

上述研究团队提出的基于元注意力网络的近红外超构表面快照式光谱成像方法，通过设计相关系数较低的超构表面结构单元以及普适性较高的光谱重构算法，实现了高保真度、低串扰的光谱图像重构，并能准确区分出空间重叠的光谱图像，为区分、探测不同成分的近红外物质信息提供可能。通过将所设计的近红外超构表面与手机、无人机等可移动设备集成，有望在未来实现便携式、小型化的光谱成像移动设备，为空间探测、智慧医疗、机器视觉等领域提供助力。

论文信息：
https://doi.org/10.1002/adma.202313357

审核编辑：刘清

声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表德赢Vwin官网网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。举报投诉

CMOS

CMOS

+关注

关注
58

文章
5710

浏览量
235401
SEM

SEM

+关注

关注
0

文章
216

浏览量
14436
非晶硅

非晶硅

+关注

关注
0

文章
20

浏览量
8484
近红外光谱成像

近红外光谱成像

+关注

关注
0

文章
3

浏览量
1773

原文标题：基于元注意力网络的近红外超构表面快照式光谱成像

文章出处：【微信号：MEMSensor，微信公众号：MEMS】欢迎添加关注！文章转载请注明出处。

近红外光谱仪的原理和工作机制

近红外光谱技术是一种非破坏性的分析技术，它通过测量物质对近红外光的吸收或散射特性来获取物质的化学信息。这种技术因其快速、无损、操作简便和成本效益高而被广泛应用于各种领域。

发表于 12-06 10:32 •432次阅读

近红外光谱仪校准方法近红外光谱仪与紫外光谱仪区别

近红外光谱仪校准方法近红外光谱仪（NIR）是一种用于分析物质成分的仪器，它通过测量物质对近红外光

发表于 12-06 10:31 •150次阅读

近红外光谱的新曙光

BLAZE ®科学级 CCD 相机的突破性技术大幅提升近红外量子效率，实现卓越的定量光谱测量。Teledyne Princeton Instruments 的BLAZE

发表于 09-03 06:21 •237次阅读

近红外高光谱成像具有广泛的应用前景

近红外（NIR）高光谱成像是一种功能强大的光电探测技术，可以捕获近红外光谱范围内的三维光谱空间信

发表于 06-05 09:22 •1.9w次阅读

高光谱成像仪的数据怎么看

高光谱成像(Hyperspectral Imaging, HSI)是一种先进的成像技术，它结合了成像技术和光谱技术，能够获取物体在不同波段下的光谱

发表于 05-17 10:02 •512次阅读

高光谱成像系统解析

高光谱成像技术，一种在多个行业中愈发重要的先进技术，提供了一种深入了解物体表面特性的全新方式。本文将详细探讨高光谱成像系统的工作原理、应用及其带来的革命性影响，揭示这一技术如何能够识别并分析物体

发表于 04-16 14:59 •713次阅读

高光谱成像技术：从原理到应用的全面指南

的应用。 1. 高光谱成像简介高光谱成像是一种利用光谱信息来获取图像中每个像素的频谱的技术。相比传统成像系统，高光谱成像可以提供更加详细的

发表于 04-15 17:36 •1970次阅读

避免高光谱成像数据中的光谱混叠问题

高光谱成像技术在农业、环境监测、医学诊断等领域具有广泛的应用前景。然而，光谱混叠是高光谱成像数据分析中常见的问题之一，它会影响数据的解释和应用。光谱混叠指的是不同

发表于 02-27 15:27 •852次阅读

如何开展高光谱成像技术在农业遗传育种中的应用研究?

技术逐渐成为一种有效的工具，能够为农业遗传育种提供新的解决方案。了解高光谱成像技术高光谱成像技术是一种通过采集目标物体在不同波长下的光谱信息来获取目标物体特征的技术。它利用遥感仪器在可见光、

发表于 02-20 14:54 •738次阅读

多光谱成像仪原理多光谱成像仪能测什么

多光谱成像仪是一种可以同时获取多频段光谱信息的成像设备，它不同于普通的彩色相机或单光束传感器，能够提供更为丰富的光谱特征，广泛应用于农业、环境监测、遥感、生物医学等领域。本文将详细介绍

发表于 02-20 11:27 •2122次阅读

多光谱成像仪能测什么

多光谱成像仪是一种用于获取物体表面多个波段的光谱信息的仪器。它可以测量不同波段的辐射数据，并利用这些数据来对物体进行分类、识别和分析。多光谱成像仪广泛应用于农业、环境监测、地质勘探、医

发表于 02-14 15:47 •1161次阅读

近红外光谱仪的原理近红外光谱仪的采样方式

近红外光谱仪（Near Infrared Spectrometer，NIRS）是一种用于测量物质近红外光谱的仪器。它利用物质在近

发表于 02-04 16:52 •1985次阅读

近红外光谱仪是干什么用的近红外光谱仪使用方法

近红外光谱仪是一种用于测量物质在近红外波段的吸收和散射性质的仪器。近红外光谱仪的原理基于光的互作

发表于 01-25 13:43 •2484次阅读

光谱成像技术分类及应用

光谱成像技术起源于上世纪八十年代，其前身是多光谱遥感成像技术。由于光谱成像具有良好的信息获取能力，光谱成像技术得到了飞速的发展，已经发展出多

发表于 01-15 11:05 •519次阅读

多光谱成像仪最新的品牌,优点,使用领域有哪些?

仪品牌具有许多优点，并应用于多个领域。首先，最新的多光谱成像仪品牌采用了最先进的光学技术和成像算法，具有更高的分辨率和更低的噪声水平。这使得多光谱成像仪能够提供更准确和可靠的

发表于 01-10 16:28 •684次阅读