欢迎光临浙江大学光电工程研究所
张文屹、宋洪亚在Light: Science and Applications上发表文章
2021-6-2 14:05:53

文章题目:Deeply Learned Broadband Encoding Stochastic Hyperspectral Imaging


导读:

高分辨率的光谱成像在天文、遥感、生物、环境等许多领域都发挥着巨大的作用。随着计算成像技术的发展,计算型的光谱成像可以使光谱成像设备变得更加紧凑、轻便和廉价,甚至使普通的彩色图像传感器变身为通道数更多的光谱图像传感器,这使得光谱成像有望进入普通人的生活中。然而由于光谱图像的巨大数据量、重建算法对噪声的敏感性以及宽光谱编码滤光片难以定量优化设计,计算型光谱相机的图像重建速度以及图像质量仍然与传统的光谱成像设备有着较大的差距。

针对以上问题,来自浙江大学光电学院现代光学仪器国家重点实验室的研究人员通过使用深度学习方法对光谱相机中的宽光谱编码滤光片及解码算法进行了协同设计,实现了基于宽光谱编码随机滤光片的光谱相机(BEST camera)。其光谱图像重建速度比以往的方法快了7000-11000倍,并且抗噪声性能提升了约10倍,用16个滤光片通道在可见光范围内(400-700nm)实现了5.2nm的等效光谱分辨率。相关成果 Deeply learned broadband encoding stochastic hyperspectral imaging 于近日发表在Nature旗下光学顶级期刊Light: Science and Applications》上。

背景介绍:

由于光谱图像是一个包含二维空间信息和一维光谱信息的三维数据立方,传统的光谱成像方法需要使用空间扫描或光谱扫描的方式才能获取一幅光谱图像。因此传统的光谱成像方法的成像速度较慢。另外,传统的光谱成像设备需要使用色散元件或许多个窄带滤光片将光谱成分分离,因此其体积均较为笨重,难以缩小到普通成像探测器的大小。为了提升成像速度、减小设备的体积,近年来人们基于压缩感知理论,发展出了“快照式”的光谱成像方法。

然而这些方法仍然存在着各自的问题。例如,孔径编码快照式光谱成像(CASSI)将色散元件前的狭缝替换为一块随机编码掩模,以实现数据立方的快照式压缩探测。但是该系统仍然未摆脱体积较大的色散元件及其光学系统。进一步缩小光谱成像设备体积的有效方法是使用随机滤光片,通过将其集成于探测器像素前,可以实现光谱成像探测器的集成化。然而无论使用孔径编码还是使用随机滤光片,现有的快照式光谱成像系统在获取数据后大都需要使用迭代算法进行光谱图像重建,其重建时间往往远大于数据获取的时间,不适用于对实时性要求较高的应用场景。同时,与传统的探测方法相比,基于压缩感知的探测方法对噪声更为敏感,这对光谱图像重建算法的抗噪声性能提出了更高的要求。另外,目前用于光谱探测的随机滤光片只能依靠随机生产-挑选的方式获得,难以定量地优化设计

技术思路:

针对重建速度、噪声以及滤光片设计问题,研究人员将人工神经网络应用于滤光片设计及光谱图像的重建中,通过硬件与软件的协同设计实现了基于宽光谱编码随机滤光片的光谱相机(BEST camera),其原理图如图1所示。取决于宽光谱编码滤光片放置的位置,BEST camera分为主动编码和被动编码两种光谱编码模式,分别可探测光谱反射率图像以及光谱辐射度图像。

 

1. BEST Camera原理图(A:硬件原理框图,BDNN光谱重建算法示意图)

在滤光片设计方面,研究人员使用此前提出的PCSED方法(点此查看原文)实现了滤光片的定量优化设计,并生产了16种不同的宽光谱编码滤光片以实现16通道的光谱编码,这一数值仅为以往研究报道的40%-60%。滤光片采用薄膜材料,使用真空蒸镀工艺加工而成。

在重建算法方面,研究人员构建了基于深度神经网络(DNN)的光谱解码器,可根据输入的16幅光谱编码图像计算重建为高光谱图像。依靠DNN强大的并行计算特性,重建过程得以去除耗时的迭代过程,实现极快的光谱图像重建速度。依托于GPU计算平台,该算法重建一幅大小为640×480像素、拥有301个光谱通道的光谱图像仅需0.48。而经典的基于迭代的解码算法则需要3307.3,速度仅为DNN1/7000。当图像像素数增加一倍时,使用DNN更是快了11000倍。同时,得益于DNN对大量训练数据的学习能力,研究人员通过使用有噪声的训练实现了比迭代解码算法更好的抗噪声能力。通过重建不同噪声水平下的光谱图像,DNN平均实现了8.14倍的抗噪能力提升

结果分析:

基于以上方法,研究人员分别构建了被动式和主动式两种光谱相机。

为了测试光谱相机的光谱分辨能力,研究人员使用被动式光谱相机测试了不同中心波长的激光光谱,并分别针对窄带光谱与多种不同种类的光谱训练了不同的光谱解码DNN,结果如图2所示。针对窄带光谱的DNN可以实现0.55nm的中心波长定位精度(图2 C),适用于对单色光波长精度要求较高的场景;而针对更多种类光谱的DNN依然可以实现0.63nm的中心波长定位精度(图2 D),可适用的场景更加广泛。后者可以分辨波长相距5.2nm的两个单色激光,实现了等效5.2nm的光谱分辨率(图2 E)。

2. BEST camera的光谱分辨能力

研究人员使用标准色卡和植物标本样品测试了被动式BEST camera的光谱成像效果,如图3所示。可以看出,无论是样品的颜色还是光谱曲线,光谱相机的重建结果均达到了较高的精度。其中,色卡样品的光谱重建均方误差(MSE)达到了0.0008,植物标本样品的MSE为0.0016

3. 被动式BEST camera的光谱成像效果(AC:样品的RGB图像;BD:根据BEST camera输出的光谱图像计算所得的RGB图像;E-J:样品图像对应像素处的光谱曲线)

除了被动式BEST camera,研究人员还测试了主动式BEST camera的光谱成像效果,如图4所示。其光谱图像高度还原了样品RGB图像的颜色,光谱重建均方误差为0.001。这一结果与经典的压缩感知解码算法(GPSR)相比,实现了6.1倍的精度提升。主动式的BEST camera样机如图5所示,其外形尺寸仅为13.6×28.5×7.15mm,与普通的手机摄像头模组尺寸相当

4. 主动式BEST camera的光谱成像效果(A:样品的RGB图像;B:根据BEST camera输出的光谱图像计算所得的RGB图像;C-F:样品图像对应像素处的光谱曲线)

5. 主动式BEST camera样机

由于使用了对偏振较不敏感的薄膜材料作为光谱编码滤光片,BEST camera还具有更好的成像光线角度容忍度。通过对不同入射角度下滤光片的响应进行标定,BEST camera实现了在±10.6度的入射角范围内一致的光谱重建效果,这一结果远远好于使用超表面材料、光子晶体材料的光谱成像设备。

6. BEST camera的入射角度敏感性(同一样品在不同入射角下的光谱重建结果,A:标定后;B:标定前)

总结与展望:

通过深度学习技术与光学硬件的结合,光谱成像设备能够在小型化的同时实现高质量、快速的光谱图像重建。BEST camera为紧凑化的光谱成像提供了可靠的技术路线,不仅有利于推广光谱成像技术,同时也拓展了人工智能技术在光学领域的应用。


论文信息:Zhang, W., Song, H., He, X. et al. Deeply learned broadband encoding stochastic hyperspectral imaging. Light Sci Appl 10, 108 (2021). 

论文链接:http://www.nature.com/articles/s41377-021-00545-2