基于以上技术思路,该研究构建了被动式和主动式两种光谱相机。为了测试光谱相机的光谱分辨能力,研究人员使用被动式光谱相机测试了不同中心波长的激光光谱,并分别针对窄带光谱与多种不同种类的光谱训练了不同的光谱解码DNN,结果如图2所示。针对窄带光谱的DNN可以实现0.55nm的中心波长定位精度(图2 C),适用于对单色光波长精度要求较高的场景;而针对更多种类光谱的DNN依然可以实现0.63nm的中心波长定位精度(图2 D),适用于更加广泛的场景。后者可以分辨波长相距5.2nm的两个单色激光,实现了等效5.2nm的光谱分辨率(图2 E)。图2. BEST Camera的光谱分辨能力评价
研究人员使用标准色卡和植物标本样品测试了被动式BEST camera的光谱成像效果,如图3所示。可以看出,无论是样品的颜色还是光谱曲线,光谱相机的重建结果均达到了较高的精度。其中,色卡样品的光谱重建均方误差(MSE)达到了0.0008,植物标本样品的MSE为0.0016。图3. 被动式BEST Camera的光谱成像效果
(A、C:样品的RGB图像;B、D:根据BEST camera输出的光谱图像计算所得的RGB图像;E-J:样品图像对应像素处的光谱曲线)
除了被动式BEST camera,研究人员还测试了主动式BEST camera的光谱成像效果,如图4所示。其光谱图像高度还原了样品RGB图像的颜色,光谱重建均方误差非常小。这一结果与经典的压缩感知解码算法(GPSR)相比,实现了6.1倍的精度提升。主动式的BEST Camera样机如图5所示,其外形尺寸仅为13.6×28.5×7.15mm,与普通的手机摄像头模组尺寸相当,具有不错的应用前景。图4. 主动BEST Camera的光谱成像效果
(A:样品的RGB图像;B:根据BEST Camera输出的光谱图像计算所得的RGB图像;C-F:样品图像对应像素处的光谱曲线)
图5. 主动式BEST Camera样机实拍
由于使用了对偏振较不敏感的薄膜材料作为光谱编码滤光片,BEST Camera还具有更好的成像光线角度容忍度。通过对不同入射角度下滤光片的响应进行标定,BEST Camera实现了在±10.6度的入射角范围内一致的光谱重建效果,好于使用超表面材料或光子晶体材料的光谱成像设备。图6. BEST Camera的入射角度敏感性分析
(同一样品在不同入射角下的光谱重建结果,A:标定后;B:标定前)
通过深度学习技术与光学硬件的结合,光谱成像设备能够在小型化的同时实现高质量、快速的光谱图像重建。该研究提出的BEST Camera为高精度且紧凑化的光谱成像提供了可靠的技术路线,在推广光谱成像技术的同时亦拓展了人工智能技术在光学领域的应用。论文信息:
Zhang, W., Song, H., He, X. et al. Deeply learned broadband encoding stochastic hyperspectral imaging. Light Sci Appl 10, 108 (2021).
技术详见:
https://www.nature.com/articles/s41377-021-00545-2
成像专题 | 智能光谱探测:宽光谱编码滤光片与解码算法协同设计 (Advanced Theory & Simulations) 欢迎点击查阅
* 主要文字由论文作者成员撰写,所有图片素材均来源于作者原始论文及网络公开资料,该技术分享不做任何商业用途。