端到端光学编码超分辨单光子成像

End-to-end Learned, Optically Coded Super-resolution SPAD Camera

     单光子雪崩光电二极管(SPAD)阵列具有单光子响应、超高速时间分辨率、以及稳定可集成等优点，近年来在高超音速飞行器探测预警、量子通信、3D成像、粒子物理、以及医疗成像等领域得到广泛应用。然而，其并行读取速度，有限分辨率，以及低像素填充率构成成像领域的技术难题。鉴于此，传统的图像处理超分辨算法以及单纯基于深度学习的超分辨算法在低像素填充率下，由于信号混频走样问题，将无法对低分辨率的SPAD阵列实现保真的超分辨。   

图1 端到端光学编码联合设计以及重建示意图

     近日，来自阿卜杜拉国王科技大学、北京大学、同济大学、以及斯坦福大学的研究学者提出并实现了一种全新的端到端光学编码设计，将数学上可微的衍射光学模型以及深度学习网络联合训练设计，最终优化出用于现实中编码的超薄光学衍射元件，进而对无法进行超分辨提升的低填充率SPAD阵列实现编码超分辨，将其不可能变为可能。

图2 超分辨强度结果：1）光学编码原始图 2）光学编码超分图 3）无编码原始 4）无编码超分图

图3 超分辨深度结果：a）光学编码原始图 2）光学编码超分图 3）光学编码超分深度图

其中，端到端优化得到的衍射元件可以产生一种最优的点扩散函数（抗混叠滤波器），从而使得算法矫正变成可能。而该点扩散函数根据填充率模型选择性的保留了信号的频谱，使得采样所得图像最有利于超分辨算法重建。文章中还给出了其相关在超高速成像、深度成像、瞬态成像等领域的应用，实验结果均代表了当前该领域研究的最高水平。

      该项研究工作于近期发表在计算机图形学领域顶级期刊ACM TOG 2020，更多技术细节和结果详见

https://dl.acm.org/doi/abs/10.1145/3372261。

End