图像传感器|DARPA设立项目寻求可配置的成像传感器系统

美国国防先期研究计划局（DARPA）设立“ReImagine”（可重构成像）项目，旨在实现可配置的成像系统，9月30日为该项目提案日。

可配置成像示意图

项目背景

数字图像已发展了近二十年，从早期可以看到像素的方框边缘的图像，到现在相机具有高品质的镜头、像素超过16000万，手机相机都足以拍摄专业运动赛事。当前大多数相机设计的目标都是最大化空间分辨率和信噪比（SNR）。但在这些限制条件下将丢失丰富的视觉域信息。专业相机能够捕捉频谱域、光谱域或深度分辨率。但通常这些相机不能采用单个焦平面实现高空间分辨率且高SNR成像。对于现在的成像系统，采用专门设计的读出电路（ROIC）采样感兴趣的信号，相当于专用集成电路（ASIC），主要测量一个或有限的数值。

数字相机下一步将会如何发展呢？

项目内容

DARPA设立“ReImagine”（可重构成像）项目，希望成像传感器从本质上可思考，能够结合来自多个传感器的数据，使用机器学习的方法将图像根据正在发生的事情进行调整。该成像系统中，指甲大小的阵列将包含有一百万像素，每个像素利用1000多个晶体管实现可编程能力，使其根据所传送的图像进行配置。

在DARPA的构想中，像素阵列将会自主实时反应，具有在不同传感器节点之间自由选择，这是目前的照相机所不能达到的。

项目目标

ReImagine项目的目标是实现可配置成像系统，类似于可编程门阵列（FPGA）而非ASIC，开发出预测和配置传感器的理论和算法，使传感器的测量值发挥最大价值。

项目意义

尽管目前机器学习和人工智能发展得非常迅速，但软件普遍不能控制获取物理世界信息的传感器。在ReImagine项目中，研究人员将使机器学习和图像处理算法具有改变或决定采集何种类型传感器数据的能力。

任务分工

麻省理工学院林肯实验室将为三层硬件开发可重构层。潜在供应商将提供百万像素级的探测器层，以及用于信号转换的软件和算法。