计算机视觉研究人员发现了一个隐藏的视觉信号世界，其中包括一些违背某些常理的微妙运动，以及模糊图像。2012年在西班牙海岸度假的计算机视觉科学家安东尼奥·托拉尔巴注意到酒店房间墙上出现了一些没有被任何东西投射过的影子。托拉尔巴最终意识到，墙上那些褪色斑点不是阴影，而是窗外天井的倒置影像。窗户就像一个针孔照相机，光线通过一个小开口，在另一边形成一个倒立的图像。
阴影边缘可以显示出隐藏物体的形状，图片：Rune Fisker for Quanta Magazine
博科园-科学科普：在洒满阳光的墙壁上，人们几乎察觉不到由此产生的图像。但托拉尔巴震惊地发现，这个世界充满了肉眼看不到的视觉信息，这些图像每分每秒都潜藏在我们身边。这次经历让他和麻省理工学院教授比尔·弗里曼意识到无处不在的“意外摄像头”——窗户、角落、室内植物和其他常见物体。这些物体会对周围环境产生微妙影像，产生的图像亮度是其他图像的1000倍，通常情况下，肉眼无法察觉到。弗里曼解释说：我们已经找到了将这些图像提取出来并使其可见的方法。
在一篇论文中，弗里曼和托拉尔巴展示了房间墙壁上不断变化的光线通过处理后可以揭示出窗外的场景。去年他们宣称可以通过拍摄拐角附近的地面来观察拐角另一边移动的人。今年夏天拍摄了室内植物，然后通过植物叶子投下的不同阴影重建出房间三维图像。一位男士说：玛丽有一只小羊羔……这是由科学家在2014年通过隔音窗拍摄空芯片袋运动重建的音频。
图一：安东尼奥·托拉尔巴在旅馆房间外面的天井发现窗户就像一个针孔照相机。图二：墙壁上天井的暗淡图像。图三：用纸板覆盖大部分窗户来锐化图像。图四：减小针孔的尺寸，倒置图像。图五：图像显示外面的场景。图片：Antonio Torralba and William T. Freeman
2012年麻省理工学院拉梅什·拉斯卡尔领导一个独立研究小组利用托拉尔巴和弗里曼的研究开展了在拐角处观察和推断不能看到的信息的研究，这一研究被称为“非视线成像”。2016年美国国防高级研究计划署启动了价值2700万美元的REVEAL项目，为全国各地的一些新生实验室提供资金，从而革命性地提高光线可见度。从那时起，一系列新见解和数学技巧让非视距成像变得更加强大和实用。
除了将这一研究运用于军事和间谍外，研究人员还将其运用到自驾车、机器人视觉、医学成像、天文学、太空探索和搜救任务中。托拉尔巴和弗里曼开始研究时没有任何其他想法。仅仅只是钻研图像如何形成以及相机组成等基础知识。实验自然而然地进入到了解光的行为以及它与我们环境中的物体和表面如何相互作用这一全面的过程。托拉尔巴指出，心理学研究表明，人类实在是很难解释阴影。或许其中一个原因是肉眼所见的很多东西并不是真正的阴影，眼睛自动放弃去尝试了解它。
1、偶然的相机
在我们的视野之外，携带世界影像的光线不断射向墙壁和其他物体表面，而后反射回眼睛之中。但为什么这些视觉漏区如此微弱呢？答案是太多光线在不同方向传播，因此变得比较微弱。光线需要极大限制地落在物体表面才能形成一幅图像，以便人眼能看到其中特定的一组光线，这就是针孔相机的工作原理。托拉尔巴和弗里曼在2012年最初的见解是：环境中有许多物体会自然地限制光线形成微弱的图像，但计算机足以探测到它。
针孔相机的孔径越小，形成图像就越清晰，因为被成像物体上的每个点只会发射具有正确角度的单一光线。托拉尔巴酒店房间的窗户太大，因而无法产生清晰图像。然而他们意识到，任何阻光小物体组成的“反针孔”相机都会在整个地方形成图像。想象一下，你正通过窗帘的缝隙拍摄房子内部；突然，一只手臂闯入你的视野之中。当手臂出现或消失时，墙壁上的光线强度也会随之变化，比较两幅图像的不同就能获得一定的场景信息。
比尔·弗里曼(左)和安东尼奥·托拉尔巴是计算机视觉科学家和麻省理工学院的合作者。图片：Lillie Paquette / MIT School of Engineering
在第一个视频画面中，一组射向墙壁的光线会被手臂短暂阻挡。弗里曼说：通过从第一幅图像中减去第二幅图像中的数据，胳膊挡住的信息就能够被提取出来，成为房间的部分信息。如果去观察那些阻挡光线的物体，以及光线进入的物体，就可以扩大找到针孔状图像的范围。随着accidental-camera在小强度变化的情况下进行工作，弗里曼和同事们还设计了算法检测和放大微妙的颜色变化。这一算法很容易发现细微的运动，但这些运动通常会被噪声掩盖。
于是采用数学方法把图像转换成正弦波的构型，采用此方法后，在变换后的空间中，信号不再受到噪声控制。正弦波代表了许多像素上的平均值，噪声很容易分散在这些像素之间。因此研究人员可以检测正弦波的位置从一个视频序列的一帧到下一帧的变化，放大这些变化，然后就可以数据转换回来。他们现在开始结合这些技巧来获取隐藏的视觉信息。去年10月弗里曼的研究生凯蒂·布曼领导的一项研究表明，建筑物各个角落就像照相机一样，能够粗略地描绘出拐角处的景象。
图一：通过在角落附近的地面上拍摄阴影半影，就有可能获得角落附近物体的信息。图二：当隐西藏域内物体移动时，它们投射到半影上的光线会相对于墙壁扫过不同的角度。这些细微的强度和颜色变化肉眼通常无法看到。图三：光线从半影的不同角度投射出来的原始视频显示有一个人在移动。图四：两个人移动。图五：拐角处的景象。图片：Antonio Torralba and William T. Freeman et al.
像针孔一样，边缘和角落限制了光线通过。布曼利用传统的录音设备，在阳光之下，拍摄了建筑角落的“半影”：由隐藏在角落里的光线所照亮阴影区域。当穿红衬衫的人走过那里时，衬衫会向半影投射出少量红光，当这个人离开时，红光会扫过半影，经过实验处理后这些变化就会暴露无疑。在6月报道的开创性工作中，费里曼和同事从墙边一棵绿叶植物的阴影中重建了一个房间的“光场”——一幅光线强度和光线方向的图片。这些树叶就像微粒相机一样，每片树叶都能阻挡不同光线。
将每片树叶的阴影与其他部分进行对比，就会发现缺失光线，从而寻觅到隐藏场景中的一部分图像。考虑到视觉误差，研究人员将这些图像拼接在一起。这种光场方法产生的图像远比早期相机成像清晰。已知室内植物的形状，自然图像趋于平滑，其他“先验”允许研究人员对噪声信号进行推断，这有助于锐化生成图像。“光场技术需要对环境有很多了解来进行重建物体，但也能折射出很多信息。
2、散射光
2012年拉斯卡尔和团队开创了一项新技术。这项技术包括向墙壁发射激光脉冲，使一小部分散射光反射到障碍物周围，在每次脉冲之后的瞬间，使用“条纹相机”能够检测从壁面反弹回的光子。“条纹相机”以每秒数十亿帧的速度记录单个光子。通过测量返回光子的飞行时间，研究人员可以知道它们飞行了多远，从而重建出隐藏物体的详细三维几何结构。然而这种方法存有一定问题——必须用激光扫描墙壁才能形成3d图像。比如有一个人隐藏在拐角处，他头部某个特定点、肩膀上某个特定点、膝盖上某个特定点发出的光可能会在同一时间到达摄像机。
麻省理工学院计算机视觉科学家拉梅什·拉斯卡尔是主动非视距成像技术的先驱。图片：Courtesy of ACM SIGGRAPH 2017
但如果把激光照射到一个稍微不同的点上，那么从这三个点发出的光就不会在同一时间到达。因此就要结合所有信号，解决所谓的“逆问题”，重建隐藏的三维几何结构。今年3月发表在《自然》上的论文为构建角落里的物体的三维成像设定了新标准。斯坦福大学Matthew O 'Toole、David Lindell和Gordon Wetzstein设计出了强大算法来解决逆问题，并且实验过程中使用了相对便宜的SPAD摄像头——比条纹摄像头帧率低的半导体设备。
在主动的非视距成像中，激光从墙壁上弹回，从隐藏的物体上散射，然后反弹回起始点(上图)。反射光能对物体进行三维重建(下图)。图片：2018 Stanford Computation Imaging Lab
先前算法程序上的细节让人焦头烂额。“当光线散射到一个表面时，它就会形成一个不断膨胀的光子球体，这个球体会随着时间推移而延伸出一个圆锥体，从而将光子飞行时间与散射表面位置联系起来。”奥图尔将爱因斯坦的老师赫尔曼·闵可夫斯基在20世纪初发明的光锥物理学运用到这一实验中，他称这一方法为“光锥变换”。自动驾驶汽车已经配置了直接成像的激光雷达系统。在不久的将来，这些传感器将以一种可以手持的形式出现，现在的任务是要进入到更复杂的场景与现实场景，而不是小心翼翼地设置出场景。
3、发展方向
弗里曼小组研究人员已经开始采用被动和主动方法。由博士后研究员Christos Thrampoulidis领导的一篇论文表明，在利用激光主动成像中，角落附近存在已知形状的粉点照相机可以用来重建隐藏场景，这完全不需要计算光子飞行时间的相关信息。Thrampoulidis说：普通CCD相机就可以搞定这一切。未来的某一天，非视距成像技术可能会帮助救援队、消防员和自主机器人。
维尔滕正在与美国国家航空航天局喷气推进实验室合作进行一项旨在对月球洞穴内部进行远程成像的项目。与此同时，拉斯卡尔和他的公司用其方法阅读了一本未打开书籍的前几页。除了音频重建，弗里曼的运动放大算法可能对健康和安全设备或检测微小的天文运动有用。纽约大学和弗拉蒂隆研究所天文学家和数据科学家大卫·霍格说：这个算法是个好主意，我想我必须在天文学中使用它。
当我开始自己的职业生涯时，我不想从事任何可能涉及军事或间谍的工作。但随着时间的推移，我开始认为技术是一种可以以多种方式使用的工具”，如果你试图避免参加任何可能与军事相关的研究，那么你永远不会有所突破。即使这一研究被用于军事，但它或许也能帮助某人避免被攻击者杀死。总的来说，知道事情的发展方向是件好事。然而，令他兴奋的并不是技术上的发展，而仅仅是发现了隐藏在平实视野中的现象，世界上还有很多事物等待人类挖掘。
博科园-科学科普｜参考期刊文献 :《IEEE Xplore》,《Nature》｜文：Natalie Wolchover/Quanta magazine/Quanta Newsletter
DOI:doi.org/10.1038/nature25489
DOI:10.1109 / TCI.2018.2829599
博科园-传递宇宙科学之美
