iPhone 8用哪种摄像头？3D摄像头产业及技术路线大揭秘！

上图为目前已曝光的iPhone8模具

从2000年第一款配置摄像头的手机诞生直到今天，手机摄像头一直是各大手机品牌竞争的焦点。摄像头技术的竞争也随着像素的不断提升，逐渐往大像素、双摄、3D摄像头过渡。

2013年，苹果在2013年收购了PrimeSense公司，主要开发摄像头相关算法。根据最新报告，iPhone8将搭载具备面部识别能力的3D摄像头。该报告指出，这些具备面部识别能力的3D摄像头将由LG Innotek制造，这家公司此前也为iPhone 7 Plus提供双摄像头模块。iPhone 8将采用该公司的算法，配备“革命性”的前置摄像头以及红外模块，它可以感知前方的3D空间，具备面部识别、红膜识别和3D自拍等多项功能。

毫无疑问，目前苹果依然是手机科技的引领者，加上2017年是iPhone面世的十周年。根据目前透露的信息来看，此次新一代iPhone采用的技术方案非常激进。3D成像如果要应用在手机上，必定是从中高端手机市场上先入手。

根据旭日产业研究院提供的数据，2016年全球中高端智能手机市场出货量超过5亿部，预计到2020年将会超过7亿部，庞大的智能手机市场将会为3D成像的应用提供非常广阔的应用空间。

iPhone8引入3D摄像头或将引起国产智能手机的效仿风潮，3D摄像头产业链即将引爆。近日，《电子工程专辑》记者受邀参与了由旭日传媒举办的“风口浪尖的3D成像，将引爆智能交互革命”的3D摄像技术论坛，产业链人士纷纷登台演讲分享最新趋势，同时也带来了国内3D摄像头产业链的第一手发展现状。

奥比中光：“iPhone8会采用哪种3D摄像头方案？”

奥比中光CEO黄浩源

黄浩源表示，很早就有Robert Scoble预测iphone8会推3D传感器。最近的消息是iphone8将从9月份推迟到11月份发布，依然会带3D传感器。由于高屏占比很可能会取消指纹或者把指纹放在别的地方，所以目前传言会将3D传感器作为人脸识别登陆功能。

从3D传感器的应用来看，除了人脸识别还包括很多其它的应用。如3D扫描、AR购物、AR预习、3D测距、3D室内陆图及导航等。

“我们预测今年3D传感器将会在前置摄像头里出现，快的话两年，慢的话三年。我认为后置传感器也会出现3D踪影。后置3D传感器应用用途会更广，包括整个环境的3D扫描、3D试音、测距离、室内陆图的鉴定包括像《口袋妖怪》那种游戏，有了3D传感器会效果更出色。”

黄浩源同时比较了一下结构光和TOF的技术原理。他表示，苹果的3D传感器是乱点不是规则点激光。

结构光的3D传感器分辨率比TOF高得多。TOF作为单点测距效果不错，已经应用到手机的前置测距。目前TOF主要是手机使用，所以功耗比较低。如果TOF一定要追赶分辨率和帧数，会到手机无法承受的程度。TOF另一个缺点是噪点比较大，用光测量距离，如果距离太长会产生早点，同时边沿精度会降低。

由于TOF是激光全面照射，而结构光是只照射其中局部区域，所以结构光的功耗比较低。“结构光照射的面积可能只有TOF的10%，所以激光照射方面的功耗可以省掉90%。”黄浩源表示，结构光也有它的缺点，比如边界线不太清晰，如果照人的话有时候会胖一点有时会瘦一点。不过他同时表示，奥比中光结构光的第二代芯片马上出来，芯片算法有改进，边界线会做得非常好，跟原来的边界线重合。

由于结构光与TOF在分辨率、帧率等方面具有明显差距。在手机做图像增强等应用中，对分辨率的需求很高。黄浩源认为，目前130万的深度图分辨率还是不够，未来五年会进步。如果需要高分辨率、高帧数，苹果的手机前置应该主要会用结构光的方案。

由于手机里结构光的基线必须限制在25毫米以内，近距的精度跟TOF差不多甚至好一点，远距精度比TOF差。所以手机后置摄像头大多还是采用TOF技术，当然目前TOF的功耗是一个问题。相信未来苹果将会开发更低功耗的适合后置使用的TOF技术。

目前苹果采用的最优的结构光技术：单目+投影激光+ASIC

黄浩源同时分析了苹果可能会采用的结构光技术。目前结构光技术有几种：一种是单目+投影激光，还有双目+投影激光。英特尔采用的就是双目+投影激光，体积较大。单目体积较小，但是算法比较复杂。

在计算部分也有几种：有直接用手机的AP进行纯软件计算，这个不需要添加硬件成本，但是比较消耗AP的计算资源。

还有一种是DSP芯片加软件算法，成本跟用ASIC差不多，但是分辨率较低。所以综合判断来看，苹果应该会采用单目+投影激光+ASIC的技术路线。

黄浩源表示，奥比中光的结构光方案，无论是对比距离、精度效果跟苹果收购的PrimeSense接近。但是尺寸会比PrimeSense小很多，目前二代尺寸小到可以放到手机里。

这是目前奥比中光已经出货的产品代表，预计到明年下半年，苹果电视、自动驾驶、AR/VR等许多应用都将升级3D传感器。

奥比中光的机器人方案，包括180°超大水平视角，环境地图一次性创建；闭环检测，重建工作场景。前置超声探测、以及红外近距离传感。

3D体感摄像头在智能安防领域的应用，可实现监测跟踪、动作戏台、区域检测、物品移动识别等功能。

黄浩源表示，今年奥比中光的第二代芯片及模组都将量产，预计明年将量产融合TOF技术，可用于高级驾驶辅助的第三代芯片。

虹软：3D摄像的两种主要算法解析

虹软算法经理邱双忠先生

虹软算法经理邱双忠分享了从算法的角度，3D摄像头能带来的用户体验。

“从单摄、双摄再到DepthCam还有诸多限制。”虹软算法经理邱双忠表示，目前智能手机在深度CAM领域的体验还有很多问题。3D虽然可以带来画质和影像、算法各个方面的提升，但是3D还在发展初始阶段。

首先要解决的是有无的问题：比如3D模组怎么放到手机上，功耗会怎么降低？接下来就要达到一定的手机景深测距，不管是双摄还是3D摄像头，要让手机成像接近单反的效果。

邱双忠表示，深度Cam分为几种，在3D成像方面最主流的还是结构光和TOF两种技术。在结构光和TOF这两个层面，都会有一些相对状况在往前走。

针对人像拍摄方面，在结构光和TOF深度Cam领域，针对2D平面图像会有一些缺陷和损失。人像特征点的检测是人脸识别的基础，检测完人像特征点后，基于特征点可以做非常多的应用。

举例来说，如果要做2D摄像头的美颜效果，跟利用人像深度信息做到3D摄像头的美颜效果是有很大差别的。

加入3D信息自后，针对人像的美化立体感将会加剧，如光影效果，鼻子旁边侧面的阴影，都可以做比较精细化的处理，处理完之后人像看起来更有立体感，美化效果也更好。

还有另一个基于人像的应用，是自拍的矫正。在自拍是，很多时候是人对着屏幕看而非摄像头，这样拍出来的眼睛就非直视镜头。基于这个，加上3D模型，可以对人的视角进行矫正。基于这个模型把眼睛的视角方向调整对着摄像头，视觉感觉更有活力。

另外一个跟3D相关的应用是跟手势识别相关，涉及到人机交互。通过3D摄像头结合人体立体信息，在一定距离范围下，可以对手指的每一个关键做了非常精准的控制。基于深度学习的3D手势建模和各种姿态识别。在不同应用场景下，不光手机，可能在其他领域也可以做到更加自然的交互。

未动科技：3D深度识别能带来哪些应用？

未动科技CEO孙铮

有了深度摄像头，接下来就是提供各种智能的应用。

未动科技的CEO孙铮表示，人类和动物都具有深度感知，这是因为自然进化的结果。有了深度对于距离的感知，就可避免发生碰撞。

孙铮认为，目前有很多方法能够感知深度信息，很多东西是通过2D图像还原3D信息和深度信息，甚至包括用光场还原深度信息。

“市面上深度摄像头很多，没有一个唯一的深度摄像头任何场景都能适合，必须根据你应用的环境。”孙铮表示，这个应用环境包括功耗、大小，在黑暗环境中使用还是在白天环境使用，在室内还是室外，是不是和阳光或者激光、红外有所干扰。

3D摄像头带来的一个新的因素就是景深的加入，比如人脸识别。3D人脸识别比2D一定会精准。因为2D的信息拿一张照片就可以骗过摄像头，3D会提高精准和安全性。3D识别也将会给电商购物带来革命性的变革，消费者可以在网上了解产品的立体结构。

微软的Hololens在AR领域提供空间计算和场景重构功能。为什么要重构？因为机器人在运动过程中需要给自己和空间进行定位。需要把每一个空间点拼接起来形成一个整体物体空间结构。

说到AR应用和机器人应用，一个很重要的是空间姿态定位。深度摄像头在很多场景下可以解决很多问题：比如机器人在室内如何定位自己的姿态。还有基于深度识别的手势控制和人机交互。

示例：3D识别对于场景的识别和重建

新的应用场景：一个无人机在厂房内工作，右边画出来的是具体的姿态，这里的姿态显示的是XYZ三个自由度，实际上它能测出六个自由度。这个技术同样是所谓的AR技术，知道自己的姿态。

手势识别案例，这是一个200×100出来的深度图。是这个手势识别是还原行业中26个TOF，能还原出手骨骼、骨架信息。

华捷艾米：3D视觉感知+自然语言=新的人机交互革命

华捷艾米CTO周晓军

这是软银孙正义演示的一个机器人，技术方面包括语音识别、语音沟通、3D摄像头、图象识别、模式识别、手势、虹膜、体感等等。

华捷艾米CTO周晓军认为，人机交互发展这么多年，每一个阶段都是革新性的进步。他认为2010年以后，人机交互新的革命会出现在语音+视觉感知。未来的机器人将可以跟人一些样可以看和听。

“华捷艾米也有一套完整的自然交互方案。我们选用的也是结构光，从2010年看到微软那个产品面世，也开始研究这个东西，觉得它会是未来的方向。”

周晓军介绍了华捷艾米的三款3D芯片。他表示，在第二代3D芯片中，将会加入了ISP/Ecoder，支持1080P的彩色图，能够达到90帧，支持UBS3.0，拍照美化、3D人脸识别、简单AR换背景等等。同时增加了DSP，预计在10月份量产。

到年底华捷艾米将会量产的第三代芯片，会将更多人工智能算法加入进去，包括男女识别、手势识别、SLAM、远场语音等等。“第二步我们把眼睛和简单的智能加入到芯片中，第三步，希望打造一个完全人工智能包括3D感知、语音，甚至有可能包括其他智能算法的芯片，可以作为机器大脑来使用。”周晓军表示。

这是3D感知芯片+光学模组做的测量模组，是机器视觉最基础的部分。

据了解，目前华捷艾米的第一代模组支持0.6-8米，75度和65度，分辨率是红外和彩色分辨率。预计在9月份会推出手机小型化低功耗的模组方案。

“在我们的芯片中，有很多人工智能算法，包括前景分割、深度学习、SLAM、ASIC。”周晓军认为，其中最复杂的是取得深度图之后怎么样把人从背景中提取出来，同时识别关键点。然后基于这些关键点来进行动作识别。

周晓军表示，目前华捷艾米已经突破全程骨架技术，目前是世界上三家拥有全套人物提取、骨架识别、动作跟踪技术的公司之一，前两家是微软和苹果。

其中微软的3D感知技术已经证明是效果最好的，然后是苹果收购了PrimeSense，提供完全自主知识产权的骨架技术。华捷艾米的骨架技术对人的识别是可以同时识别六个人，每个人是20个关键点。在这个基础之上又做了一个手势识别，每只手能识别24个点。

周晓军认为，3D视觉感知+语音识别是目前最佳的智能交互组合。

根据华捷艾米目前的产品规划，其中的目标是打造全功能感知和计算平台，包括：三维人脸识别、手势识别、情绪识别、三维建模等。目前将深度图和彩色图结合起来进行三维人脸识别，计算效能比单纯用彩色图做人脸识别，大概要提高三分之一到二分之一。

基于3D视觉感知的移动设备方案

其主要应用方向包括：拍照优化、防抖、虚化、美颜、AR应用等等。主要是三维人脸识别、电商、游戏、智能监控等等。

西安知微：MEMS微眼镜的高精度3D相机

西安知微总经理夏长锋

去年12月才成立的西安知微传感技术有限公司，目前主要做MEMS微振镜的研发和应用。主要提供的产品包括基于MEMS微振镜的高精度3D相机ZS3D-camera，以及MEMS激光雷达单轴扫描模组。

前面已经提到很多3D摄像头的应用。这里再讲一个应用，比如一些直播里可以把背景虚化掉，很顺利的切换到其他场景，或者对人体进行扫描放到游戏里，甚至每天可以监控身体体型，可以对饮食、健身等等进行调整。

西安知微的MEMS微振镜采用的是光栅原理。这个结构的相机主要由一个摄像机和一个结构光投影仪组成，根据光栅图像的变形情况来测算被测物体表面的三维点运输局。

其实现方式为：微振镜在驱动作用下会主动扫描，通过振镜调整，通过条纹调制之后的结果计算出点云的信息。

ZS3D相机的主要参数：其中分辨率基本在0.5MM，FOV>54度×54度，目前只是输出点云坐标。目前存在的问题是相机体积还比较大，而且成本较高，价格在一千元左右。下一步就是要提高精度、压缩成本，减少体积，同时提高扫描帧率。

兴芯微：3D摄像开启智能交互革命

兴芯微产品总监贺遥

多年来兴芯微专注于独立ISP芯片的开发，最大的能力就是把一些算法硬件化，以芯片的方式呈献给市场。兴芯微的产品总监贺遥表示，未来3D摄像的算法硬件化将主要分为两种：一种是双目RGB，一种是结构光。

“我们认为未来不管手机相机或者直播或者其他相机，都必须有深度。没有深度的信息，以后的相机必须朝有深度的发展。”贺遥表示，以后的发展趋势，光学变焦会持续存在下去，因为它确实解决了一些拍照长距离清晰度的问题。

同时背景虚化、暗态增强等功能也会加入进来。在苹果7PLUS上，背景虚化是使用频率最高，最受广大用户喜欢的功能。

暗态效果主要通过大光圈镜头加上光学防抖技术解决，还有通过CPU算法，做多帧降噪来解决。前段时间最火的《pokeman go》就是AR应用，随着AR/VR的发展，在以后发展结合深度信息，有了深度信息，这些应用使用起来更流畅更有趣。

“我们调研到有些一线手机品牌在做虹膜识别的前置摄像头。对于虹膜识别和3D人脸识别，应用来说，3D人脸识别以后的应用会更广，比如可以加识别类、做建模类的东西，而虹膜只是一个简单的身份认证功能。在3D人脸发展上，我们认为在前摄3D人脸识别和自拍背景虚化会持续存在。”贺遥表示，所有的功能最终体现到用户体验。

现在市场上已经存在一些区别于CPU以外的处理器或者单独芯片，这些芯片的目的就是为了减轻CPU处理的负荷，提高算法的运算。在双摄领域有这几家公司一直存在。 华为等一些品牌都在用华晶芯片。它的芯片是ASIC+DSP，所以很多算法有固化到ASIC也有跑到DSP。

第二个是富士通，里面的CPU很强大，很多算法可以跑，使用起来没有ASIC芯片方便。此外还有DSP，这个DSP价格很贵，它可以实现HDR、多帧降噪，这都是依赖第三方算法公司，把算法在DSP上运算，可以减轻CPU损耗，提升拍照体验。

去年兴芯微提供了手机双摄ISP芯片，这是一个纯的ISP芯片，可以实现两路图像输出变成一路图像输出。接下来兴芯微会做两个方向：在双目RGB这个产品形态上继续升级，以及继续做下一代芯片。这两个都是可见光双目为主，做硬件加速、景深计算，提升景深分辨率，对双摄手机提供更快的景深计算芯片。

贺遥表示，未来兴芯微会愿意和一些算法公司包括手机厂商合作，来定制对于一些结构光的芯片，做硬件加速等工作。这两个公司在双目RGB或者结构光里面，有很多算法硬件化的需求是相通的。比如提到光学系统校正、图像预处理、特征提取。“为什么几家厂家在结构光的芯片里面会加入ISP芯片。ISP芯片主要作用也在处理滤波包括图像分割功能。比如现在做简单的滤波、图像去噪、图像分割，得到边缘检测，做得到边缘图像。”

贺遥表示，中国有句古话叫“分久必合合久必分”，SOC一直想把各种功能都集成进去，集成很大负荷越来越高，差异化需求低就没法满足。这时候开始做分化，比如苹果提出协处理器概念，这个协处理器概念就是把核心的功能分化出来。

对于兴芯微来说，会在很多领域把一些功能协助SOC做一些事情，把算法固定到芯片里，提升系统的流畅度和运算效率。