边缘人工智能如何从传感器融合到深度神经网络？

AI在边缘领域的优势现在是显而易见的。在这些领域中，实时响应起到决定性的作用。比如说，在安全敏感型应用中，既要将原始数据传输到云的通信成本降至最低，又要降低功耗、保护隐私并提高对多个边缘节点的可扩展性。
对于以上这些要求，我们建议通过边缘设备内的人工智能而不是远程云服务来满足。然而，一个AI引擎无法服务我们现在所知的边缘应用范围。家用电器可能只需要识别一组简单的语音命令或食品容器上的图片。更复杂的监控系统或工业机器人系统则可能需要融合图像传感器、麦克风、运动传感器等的多方输入。
就高端领域而言，自动或半自动驾驶识别系统需要用到非常复杂的深度神经网络 (DNN)。CEVA SensPro2 和NeuPro-M平台恰能满足这些需求。
边缘AI市场
自现在起至本世纪末，边缘AI处理器芯片市场的年复合增长率预计将达到20%左右。这一增长是由智能设备采用率/发展程度不断提高推动的，具体涉及：摄像头、可穿戴设备和家庭自动化领域消费者；安全和自动化程度日益提高的汽车行业；行业监控、机器人、机器/工厂控制和预测性维护。
最有可能在这些领域取得成功的产品自然必须功能十足、性能强大，如此才能满足应用这些产品的认可需求。此类产品必须根据消费者定价和/或在大规模部署时具有成本效益，同时还应该最大限度地减少现有无线基础设施的增量负载。此类产品的软件还必须可以升级，如此才能适应快速发展的AI技术领域的新兴解决方案。
传感器融合和SensPro2
除了最简单的智能边缘设备之外，其他所有设备现在都使用多个传感器。两个或更多传感器的融合信息通常可让智能系统提供准确性度更高的信息或补充信息。例如，在自动平行泊车或自动代客泊车系统中，可结合使用探测可用空间的视觉传感技术/雷达与超声波测距技术，另外也可以结合使用IMU输入，进一步细化定位估计结果。SLAM算法可以对这些功能形成补充，在停车场内导航以便自动代客泊车。
CEVA SensPro2传感器中枢DSP是传感器中枢/融合应用的完美答案。SensPro2是第二代CEVA传感器中枢DSP，允许图像传感器、麦克风、雷达、飞行时间、IMU 等的多个传感器输入。
基于神经网络的软件可在这种DSP架构上快速运行。因为这种架构提供整套丰富的硬件支持功能，包括：具有灵活MAC操作范围的矢量单元、整数和浮点运算支持、针对应用的ISA扩展和全面的非线性指令集。SensPro2可利用这些功能提供2倍的AI速度、6倍的SLAM速度、8倍的雷达速度、10倍的音频速度（相较于上一代SensPro而言）。
在各种消费者应用中，边缘人工智能已通过SensPro2部署到SoC，最近发布的新Novatek监控SoC版本就是一个示例。
DNN 智能和NeuPro-M
高端边缘智能需要深度神经网络 (DNN) 支持、高水平的并行性能和带宽优化，以及拥有最新AI算法的异构加速器。对于第一种需求而言，自动/半自动驾驶时的可用空间检测是一个不错的应用示例。此检测目的在于沿着公路/高速公路的安全驾驶区域行驶，避开障碍物，避免驶上对向车道、未铺砌的路肩和隔离带。在这种情况下必须迅速响应，因此会将前方道路图像分解为4个子帧，对其进行并行处理。之后再在每个子图像上运行可用空间检测，并重新组合以提供完整的结果。对于边缘应用中的此类人工智能而言，NeuPro-M可支持多达8个并行运行的引擎。
大家对精度和性能的期望远不止并行这么简单。如今的网络开发人员希望利用现在NeuPro-M中采用硬件加速的专用功能，如矩阵分解、稀疏、Winograd及混合精度的神经操作，且以上所有功能都可以在每个并行引擎中使用。
面向未来的解决方案
在标准CPU或GPU上运行的纯软件AI解决方案效率过低，功耗又大，不太实用，但在理论上来说又具有一定的吸引力，因为您可以随时更改软件，而无需更改硬件。随着AI技术和网络层的发展，能否在获得硬件加速带来的所有性能和功耗优势的同时，保持灵活升级？