边缘AI能聪明到什么程度？

每当有产业新词出现时，我们这些产业媒体人面临的挑战便是要理解一个公司想要做什么，特别是在他们利用这些词去实现自已的营销目标时。近来流行的一个新词是边缘人工智能(AI)或称边缘AI。

由于物联网(IoT)的快速发展，以及实现IoT设备智慧化所需运算力和处理能力的提升，“边缘”所指的范围可能很广，它可以指从“网关边缘(edge of a gateway)”到“终端(endpoint)”的任何设备。那么业界对边缘vs.终端的定义是否达成了共识?谁需要边缘AI?边缘设备可以有多聪明?让我们来一探究竟。

首先，边缘和终端的区别是什么?好吧，每个人都有自己的看法——云端之外的一切都可以称之为边缘。

定义：边缘可以是指很多设备，而终端就是终端

最清晰的定义或许来自英飞凌(Infineon)概念与系统工程部门资深主管Wolfgang Furtner(图1)。他认为，“边缘AI一词跟边缘一样含糊。有人把车辆称为边缘设备，而有人用这个词来指小型低功耗无线连接能量收集传感器。边缘是相对的，它用来区分本地与云端。不过将边缘的各种设备区分开来的确很有必要，有时也有人使用『边缘的边缘(edge-of-the-edge)』或『叶节点(leaf nodes)』这样的词。边缘AI可以指很多设备，包括车辆里的运算服务器。”

图1 英飞凌概念与系统工程部门资深主管Wolfgang Furtner认为，“边缘AI”一词跟“边缘”一样含糊。

但他强调，“终端AI处于虚拟网络世界与现实世界的交汇处，在这里传感器与致动器离得很近。”

恩智浦半导体(NXP Semi-conductors)机器学习(ML)技术主管Markus Levy认为，这其实就是语义上的理解，就看怎么划分界限。“边缘ML与终端机器是一样的，只是边缘ML还可以包括网关甚至雾运算环境中的ML。终端ML通常在分布式系统中使用，例如，我们的客户甚至在这些分布式系统的传感器中实现了智能。另一个例子是家庭自动化系统，它包含『卫星』设(如恒温器、门铃摄影机、安防摄影机或其他类型的连接设备)，这些设备可以独立执行ML功能，还可以将数据传给网关，以完成更高阶的ML处理。”

对于边缘服务器及终端越来越智慧，Arm基础设施业务总经理兼副总裁Chris Bergey站在Arm的角度，表达了略微不同的观点(图2)。他说，“网桥和交换机这类基础设备已不再适用，取而代之的是功能强大的边缘服务器，它们将数据中心等级的硬件增加到终端和云端之间的网关中。这些新型边缘服务器与5G基地台相结合，功能非常强大，能够完成复杂的AI处理——不仅是ML推理，还有训练。”

图2 Arm基础架构业务部门总经理兼副总裁Chris Bergey对边缘服务器及终端智慧化持不同的观点。

边缘服务器与终端AI有何不同?Bergey说，“智能手机中包含功能强大的硬件，因此长期以来一直是终端AI的肥沃试验田。随着IoT与AI技术的融合，以及5G的不断成熟，虽然设备尺寸更小、价格更低，但是却更加智能，功能也更强大，而且由于对云端或因特网的依赖更少，隐私保护和可靠性也更好。随着终端设备越来越智慧，AI执行的边界也开始从终端向边缘融合，对异质运算基础架构的需求变得迫切。”

一些人认为，云端以外的一切就是边缘。例如，边缘AI和视觉联盟的创始人Jeff Bier这样说：“我们将边缘AI定义为在数据中心之外执行的全部或部分AI。智慧可能就在智慧相机的传感器旁边;或者稍远一点，在杂货店的设备柜中;甚至更远一点，在蜂巢基地台中;又或者是它们的某种组合或变化。”

Xilinx AI、软件和生态系统产品营销总监Nick Ni持类似观点(图3)。他表示，“边缘AI从根本上来说是一种不依赖于数据中心、能够在应用中满足自身需求的智能。对于要求实时响应、安全性(例如，不向数据中心发送机密数据)和低功耗(大多数设备)的应用而言，这是至关重要的。人类不会每天依赖数据中心做出无数决定，未来几年边缘AI将在半自动车辆和智能零售系统等市场应用中占主导地位。”

图3 Xilinx AI、软件和生态系统产品营销总监Nick Ni认为，边缘AI从根本上来说是一种不依赖于数据中心、能够在应用中满足自身需求的智能。

Imagination AI资深主管Andrew Grant也认同这一观点。“我们知道，现在大家都在谈论边缘。它如何发展将取决于客户。未来肯定会出现一种混合的方法，云端运算和数据中心绝对会在其中占一席之地。」他补充，「市场(向边缘)发展的速度很快，目前已掀起向边缘智能迈进的浪潮，但对许多应用来说，具体芯片的实现需要时间。”Grant进一步解释，“我们在与中国的一家交通管理公司沟通后，了解到他们还在从云端来回传资料。我告诉他们我们在做什么，他们马上就认识到，如果红绿灯自己能够判断车辆是否在行驶，数据就不用传到云端，这样做有极大的好处。”

嵌入式系统供货商Adesto Technologies技术长Gideon Intrater表示，他们同时为IoT边缘服务器及IoT边缘设备提供产品，因此并不需要区分边缘和终端(图4)。“我们不太使用终端一词，终端的定义也许与边缘设备类似。这些设备中的AI通常是一些本地推理，它使用专用加速器，透过近内存(near-memory)处理或内存内(in-memory)运算，其算法在处理器上执行。”

图4 Adesto Technologies技术长Gideon Intrater表示，他们同时为IoT边缘服务器及IoT边缘设备提供产品，因此并不需要区分边缘和终端。

他补充，“几乎所有应用都将实现边缘AI。AI可以实现预测和预防性维护，在制造中进行质量控制，从而惠及工业、建筑及其他许多产业，带来巨大的机会。这个产业才刚刚起步， 每天我们都期待AI能做得更多。不具备AI功能的旧设备常常不能理解我们的要求，我们为此感到沮丧，而有的设备直接就能理解我们。最终用户并不清楚AI的工作原理，他们只希望AI有用。”

谁需要边缘AI?

因此本文的定义很清楚：你要不认同边缘是云端外的一切，就是认同终端是现实世界与数字世界的交汇点，其中大多是传感器。但是，随着边缘和终端的界限越来越模糊，加上异质运算架构的发展，究竟在哪里执行AI，实际上是由具体的应用决定。

接下来的问题是谁需要它，市场对边缘AI的期望是什么?“我们所有人仍在为之努力，”Levy解释，“业内的大公司正在积极实现边缘AI，我们的很多客户也在边缘实现各种ML。但是，从『技术采用周期』来看，我仍然相信业内大部分公司甚至还没有进入『早期采用阶段』，真正开始发展得等到2020年底。”

图5 恩智浦AI技术主管Markus Levy表示，边缘AI的真正开始发展得等到2020年底。

客户仍在了解ML可能带来哪些酷炫的演进。而Levy考虑的是：

1.能不能省钱?例如，如果用AI替代检查人员，使工厂生产线运作速度更快、效率更高，能否节省成本?

2.能不能赚钱?例如为产品增加一种专门功能，使其更实用。一个应用场景是条形码扫描仪，如果外包装上的条形码弄皱了就不能准确扫描，使用ML可以消除皱折的影响。

Furtner认为这实际上提出了一个问题，“边缘AI会带来什么好处?」他说，「边缘有一个极大的好处，就是我们可以将它的局限性『弱点』变为优点。人们关心的易用性、功能性、隐私、安全、成本、气候或资源的可持续利用，都是边缘AI能够带来的好处。我们相信，在合适的地方应用AI能提高我们的生活质量，现实生活中也有许多终端AI的应用场景。边缘AI可用于预测性维护、进一步自动化或机器人、家庭自动化或智能农业等。我们开发了采用AI的低功耗传感器，直觉感测变得更加普及，这催生了家庭或城市新应用，让生活更轻松、更安全、更环保。云端的不可靠性促使工业或家庭采用全新的应用模型，以满足隐私和安全要求。”

此外，Furtner 说，边缘AI能以一种更高效和可持续的方式利用海量IoT数据，这在气候变化的情况下尤其重要。

图6 边缘AI及视觉联盟的Jeff Bier认为5个关键的应用需求将推动边缘AI的发展。

Bier说，以下五个关键的应用需求将推动边缘AI的发展：

带宽：就算用5G，可能也没有足够的带宽将所有原始数据发送到云端。

延迟：许多应用要求较快的响应时间，比用户从云端接收到数据的时间还要短。

经济性：某个应用如果使用云端，即使能从技术上解决带宽和延迟问题，但在边缘执行AI可能更划算。

可靠性：某个应用如果使用云端，即使能从技术上解决带宽和延迟问题，但到云端的网络连接并非一直可靠，而应用可能需要一直运作。在这种情况下，就要使用边缘AI了。例如人脸辨识门锁，如果网络连接断开，你希望门锁仍然正常工作。

隐私：某个应用如果使用云端，即使能从技术上解决带宽、延迟、可靠性和经济性等问题，可能仍有许多应用出于隐私考虑而需要进行本地处理。例如婴儿监控器或卧室安全监控摄影机。

边缘AI的聪明程度取决于内存容量

这个问题看起来似乎显而易见，但必须弄清楚，每种应用都不同。

“智能通常不是限制因素——内存容量才是。”Levy认为，“实际上，内存容量限制了可以使用的ML模型的大小，特别是在MCU领域。例如，一个视觉应用的ML模型就需要更多的处理能力和更大的内存容量。需要实时响应时，处理能力更重要。”

“以一台微波炉为例，它内部有一个摄影机来判断放进去的食物种类，1秒或2秒的响应时间就足够了，因此可以使用恩智浦i.MX RT1050这样的处理器。内存容量决定了模型的大小，进而决定微波炉可以辨识的食物种类。但是，如果微波炉不能辨识放入的食物怎么办?可以将数据传送到网关或云端来判断是什么食物，然后使用这些信息重新训练智能边缘设备。”

Levy针对“边缘AI要有多智慧”这个问题的答案是，“简单地说就是性能、准确性、成本和能源的权衡。此外，恩智浦正在开发一个应用，它使用自动编码器来实现另一种形式的ML，即异常检测。简而言之，自动编码器非常高效，我们实现的一个例子仅用了3KB数据，在45~50μs内完成了推理——让MCU比较容易处理。”

Furtner也认可这种实用方法。边缘AI在能耗、空间和成本方面受到极大限制。在这种情况下，问题不是“我们应该在边缘提供多少智慧」，而是「我们有能力在边缘提供多少智慧?”接下来的问题是“可不可以对现有的某种AI技术进行简化，使其足够『小』，以适用于边缘?”功耗无疑限制了终端智慧化的程度。这些终端通常由小型电池供电，有时甚至依赖能量收集，数据传输也要消耗大量能源。

Furtner补充，“来看一个智慧传感器。在这些条件下，要使本地AI正常工作，必须对传感器的某些属性和行为进行优化。另外，一些新传感器只能透过嵌入式AI实现，例如液体和气体环境传感器。需要终端AI的原因有很多，智能化数据的使用和缩减，或者快速的实时本地响应，便是其中两个原因。数据隐私和安全也是两个原因，海量传感器原始数据可以在产生的地方进行处理，而密集的运算任务仍在云端执行。随着低功耗神经运算(例如边缘TPU和神经形态技术)的进步，这一界限开始向边缘节点和终端转移。”

图7 Imagination Technologies AI资深主管Andrew Grant提倡尽可能多地在边缘实现智能，然后在设备的生命周期使用软件进行优化。

Grant说：“我们认为应该尽可能多地在边缘实现智慧，然后在设备的生命周期使用软件进行优化。”他与游戏机产业作了个比较，当供货商发布一款新的游戏机后，在硬件的整个生命周期中，是透过软件更新对游戏机进行优化。他补充，从成本或尺寸的角度来看，在系统单芯片(SoC)中增加神经网络加速器并不重要;“因此边缘加速的机会真的非常巨大。”

Bergey说：“随着异质运算在基础架构中的普及，我们必须能够判断在哪里处理资料是最好的，这因应用而异，甚至在一天中不同的时间里也不相同。市场所需的解决方案是能够让不同的AI层担任不同的角色，以了解全局，从而推动真正的业务转型。在边缘，AI扮演着双重角色。在网络层，它可以对数据流进行分析，智能地将数据发送至最合适的处理点，这有可能是云端，也可能是其他节点，从而实现网络预测和网络功能管理。”

Intrater补充，“边缘应该多智能”取决于具体的应用、能处理多少延迟(对重要的实时应用而言不多)、功率范围多大(对电池供电的设备而言非常小)、安全和隐私问题，以及是否能连网。即使能连网，你也不会希望把所有的数据都发送到云端进行分析，因为那样带宽开销很大。在边缘和云端之间划分出智能区域是为了平衡所有这些问题。

Bergey接着说，“AI也可以在本地的边缘服务器上执行，但训练和分析通常是在云端完成。要决定AI在哪里执行并不是那么容易，『智慧』通常是分布式的，有些在云端执行，有些在边缘设备中执行。一个典型的AI系统分为本地执行和远程执行两部分。Alexa/Siri就是一个很好的例子，设备中有算法来完成语音/关键词辨识，而互动是在云端完成。”

什么是赋能技术?

“实现边缘AI需要很多关键的赋能技术。最容易想到的就是适合执行AI算法的高性能、低能耗、价格便宜的处理器。”Bier说，还有其他许多技术，其中最重要的技术包括：

软件工具：促进这些处理器的有效使用;

云端平台：从边缘设备汇集元数据，并管理边缘设备的预配和维护。

采访的公司大多可提供一系列用于边缘AI的设备和IP。英飞凌称可提供用于IoT的传感器、致动器、MCU(包括神经网络加速器)和硬件安全模块。Furtner表示：“我们在电源效率、安全和安防方面有很大优势。使用我们的产品能够连接现实世界与数字世界，为边缘提供安全、可靠和节能的AI解决方案。”

Ni说，将AI边缘产品推向市场并非易事，因为这需要工程师将ML技术与传感器融合，以及计算机视觉和讯号转换等传统算法相结合。“为了满足端到端响应，就要优化所有的工作负载，这需要一个自我调整定制运算架构(adaptable domain specific architecture)，使硬件和软件均可程序设计。Xilinx SoC、FPGA和ACAP提供了这样的自我调整平台，在满足端到端产品需求的同时可持续创新。”

恩智浦称其赋能技术包括硬件和软件。Levy说：“有客户使用我们的低阶Kinetis或LPC MCU来实现一些智能功能。在我们的i.MX RT交叉处理器级别，事情开始变得更有趣，我们提供整合Cortex-M7核心的MCU，工作频率为600~1,000MHz。我们新的RT600包括一个M33和HiFi4 DSP，透过在异质模式下使用DSP，以加速神经网络的各种组件，从而实现中等性能的ML。将频谱提升，最新的i.MX 8M Plus将4个A53核心与一个专用神经处理单元(NPU)整合，NPU可提供2.25TOPS运算力，推断性能提高2个数量级，功率小于3W。这种高阶NPU对于实时语音识别(即NLP)、手势辨识，以及实时视讯和物体辨识等应用至关重要。

至于软件方面，Levy称恩智浦提供了eIQML软件开发环境，在恩智浦产品系列(从i.MX RT到i.MX 8应用处理器及更多)中实现开放原始码ML技术。“利用eIQ，客户可以根据需要在他们选择的运算单元上(包括CPU、GPU、DSP或NPU)执行ML。甚至还会见到一些异质实现，比如在DSP上运作关键词检测的语音应用、在GPU或CPU上的人脸辨识、在NPU上的高性能视讯应用，或它们的任意组合。

Bergey说：“全世界的IoT设备已接近1兆台，我们的基础设施和架构面临前所未有的挑战，为迎接这一巨大机会，我们所需的技术也在不断发展。Arm主要提供可配置、可扩展的解决方案，以满足性能和功耗要求，从而让AI无处不在。”

Adesto也提供边缘AI赋能技术，包括内建AI加速器的ASIC、在语音和影像辨识AI芯片中储存权重的NOR闪存，以及将新、旧数据送至云端(如IBM Watson和Microsoft Azure)进行分析的智慧边缘服务器。

图8 Adesto使用RRAM技术开发内存内AI运算，其中单个内存单元既是储存元素又是运算资源。(图片来源：Adesto)

Intrater补充，“我们也在利用RRAM技术开发内存内AI运算，其中单个储存单元既是储存元素又是运算资源。在这种范式中，深度神经网络矩阵变成NVM单元数组，矩阵权值变成NVM单元的电导。将输入电压施加到RRAM单元，然后对所产生的电流求和，即可完成点积运算。由于不需要在运算资源和内存之间移动权重，因此这一模型可以实现电源效率和可扩展性的完美组合。”

一致的观点

在笔者看来，边缘AI和终端AI之间有一个非常明显的区别。终端是实体世界与数字世界的交汇点，而边缘的定义却很灵活。供货商的说法也各不相同，有的认为数据中心以外的一切都是边缘(包括网关、网络边缘、汽车)，而有的则把终端定义为边缘的子集。

如何定义并不重要。最终还是要看具体的应用，以及可以在终端或边缘实现多少智慧。这需要在可用内存容量、性能需求、成本和能耗之间进行权衡，以决定能够在边缘实现多少推理和分析，需要多少神经网络加速器，以及是作为SoC的一部分，还是与CPU、GPU或DSP并列使用。当然，在应对这些挑战时，不要忘记使用创新的方法和技术，比如内存内运算和AI。

我们都认同，“边缘应该要多智能”是由具体的应用决定，要根据可用的资源来找出实用的方法。

作者：Nitin Dahad