全球技术地图
创新丨前沿丨科普丨资讯
人类对人工智能的日渐依赖的同时，要当心因技术错误产生的误判。
1983年的一个夜晚，前苏联的早期预警系统发出警报，称美国已经对苏联发动了攻击。执勤军官斯坦尼斯拉夫·彼得罗夫（Stanislav Petrov）认定该警报是一起误报，从而成功阻止了核战争的爆发。现在回想起来，彼得罗夫在巨大的压力之下，根据自己的猜测和直觉做出了正确的判断，堪称救世之举。如果当天晚上是另一名无条件相信预警系统的军官执勤的话，事情的结果可能完全不同——一场全球性的热核大战或许在所难免。
近年来，各国军队正逐渐将人工智能引入情报、监视、侦察工作甚至指挥系统当中，他们应该铭记彼得罗夫当年的经历带给人们的警示：复杂系统中往往会不可避免地发生故障和错误，过度依赖于复杂系统可能会导致严重后果。当然，大数据分析和机器学习技术可以帮助部队处理大量的关键文本、数据、视频和图像资料。大规模数据快速处理算法能够帮助部队在情报工作以及指挥决策中建立关键优势。因此，美国军方发起了Maven计划（注：旨在建立人工智能作战小组），加快整合大数据与机器学习技术。中国军方同样在推动相关技术的研发工作，以实现数据自动化处理与信息融合，从而为部队的情报分析以及指挥决策工作提供保障。与此同时，俄罗斯总统普京也提出：“人工智能不仅是俄罗斯的未来，也是全人类的未来…在人工智能领域取得领先的国家将成为全世界的领导者。”
尽管目前人工智能在军事领域已经有了诸多应用，但是在大众心中，它们甚至还不如那些仅存于幻想中的“杀人机器人”来得可怕。不过即便电影《终结者》中的情节不会成真，我们还是应当保持警惕——人类对人工智能的日渐依赖的同时，要当心因技术错误产生的误判。虽然彼得洛夫的案例发生在极端情况下，但我们仍然能从中吸取教训：在机器时代的战争中，由人类掌握决策权是至关重要的。
当然，决策过程中仅仅是理论上的“有人类参与”还远远不够，因为大规模地采用自动化流程会为人类决策造成负面影响。在彼得罗夫当时的情况下，可能会有另一名军官十分信任预警系统，将美国发起袭击的警报通过指挥系统层层上报。但是彼得罗夫意识到，如果美国真的发动袭击的话，不会只发射区区几枚导弹就作罢，预警系统监测到的一定会是大规模的导弹齐射。正是彼得罗夫对系统的质疑避免了灾难的发生。
然而，现在人类在面临抉择时很可能不会对机器的判断进行质疑。人类越来越倾向于信任由计算机或者智能决策支持系统自动提出的建议，这样可能会导致决策的失误。在日常生活中，人类愈发习惯于将事情交给算法来决定，此类偏好被称为“自动化偏误”(Automation bias)或者“过度依赖”（overreliance），而这可能会导致人类的自满情绪日益膨胀。
在某些场合中使用算法，可以帮助人类意识到自己的认知偏差，并且减轻其不利影响。但是，算法本身出现偏差所带来的风险也变得日益严峻。在社会背景下，算法的“偏差”会导致歧视的出现；而在军事领域，算法偏差带来的影响可能是致命的。将自主武器投入战场使用必定伴随着实际操作中的风险。不仅如此，更高程度的自动化——例如在非致命性的决策系统（例如早期预警和情报）中引入机器学习技术——也可能存在着极大的隐患。
人工智能可能造成友军误伤事件，甚至更为严重的后果。目前，已有不少部队开始利用人工智能来提高自身的战斗能力。多起致命事故已经为人们揭示了自动或半自动武器系统中的安全隐患，即使其中有人类操作员的参与也无法避免。1988年，美国海军“文森斯”号巡洋舰上的“宙斯盾”雷达和火控系统发生误判，将一架伊朗客机错认为军用战斗机。最终，这架客机在波斯湾被“文森斯”号击落。在这起事件中，负责决策的船员没有意识到系统的误判（部分原因是系统用户界面太过复杂）。他对“宙斯盾”系统过于信任，以至于根本没有想到要去质疑它的决策。
2003年，高度自动化并且极其精密的美国陆军“爱国者”导弹防御系统也引发过两起类似的误伤事件。操作员对系统盲目的信赖以及工作中的松懈情绪是造成这几起致命事故的罪魁祸首。
对于想将AI应用于早期预警、自动目标识别、情报分析和指挥决策过程当中的美中两国和其它国家的军队来说，从这些意外事故中吸取教训尤为重要。彼得罗夫通过直觉以及内心的质疑，成功地干预了系统判断，避免了核战争的爆发。而在“文森斯”号和“爱国者”系统的事故中，人类操作员对复杂的自动化系统寄予了太多的信任和过度的依赖。显然，人类的所作所为是减少高度自动化与自主化的系统中发生错误的关键。
然而，目前有关部门对人类如何控制人工智能武器系统还没有出台明确的规定。美国前国防部长阿什·卡特曾经表示，美军永远不会追求“真正的武器自主”。这意味人类将永远掌握致命性武器的扳机，并且对武器的使用负有监督责任。美国参谋长联席会议副主席，空军上将保罗·塞尔瓦（Paul J. Selva）用“终结者难题”（Terminator Conundrum）一词来形容人类使用自动化武器时所面临的困境。塞尔瓦还重申，他支持在自主化武器的使用流程中继续保持人类的参与，因为他认为“由机器人来决定人类的生死是不合理的”。美国国防部曾于2012年发布了一条有关自动武器系统的指令，要求使用武器的过程中必须包含“适当程度的人类判断”。不过，迄今为止美国军方还没有对详细的要求做出全面而正式的定义。
在武器系统的使用中，应当为操作人员提供充分的信息，以便于他们作出审慎、清醒、及时的决策。这种具有积极意义的“人类控制”理念已经得到了越来越多的关注。对于武器系统使用中的人为控制行为，除了法律和道德层面上的担忧，还存在着另一个难题：鉴于“自动化偏误”盛行的现实状况，监督武器使用的过程当中，人类应当怎样行动、何时行动，才能发挥“故障保护”的作用呢？
战争发展得太快，人类总是难以跟上它的步伐。对科技的日渐依赖已经不是人类面临的新鲜挑战。不过，随着目前机器学习技术的快速发展（特别是深度神经网络），此类技术在军事领域中的应用也变得频繁起来，这会加剧人类过度依赖技术所造成的风险。
除此之外，在部队的一些任务与职能部门当中，是否让人类继续直接参与决策仍然有待商榷。不同的军队可能对自动化和自主化问题采取不同的做法。
由于担心人类在面临大规模攻击时无法做出足够迅速的反应，上文提到的导弹防御系统中采用了大规模的自动化工作流程。而同样的原则可能也适用于未来的网络战争中，因为网络战对反应速度及其规模也有着极高的要求。展望人工智能的未来，中国有些军事思想家甚至预言，人类在今后的战争中将会迎来“奇点”。届时，人类的认知能力会再也无法赶上未来战争的决策速度和战斗节奏。人类也许无法全权参与到未来的战争当中，但是在某些情况下人类能否掌握控制权，以及如何行使控制权仍然是至关重要的问题。
对于未来的人工智能系统，我们不能只单纯地考虑使其“完全自主化”还是“交由人类全权负责”。与之相反，我们应当努力减小军事武器造成意外事故或者形势恶化的风险。
本质上来说，解决这些问题需要我们对战争中人与技术这两个方面给予同样的关注。随着军队在复杂系统中不断地扩大对自动化技术的运用，创新操作人员培训方式并为他们提供专门的培养路线就变得尤为重要。新的人工智能武器系统对部队人员也提出了更高的要求。中国军队似乎已经意识到加强军官和士兵的“思维水平和创新能力”的重要性。自动化“智能”系统的负责人员需要加深对系统功能的技术理解，对于系统底层算法中可能造成误判或者故障的隐患所在也要有充分的认识。
在这种情况下，建立一种“为人工智能作好准备”的文化氛围也是人类面临的一个关键挑战。为了有效发挥人工智能的效益，人类操作者必须信任其中的技术并且充分了解它——而不是过分依赖于系统自动生成的提示。在系统的设计过程中，相关人员应将其作为主要的一项考虑因素。例如，相关人员可以在有关情报、监视和侦察的人工智能系统中增加冗余设计（注：能够优化性能并增强可靠性），为实现处理结果与事实情况相符合提供多重保障。这种保护措施在深度神经网络系统（如图像识别）尤其重要。因为此类系统极易受到蒙蔽与欺骗，敌人可能会利用这些弱点展开进攻。除此之外，能够损坏数据、利用算法中的缺陷对系统发起攻击的“反人工智能”（counter-AI）即将问世，会系统安全造成难以预测恶劣影响。
而在某些人类无法直接进行掌控的场合（例如网络战）中，可以采取技术手段干预潜在的意外事故发生。例如，在系统中安装类似“断路器”的机制，可以在局势发展超出预期时防止其进一步恶化。
完全禁止人工智能的军事用途也许不太可能，制定相关条约的进程也显得过于缓慢。在这种情况下，各个国家或许可以采取谨慎手段，对自动化系统的设计流程与实际操作加以约束，并且充分关注其中人类所发挥的作用。从而降低人工智能系统对军事和战略稳定构成的潜在风险。
编译丨王燕处
选自丨the bulletin
联系客服
