美国的人工智能情报系统，已经走到这一步

2019学术大礼包丨加入学术plus丨2018学术大礼包丨2017不可以错过的重磅报告们

2021年8月26日，美国兰德公司发布研究报告《评估人工智能系统在情报分析中的效用》（Evaluating the Effectiveness of Artificial Intelligence Systems in Intelligence Analysis）。

报告介绍了人工智能系统在情报分析方面的作用，划分出该系统的四个功能类型，并强调AI技术在情报分析中的效用不仅取决于技术系统本身，更取决于系统的使用方式。因此，情报分析师在其中的作用非常重要。此外，还介绍了评估AI系统性能的几个指标，最后为该系统的进一步研发与应用提出建议。

兰德报告《人工智能系统在情报分析中的效用评估》

编译：学术plus观察员 林启明，谭惠文

随着新技术的迅速发展普及以及信息社会带来的数据过剩，美国军方和情报界都非常关注如何将人工智能（AI）系统应用于情报分析，该系统的开发和部署也正在计划与筹备中。然而，在国家安全背景下，在情报分析中部署AI系统首先需要确认系统本身的能力，才能更有效地为情报与决策提供服务。

报告主要内容一览        

1. 人工智能情报系统的四个主要系统类型：自动分析、收集支持、评估支持和信息优先化；
2. 从用户使用与系统本身两个方面对“信息优先化系统”进行性能评估，认为：该系统功效不仅取决于系统本身的性能，还取决于系统的使用方式；
3.为人工智能情报系统的设计、使用与发展提出意见和建议。

内容主要编译自外文网站相关资料

仅供学习参考，欢迎交流指正！

文章观点不代表本机构立场

情报周期指的是情报分析的环节与过程，每个情报分析环节都对应着相应的AI系统的性能，不同分析层次的情报任务所适用的AI系统也有所不同。

本研究发现，传统的情报周期理论与人工智能参与的情报分析实践之间存在着不可避免的鸿沟。然而机遇与挑战并存，可以通过系统地分析情报分析师使用人工智能操作的具体过程，找到二者的融合点，进而改进情报分析模型，不断提升人工智能系统在情报分析中的效用。

图：经Johnston改编的Treverton的“真实情报周期”示意

人工智能情报系统的四个功能类别

研究以情报周期作为AI情报分析系统的基本模型，并将AI情报分析系统的功能分为四类：自动分析、收集支持、评估支持和信息优先化（如下图所示）。在此基础上，研究定性分析了在该系统每一种功能类别所对应的子系统在运行中的影响因素。

图：人工智能情报分析系统功能类别与情报周期的关系

2.1 自动分析系统

自动分析（Automated Analysis）系统指的是可在无人监督的情况下自动转换或丰富数据的工具，如：可转录、翻译和总结信号情报（SIGINT）的工具。通俗地说，任何可以对情报数据做出结论的系统都可以归到这一类别。这类系统的关键特征是，可以根据具体需求、以特定的方式将数据进行重组并以新的形式展示数据，而不是简单将全部情报数据进行罗列。

2.2 收集支持系统

收集支持（Collection Support）功能为：可在已有可用信息基础上，优化指导未来情报收集的功能。该功能对应的系统如：利用信号情报发现或跟踪目标的系统。这类系统对摄像机的指向、情报、监视和侦察机的飞行位置，或哪条新线索被转发给相关人员的问题都有影响。

2.3评估支持系统

评估支持（Evaluation Support）系统主要对应情报周期中的“评估”步骤，用于监控情报处理过程、评估情报产品的质量、判断情报产品是否符合该情报分析的优先事项。例如：根据国家情报优先框架（NIPF）对报告进行分类，并跟踪其中的优先事项。

2.4信息优先化系统

信息优先化（Information Prioritization）系统旨在获取可用信息和分析师偏好，并将二者有效关联，从而提升情报分析师的工作效率。例如：将情报分析师的历史搜索或分析重点进行评级，为所有情报源进行标记，并推送适合该分析师情报。

以信息优先化系统为例

3.1从用户角度评估

评估人工智能情报系统的性能，需要首先从用户、即情报分析师的角度出发，有以下两个评估要点：

一是，该系统是否存在浪费时间的现象，即占用了分析师的时间，却没有提供应有的情报分析效果。

二是，该系统是否存在“错过有用信息”的现象，即没有收集到分析师需要的报告，导致情报产品出现缺失。这种现象相比前者更难量化。

为此，本研究提出了一个定量模型，将信息优先化系统的性能与其影响联系起来，通过使用系统所投入的资源和错过检测所导致的风险来衡量系统性能。

然而在实际工作中，情报的“有用性”并非是一个绝对的二元变量，而是反应一种程度或者表现为呈趋势分布。就是说，两份情报报告可能都有用，只是其中一份非常重要，另一份只是提供信息。这一特点，也为性能评估带来了更大的难度。

3.2从系统性能角度评估

人工智能情报系统的性能本身直接决定了用户的时间回报，即可以定量评估：分析师面对的情报数量增加两倍的时候，有效情报信息是只增加一倍，还是可以增加三倍。

4.1 结论

①人工智能情报系统评价标准若与实际优先级不匹配，会直接影响该系统的性能及其优化。因此，应在系统构建之前确定好评价指标。

②系统的有效性及其衡量标准，不仅取决于系统本身的属性，还取决于如何使用系统。因此，决策者要考虑的一个关键问题是，在用于建立人工智能情报系统的资源外，用于情报分析任务的资源到底有多少。

4.2 建议

①选择恰当的评价指标。这需要详细了解人工智能情报系统的使用方式，并选择能够反映这种使用成功的指标。

②定期进行评估与调整。由于人工智能情报系统的分析环境即使在部署后还会继续变化与发展，因此系统评估必须作为定期维护的一部分继续进行。

③发展并使用特定的专业术语。人工智能情报系统设计师拥有一套完善的衡量该系统性能的指标，将这些指标传播普及将有助于专家在设计新系统或维护现有系统的过程中的相互交流。

④继续深入研究评估人工智能情报系统有效性的方法。

（全文完）