随着军事的高科技发展、作战样式的升级、装备种类不断增多，未来日趋复杂的体系战争对作战评估工作提出了前所未有的挑战。
现有作战评估技术根据其原理可分为统计法、解析法、仿真法和综合法，普遍对作战要素的体系性、关联性和作战过程的对抗性、动态性、随机性考虑不足，评估方法的可信度和科学性急需提高，难以适应快速、复杂、多变的战场环境。以人工智能为核心的数据驱动方法正向传统作战评估方法发起挑战，以适应大数据时代的要求。
2022年5月9日，美国兰德公司（Rand）发布《利用机器学习进行作战评估》（Leveraging Machine Learning for Operation Assessment）的报告，旨在研究如何使用机器学习分析现有数据以支持战争作战层面的评估。获取和处理正确类型的数据对于生成相关且缜密的作战评估至关重要，这也是本报告的主题。有效的评估要求数据是客观的、纵向的、与军事作战预期效果相关、适当结构化，并要求可用数据的时间跨度足以支持作战决策。
本报告描述了如何利用机器学习 (以下简称ML) 工具将现有情报、作战和环境数据融入作战评估，展示了基于 ML 的文本分类器如何使用评估小组常用的标准统计工具快速整理和准备这些数据以进行后续分析。
根据《联合出版物5-0》的《联合规划》的定义，作战评估是“一个连续性活动，通过确定完成一项任务、创造效果、实现目标或达到最终状态的进度来支持决策，目的是制定、调整和完善计划，并使战役和作战更加有效。”作战评估通过提供关于什么有效（什么无效）的反馈来支持正在进行的关于适当部署兵力、所需命令和计划发展的决策。
作战评估面临4个核心挑战：
（1）关联性：在军事作战活动与作战效能测量（MOE）之间建立合理的因果关系；
（2）算法可行性：难以用现有数据得出可测量的作战效能（MOE）；
（3）及时性：开发严格的评估产品所需时间与指挥部指导作战计划与执行所需的快速洞察力之间的紧迫；
（4）客观性：评估小组和作战单位往往有意无意地提供乐观的评估。
作战评估通常依赖于两类数据。第一类是容易量化的数据，如敌方交战的频率和位置、当地国民的调查数据以及夜间环境光的卫星图像。第二类数据是定性评估，通常是自我评估，对实现特定战役目标的进展进行评估(例如，友军的表现)。这两种类型的数据都可以为支持评估进程提供有价值的见解，但众所周知，这两种数据都无法全面(或更糟的是，带有偏见)地了解当地不断变化的情况，而且在人员、时间和资金方面，收集这两种数据可能需要大量资源。
大量作战评估相关的数据，包括情报报告，描述敌军的活动和部署；作战报告，描述友军的活动；环境数据（如社交媒体、传统媒体和卫星图像），可用于评估经济状况、舆论和其他以人口为中心的结果。这些数据通常是关于敌方、当地人口和友军的最佳可用信息来源，但它们很少用于作战评估。用这些数据进行作战评估的主要挑战：
(1) 人们认为这些数据不够客观；
(2)无法获得易于分析的结构化格式;
(3)这些数据数量巨大，需要花费一定的精力来获得和组织。
评估小组首先需要快速获取和解释大量非结构化文本——来自情报报告、作战报告和社交媒体——以支持客观和数据相关的分析，再利用机器学习将这些非结构化文本整合到作战评估过程中，用这种方法实现自动化，提供近乎实时的更新，了解当地正在发生的情况。
1.监督式机器学习及其在作战评估中的应用
机器学习的一个常见应用是“知识提取”，其中嵌入在大量数据(例如，社交媒体、股票市场交易、医疗记录)中的任务相关信息被自动定位并转换成另一种格式以供进一步分析。一种基于机器学习（ML）的方法，用于这种知识提取的是监督式机器学习（以下简称SML），其中人类分析师积极能动地参与训练ML算法以识别数据中的模式。
这种 SML 方法的机器直觉机理相对简单。首先，人类分析师手动审查和分析可用数据的子集。第一步的输出通常称为“训练数据”。然后，ML 算法分析这些训练数据，并尝试模仿人类分析师对剩余数据使用的相同分析过程。SML可快速分析军事行动的大量非结构化文本数据，并确定每份报告是否包含该行动评估的重要信息。评估小组首先通过审查可用报告(例如情报报告)的子集来建立训练数据，并确定每个报告是否包含指示的特定输出信息(例如敌方单位的位置或作战能力)。
使用ML 算法分析这些训练数据，检查评估小组指示为相关（或不相关）的报告文本中使用的特定单词和短语，并估计每个剩余报告也包含类似评估相关信息的概率。SML的这种应用使评估小组可以从非结构化数据中快速、系统地提取与评估相关的见解。例如，评估小组可能会审查数百份情报报告来“训练”计算机，然后在数千份附加报告中推断输出。这使得评估小组能够将原本只能临时参考的材料纳入评估过程，并具有客观、系统、透明、易操作的优势。
2.监督式机器学习（SML）评估的分步过程
评估小组可以通过一个标准的工作流程，使用 SML 将其他非结构化数据转换为可以立即集成到评估过程中的数据。本节的重点是非结构化或半结构化文本格式的可用数据，文本报告附带某种类型的元数据（例如，日期时间组、作者、报告中提到的位置）。这个工作流程有5个步骤（Figure S1)，并可能需要重复步骤 2 到 4，以确保算法有效运行。
步骤1：整理数据
对于大多数作战行动，都有大量可用的(通常每年数千份或更多)潜在相关的情报、作战和环境数据。这个处理过程包括删除不必要的重复数据，并将数据重组为适合ML算法分析的格式。在这个过程中，可用报告中的非结构化文本被分成单句，然后分析它们与作战效能测量（以下简称MOE）的相关性。
步骤2：制定编码标准
编码标准的制定是一个归纳过程，评估小组使用编码标准来确定可用数据中包含的信息是否表示有价值的特定输出。此步骤的第一个组成部分是审查步骤1中准备的数据子集，以确定哪些MOE可通过可用数据进行测量。
第二是为每个相关数据源中的每个MOE制定具体的编码标准。这些编码标准是确定报告是否相关的一组规则。这些编码标准必须足够清晰和详细，具有可复制性，以便不同的分析师在应用这些标准时能够产生几乎相同的结果。这种可复制性对SML来说尤其重要，因为ML算法需要一致性，才能够有效地模仿人类分析师的编码。
步骤3：构建训练数据
构建训练数据，这是SML方法中ML算法的主要输入。这些训练数据是全部非结构化数据的子集，评估团队使用步骤2中制定的编码标准对这些数据进行审查、分析和编码。ML算法将复制人类分析师的编码，因此确保编码标准的稳健性和可复制性是构建这些训练数据的关键组成部分。
步骤4：校准机器学习算法
校准是一个迭代过程，评估小组通过该过程“微调”ML算法，以在训练数据的分析中获得最高的准确性。这个校准过程需要评估小组反复调整一些算法参数。这些参数包括提供给算法的信息类型（例如，单个词、词组）、分析中包含的特殊词或词组的数量，以及一些更多的技术参数（例如，核函数 ，一个正则化参数，用于确定错误分类样本的成本）， 在实际作战期间，应定期重复此校准过程，以确保算法在获得更多数据时仍能正常运行。
步骤5：将ML算法的输出转换成评估就绪的格式
ML算法的输出是一个结构化的数据库(例如，Excel ),它识别满足步骤2中制定的编码标准的所有报告。这些数据可以直接分析生成一段时间内的报告趋势线，或者与报告中提供的其他信息相结合。
这种结构化的数据库格式便于吸收到现有的态势感知工具中。它进一步确保了透明度，并使这些数据与关于作战的其他信息来源进行交叉验证。这些数据可进行自动化准备和分析，以便指挥官可以访问持续更新的评估。
1.情报数据
情报界的情报产品通常是以敌方为核心的可用数据的最佳来源，提供有关敌方位置、部队结构、活动和不断变化的意图的见解。
三类情报报告对评估最有用：
（1）人类情报(HUMINT)，这是由个人提供的关于战场空间的一组观察结果，包括从线人、旅行者、难民等任何其他具有相关知识和见解的人。
（2）信号情报(SIGINT)，包括通过电子手段截获的通信和其他传输。
（3）地理空间情报(GEOINT)，它包括与地理和地理参考信息（例如来自人口普查或其他来源的人口数据）融合的摄影和其他图像情报。
情报界产生的信息可分为三大部分：
（1）原始数据，包括情报部门收集的人类来源的报告(HUMINT)，被拦截的电话录音和该电话的相关元数据(SIGINT)，情报分析师的经过整理的一组卫星图像(GEOINT)。
（2）情报信息报告(IIR)，从原始数据中产生的，广泛传播的“原始情报报告”，它是分析师对这些数据见解的初步标准化总结。
（3）经评估的最终情报，它结合并交叉验证来自各种不同来源的报告，以提供指挥官对关键信息需求的见解。
2.作战数据
已部署的军事单位会产生大量的系统报告，描述单位在做什么、他们是如何做的，以及他们可能遇到的挑战和获得的成功。这种作战报告通常还提供友军活动和熟练程度的最详细信息。SML方法使评估小组可以系统地查看所有可用的情况报告，并创建结构化和列表化的“日记”。以这种方式创建的日记（虽然通常使用非ML方法）是一种广泛使用的数据类型，被认为是可靠的，并可进行“非常详细、准确和真实”的定量分析。
3.环境数据
除了参与军事行动的单位收集的数据外，其他实体产生和收集的数据也可以提供与评估相关见解，包括社交媒体（如 Twitter 和 YouTube）、传统媒体（如报纸）以及商业和政府卫星收集的图像。这些数据统称为“环境数据”，可以提供关于当地人口的有价值的见解(例如，情绪、经济条件)，通常与评估中常用的基于调查的方法互补。
4.数据收集和准备流程
评估小组收集和准备情报、作战和环境数据时可以遵循以下流程图 (Figure 3.1)，它概述了每个数据源在此过程中的主要步骤：
情报数据：获取情报批量提取工具→对全源情报进行试验→验证结果，改进并执行完整查询→下载数据集；
作战数据：获得各军事单位的作战形势报告（SITREPS）的战术信息→检查每日SITREPS数据的相关性→按单位和日期下载和整理数据；
环境数据：获得LexisNexis和社交媒体资讯的访问权→在新闻/社交媒体上进行试验查询→验证结果→改进和执行完整查询→下载数据集。
以最近结束的针对上帝抵抗军 (LRA) 的战役——观察罗盘行动——为例，演绎SML方法与作战评估过程的整合，旨在展示如何使用 SML 工具从情报、作战和环境数据中提取见解，以提供客观且具有统计相关性的发现。
鉴于打击上帝抵抗军高级领导层的重点，观察罗盘行动可用的情报数据提供了关于上帝军的相对详细的信息。这包括上帝军部队的报告位置（通常指可疑袭击、行动、卧倒位置或设施）及其不断演变的战术、技术和程序（TTPs）。这些数据可用作衡量敌方行动自由和行为变化的指标。
以情报数据整合为例，使用以下流程从情报报告中生成类似的敌方行动自由度的地图：
1.整理数据：提取所有提及 LRA 并具有精确地理信息的句子。情报报告中引用的村庄、道路和其他地理特征通常按照相应的军事网格参考系统地理坐标进行注释。
2.制定编码标准：审查包含 LRA 和精确位置信息的 100 个句子，并制定适合行动自由的编码标准（例如，提及 LRA 活动或设施）。
3.构建训练数据：将编码标准应用于 300 个句子。
4.实施和校准：使用训练数据执行 ML 算法，以识别所有提及 LRA 活动或设施的报告。查看 ML 算法的结果并根据需要添加额外的训练数据或修改算法参数。
5.转换输出：提取每个已识别报告的位置信息，并建立一个包含每个报告的日期和位置的地理空间数据库。然后可以使用地理空间工具直接创建图4.1（Figure 4.1）中的地图。
通过这个方法整合情报、作战和环境数据，指挥官可以获得这些数据生成的仪表板如图 4.5（Figure 4.5)。它汇集了来自这些数据的与作战评估相关的见解。在这个例子中，指挥官可以灵活地查询系统以获得不同的数据可视化图表。SML 工具的核心价值在于它们可以自动化，从而在整合到完整的评估过程中时提供近乎实时的见解。SML 的整合可以让指挥官接收每日更新——类似于无处不在的情报和作战更新——关于作战目标的进展情况，使作战评估的数据更具有客观性、系统性、及时性、完整性和全面性，更有效地辅助指挥官决策。
除了这些简单的汇总统计数据外，评估小组还将得出一些图表，提供对指挥部工作和观察到的作战效能测量（MOE）变化之间可能的因果关系的描述性见解。例如，假设美国和友军作战时间和位置可通过预先存在的作战跟踪器或通过ML从作战形势报告中提取的数据获得，该小组可以根据图4.1（Figure 4.1）创建一个地图，描述美国和友军的作战如何与上帝抵抗军领土随时间的变化相关联，但显示变化而不是静态的领土控制，还描述与友军之间的作战位置和作战强度随时间的变化。
本报告提出五条建议，可以提高基于 ML 作战评估方法的价值：
建议1：在受控练习中验证 SML 方法。
本报告中描述的方法尽管已经通过研究者实际行动测试，但没有实时执行此操作或与军事分析团队合作。因此，建议在受控条件下，通过现场练习来验证需求，如前期培训、人员配备、分析工具的可用性以及必要的数据访问。
建议2：探索如何使用无监督机器学习来为作战评估提供信息。
无监督机器学习可以用于发现战役活动与作战目标之间的意外模式。因此，建议探索如何使用无监督机器学习来为作战评估提供信息，为指挥官提供一个探索意外模式的工具。
建议3: 使作战报告适度的标准化。
作战形势报告（SITREPS）和其它作战报告通常是关于友军部队活动和能力的最佳历史数据源，但是这种报告在质量和细节上不一致。因此，建议对这种作战报告进行适度的标准化:要求(简单地)战术要素持续地讨论友军部队的活动和能力。
建议4: 改进历史情报和作战报告的归档、发现和提取。
对于情报报告，建议增强现有系统的能力，以便针对一组给定的搜索参数(例如，地理、布尔逻辑)快速提取纵向数据(例如，三个月或更长时间的数据)，这些数据将包含报告的全文以及关于数据的基本描述性信息(日期、来源等）。
对于作战报告，建议作战总部确保系统存档所有来自下属总部的作战形势报告（SITREPS）。
建议5: 扩大专业军事教育中所需的特定评估讨论。
联合部队严重缺乏评估相关的教育和培训。利用ML方法进行评估的复杂性增加，可能会加剧作战总部使用这些方法的困难。因此，建议在专业军事教育中提供更多的评估相关材料，使作战总部能够更有效地将军事情报和其他新兴技术整合到评估中。
1.基于监督机器学习的文本分类的进展：性能改进
自然语言处理 (NLP) 是指让机器绘制和分析人类语言特征和结构的各种分析方法。
本报告中使用的特定 SML 方法是文本分类器，它是 NLP 的一种。更新的文本分类器算法可能会使本报告中描述的方法更准确、更容易实施和排除问题。低信噪比任务对人类来说很困难，这些涉及监督和非监督学习混合的新方法在这样的任务中将表现出更高的性能，例如从社交媒体内容预测自杀风险。
2.立场和情感分析：使用语言的已知特征
NLP 的一个发展领域是“立场和情感”分析，其依赖于英语和其他语言的参考库来标记修辞位置（“立场”）、情绪语气（“情感”）和其他特征。例如，这种方法可用于自动检测推文作者对政治家或社会运动领袖的支持程度，或者他们对正在进行的战争表达愤怒或其他情绪的程度。这种分析技术可以让评估小组进一步了解当地居民或敌人的感受和表达方式细微差别和微妙之处。
3.异常检测：指示和警告
ML（尤其是无监督学习）已被证明可用于异常检测。例如，搜索存在网络攻击未遂或信用卡欺诈的模式。将异常检测整合到数据分析过程有助于提醒评估小组注意敌人可能改变战术或当地民众的观点可能发生巨大变化。此外，监督和非监督技术的组合可用于检测与评估相关的数据流中的虚假或“机器人”社交媒体帐户或其他人工对话者，以便将其从分析中删除或分析其行为。
机器学习工具不会取代人类分析师，而是通过允许分析师执行重复性任务来充当“增力器”。现在有证据表明，即使是最先进的机器学习算法也有可能故意误导。例如，熟练的对手可能能够操纵表面特征（甚至故意编辑公开可用的图像），使机器学习工具“看到”没有坦克的坦克。尽管这种“欺骗”或“破解”机器学习算法的能力的影响尚未得到充分探索，但它为严重依赖机器学习的评估创造了一个潜在的漏洞。
联系客服
