来自苏黎世联邦理工学院的研究者,在Nature Communications上的论文,指出可使用自学习的人工神经网络,解决动力系统的控制问题。利用数值和分析方法的结合, AI Pontryagin可通过自动学习,找出工程上可行的控制系统的方式。该方法可应用于智能电网的调控、供应链优化以及金融系统的稳定等众多场景。
研究领域:动力系统,神经常微分方程,系统控制
论文题目:
AI Pontryagin or how artificial neural networks learn to control dynamical systems
论文地址:
https://www.nature.com/articles/s41467-021-27590-0
电网断电、金融危机、供应链中断的相同之处,以动力学视角来看,就是用来描述对应动力系统的微分方程,使用现有方法,很难甚至无法得出一能使系统演化到预定点的解,这使得控制系统的走向变的很困难。要想理解该问题的难度,可以将自己看成是要经历乱纪元的三体人,和上述问题相似,三体人面对的问题本质上也是如何控制一个复杂系统的动力学演化。数学上来讲,一个动力系统如果能够在有限的时间内,由任何初始状态被导向任意的目标状态,则称该系统是可控的。
对于线性系统,基于控制矩阵(controllability matrix)的秩,可以找出可控系统能得出解析解的条件。而基于巴拉巴西2011年的Nature论文[1],可以将动力系统的控制问题,转换为网络中寻找二部图最大匹配的问题。得到的解会指出对系统进行控制的最小节点集合。
通过最小匹配,进行网络控制的示意图,来自:微信推文 如何驾驭你的关系网?这是个科学问题
然而对于包含诸多节点的复杂系统,该方法并有其局限,首先在于对于任意网络,找到控制系统所需的最小节点集合,是一个NP难问题(没有工程上可行的最优解)[2];其次,控制系统的朝向特定方向的方式,可能是不可实现的[2];且控制动作本身带来的影响,并没有被考虑[3],这意味着单一的随时间变化的参数的改变,都会影响系统从可控变为不可控[4],类似常说的蝴蝶效应。
找到控制策略后,如果控制所需调节的节点过多和频率过快,也是难以对系统进行有效控制的。因此,有效的控制,会试图最小化控制信号的强度和频率,从而减少控制所需的能量,或人际网络中,改变特定节点所需的资源。
苏联数学家Pontryagin提出了最优控制问题的经典解决方法——Pontryagin最大化原理,在状态或输入控件有限制条件的情况下,可以找到将动力系统由一个状态到另一个状态的最优控制信号。为了向Pontryagin致敬,新提出的神经网络模型被命名为AI Pontryagin。
用数学语言描述求解复杂系统的控制,第一步是将各类系统看成一个包含N个节点的系统,其演化可用微分方程描述。控制的目标是在时间T之内,使系统从初始状态达到特定状态,节点间的互动可通过
描述,如f为
,那么该系统中的互动就是线性的。控制过程所需的成本包含两部分,衡量控制效果的损失函数由两项组成:第一项为对各个时刻控制强度的积分,衡量了控制策略所需的成本;第二项为最终控制效果的好坏,即x(T)与控制目标x*之间的差距,衡量了控制策略的控制效果。
AI Pontryagin的训练过程,首先是在连续的时间轴上,给出离散点微分方程的近似解,当初始条件不同时,系统的演化会呈现不同状态。
之后的控制过程,改变部分系统中节点,根据控制成本函数(即改变后的状态和预期状态之间的均方误差),得到优化目标。之后通过多层神经网络,使用梯度下降,优化网络权重,从而训练出一个能够根据网络当前状态和控制变量,预测损失函数的神经网络。
AI Pontryagin 的运行方式,之后的训练过程,可以看成随时间展开的RNN。a 使用常微分方程表示未受控制的网络动力系统的示例。b 使用ANN对网络系统进行控制的基本要素。c 使用梯度下降法训练ANN完成控制任务。
为了验证AI Pontryagin的准确性,作者除了在线性系统之外,还在由Kuramoto 振子组成的二维晶格非线性系统中,使用AI Pontryagin让系统达到同步,且相比之前的方法,速度更快。
AI Pontryagin 是一个非常通用的控制框架,补充了现有的最优控制方法,并解决了高维和解析棘手的控制问题。它可以在没有关于待控制系统先验知识,也没有被提前告知理想的解决方案的前提下。对任意系统给出工程上可行的控制方案。这意味着其应用范围广泛,基于人工智能 (AI) 的控制系统可以帮助优化复杂的过程,也可以用于开发新的商业模式。
复杂系统中的波动能够触发级联反应。为了避免此类事故和提高弹性,系统专家设计了各种各样的控制机制和规章;典型的应用包括电网电压控制,金融机构的压力测试。然而,通过人工干预并不总是能够控制复杂的动力系统。基于机器学习的控制方法,可用于保护电网不受波动和停电、阻止流行病传播以及优化供应链等。
以供应链优化为例,具体阐述如何使用AI Pontryagin,首先必需提供关于目标系统动力学的信息。在供应链中,这可能包括可能的供应商数量,采购成本和周转时间。这些信息用于确定哪些领域需要动力学优化。还必须提供关于系统初始状态的信息,例如当前库存水平,以及期望的 (目标) 状态,例如需要将库存补充到某一水平,同时尽量减少资源的使用。之后自训练的神经网络,就可以给出要达到特定状态,所需的最少干预。
AI Pontryagin的出现,说明神经网络控制方法,在知道系统动力学、初始状态、目标状态这三个条件下,通过自学习控制部分未知系统的动力学。未来基于AI Pontryagin 的可能研究方向,包括以下三点,首先是应用其解决复杂的量子控制问题,以提高量子系统的鲁棒性;其次是探索其计算最优控制的能力,例如如何在级联故障期间保持发电机同步性,并最终避免停电;第三点是结合物理和生物学的先验知识,以完成复杂的控制任务。
郭瑞东 | 作者
陈昊 | 审校
邓一雪 | 编辑
联系客服