3分钟小视频,简介新工作:自纠偏两阶段训练、综合推演和数据-物理耦合驱动结构模拟
论文:Xu YJ, Fei YF, Huang YL, Tian Y, Lu XZ*, Advanced corrective training strategy for surrogating complex hysteretic behavior, Structures, 2022, 41: 1792-1803, DOI: 10.1016/j.istruc.2022.05.097
太长不看版
本研究提出了一种使深度神经网络模型拥有“自纠偏能力”的两阶段训练方法,可以有效纠正模型推演过程中的误差累积。通过在不同案例(复杂支撑模型案例与经典BoucWen滞回模型案例)、不同网络上开展分析,证明了本方法的有效性。最后,提出了“数据-物理耦合驱动”的结构响应分析方法,用神经网络代替有限元程序中的部分单元,并在OpenSEES中开展了程序实现。
数据、模型与程序开源
(1)本研究的基础数据集(以及课题组整理的其他一些相关数据、相应的说明文档)可以从下面的链接处下载。使用该数据集进行模型训练的示例性代码也附在同一链接中
https://pan.baidu.com/s/1d8CkF8RCtn4wkqHuiFKLzA 提取码:se54
(2)OpenSEES程序实现的代码和示例可以从下面的链接下载
https://pan.baidu.com/s/1eeO_p0vefwK4j4lPP8CTeQ 提取码:6onk
(3)本数据集是由博士生徐永嘉、费一凡和顾燚等通过自主模拟、收集网络资料等形成的。使用数据、模型与代码时,可以引用:
Xu YJ, Fei YF, Huang YL, Tian Y, Lu XZ*, Advanced corrective training strategy for surrogating complex hysteretic behavior, Structures, 2022, 41: 1792-1803, DOI: 10.1016/j.istruc.2022.05.097
1
研究背景
基于深度神经网络构建结构响应分析的代理模型,近年来得到很多研究者的关注。此类方法具有拟合能力强、端到端(无需人为干预中间过程)、可以取得“精度-效率”的良好平衡等优点,但也面临诸多问题。在很多案例中,网络的训练过程是并行性的(完整输入序列到完整输出序列的整体映射、Loss计算与反向传播),但推演却是逐步进行的。这一训练和推演的差异,可能导致神经网络的推演过程出现严重的“误差累积”问题,进而导致预测结果偏离真实值。在与有限元等时域逐步积分方法结合时,上述问题可能更加突出。因此,需要提出一种启发神经网络的训练方法,使网络具有一定的误差自纠偏能力,从而有效的纠正误差累积,获取准确的预测结果。
2
误差自纠偏的两阶段训练方法
传统结构分析方法中,通过反复迭代、收敛检查等手段,对误差进行纠正。但神经网络的训练过程的输入是无误差的真实值,推演过程也不包含上述环节,因此无法有效纠正误差累积(如图1所示)。同时,结构行为预测等属于复杂的高维时间序列回归问题,物理意义明确、输入输出映射关系唯一,既有的Mean-Teacher、大规模预训练等方法并不能很好的解决上述误差累积问题。
图1 误差累积情形示意图
本研究提出的两阶段自纠偏训练方法,核心是“给定有偏输入,启发网络认识误差并纠偏”。其基本思想可以概述如图2所示,详细过程可以描述如图3所示。具体而言:
1)End to End Stage(简称Stage-E)
采用经典有监督训练模式,开展从完整输入序列到完整输出序列的正向传播、Loss计算、反向传播和参数更新;其每一步的预测都是基于无偏差的真实输入、输出开展的。
2)Step by Step Stage(简称Stage-S)
逐步训练,纠正误差。完成Stage-E训练后,从某一初始时间步M开始,开展模型训练K步;其中,第X步训练(M<X≤M+K)时,第1至第M-1时间步的输出是真实值,而第M至第X-1时间步的输出均为存在误差的预测值;输入序列始终为真实值。
图2 两阶段误差自纠偏方法基本思路
图3 两阶段误差自纠偏方法具体流程
3
绝对-相对误差耦合的推演策略
一个长时间序列包括不同特征的区段,例如“峰”、“谷”等,如图4所示。而神经网络训练同样可以采用多种不同的Loss函数。其中,最常见的Loss函数之一是均方误差MSE,计算公式如图5所示。可以看出,MSE依据每一时间步偏差的“绝对值”计算得到。但对于序列中某些“谷”值区段而言,即使绝对误差不大,相对误差也可能很大。因此,若要更好的控制这些谷值区段的误差,宜采用基于相对误差的Loss函数MRSE(如图5所示)。
基于上述分析,本研究提出了“绝对-相对耦合”的推演策略。在峰值区段(绝对值大于某一阈值)上,基于MSE训练模型并开展推演;谷值区段(绝对值小于另一阈值)上,基于MRSE训练模型并开展推演;中间区段则对两者的推演结果进行插值。论文正文中对阈值等进行了详细讨论,在此不予赘述。
图4 时间序列不同特征示意图
图5 两种Loss计算函数
4
方法验证
4.1 案例分析
本研究首先基于Huang提出的复杂支撑模型(如图6所示),构建了包含400个样本的数据集,并进行了标准化和随机划分(训练、验证和测试集分别包含320、40和40个数据样本)。随后,采用Zhang et al.构建的BoucWen数据集,作为典型滞回模型的代表性案例。详细数据集说明见正文开头处的链接和论文正文相应章节。
图6 复杂支撑模型
基于Transformer网络的训练和测试结果表明,仅采用Stage-E不能有效纠正误差累积,预测结果可能显著偏离实际。而仅采用Stage-S时,模型准确性接近或稍低于采用本研究两阶段训练方法的情况,但训练稳定性相对较低,获取最佳模型所需训练轮次更多。采用本研究提出的两阶段自纠偏训练策略,可以取得更好的综合表现。图7给出了两个典型案例,图8给出了Huang案例中两种训练策略的训练过程对比,图9给出了BoucWen案例上的交叉验证结果。
图7 典型案例(经典训练:仅有Stage-E)
图8 Huang案例不同训练策略训练过程对比
(策略2:仅Stage-S;策略3:本研究两阶段训练)
图9 BoucWen案例中5折交叉验证结果
同时,基于上述两个案例,本研究还开展了绝对-相对耦合推演方法的效果验证,发现该方法有利于进一步控制模型误差。较仅基于MSE训练模型并开展推演而言,耦合推演结果MSE最高下降27.1%,且相对误差中等(10%-30%)和较大(大于30%)的时间步占比均有显著下降(分别下降44.4%和64.7%)。
4.2 基于复杂网络的补充验证
Wang et al.提出了GRU+Attention机制的UA-Seq2Seq网络。本课题组参考该网络,提出了权重金字塔网络Pyramid-GA(审稿中,参见:http://arxiv.org/abs/2206.03990)。改造后的网络,性能优于经典Transformer,同时复杂度也更高。但基于上述数据集的案例分析表明,仅采用更复杂的网络(Pyramid-GA)难以有效解决误差累积问题,如图10所示。而采用本文的两阶段训练方法后,该问题得到有效解决。
图10 基于Pyramid-GA网络的补充验证
(经典训练:指仅Stage-E)
5
数据-物理耦合驱动的结构响应模拟
神经网络适合构建复杂行为的代理模型。对于简单的物理模型而言,构建代理模型带来的收益可能有限;而既有研究也提出了许多结构/构件/材料的物理模型。在实践中,一种合理的思路是结合数据驱动和物理驱动策略,提出数据-物理耦合驱动的结构模拟方法。其基本原则是:
(1)基于物理模型,模拟规律清晰、特征明确的组分的响应;
(2)基于深度神经网络,构建特征多样、规律复杂组分的响应代理模型。
本研究提出的两阶段训练方法,在神经网络的推演过程中,隐式的加入了误差纠偏过程,为其与有限元等时域逐步积分法的结合提供了重要支持。基于开源结构分析软件OpenSEES,本研究开展了上述思路的程序实现,方法框架如图11所示,技术路线如图12所示。该方法框架中,前三步为正常的模型训练(采用本研究提出的两阶段训练方法),第四步则是本节即将介绍的模型集成和耦合模拟。
图11 方法框架
图12 OpenSEES程序实现的技术路线
基于图12介绍的方法,将训练好的神经网络模型嵌入后,即可基于该模型,自定义与其响应行为一致的单元,包括twoNodeLink(有一定长度的弹簧单元,需定义单轴“位移-反力”材料属性)和自定义的uniaxialMaterial(新的单轴材料本构等)。若有多个维度,可以通过串/并联多个上述单元实现。相应的源代码和程序见本文起始部分的链接。
随后,基于包含Huang支撑模型的结构模型,开展了方法验证和案例分析。其中结构案例包含单层和双层支撑框架两种,单层支撑框架模型如图13所示,双层支撑框架模型的第二层和第一层一致。
图13 结构模型示意图
案例分析结果表明,两者的模拟精度较为一致,同时数据-物理耦合驱动模拟的耗时仅为5min(Linear-factorOnce算法)或2h(NewtonLineSearch算法);而LS-DYNA(精细有限元模型)耗时达到180h,为前者的90-2000倍。典型模拟结果如图14所示。
图14 典型耦合模拟案例
6
总结
本研究分析了经典模拟方法与神经网络训练的异同点,提出了具有误差自纠偏能力的两阶段训练方法,以及耦合MSE和MRSE的推演策略。案例分析表明,上述方法可以有效地控制整体误差、纠正误差累积。最后,本研究提出了“数据-物理耦合驱动”的结构模拟方案与技术路线,并基于OpenSEES开展了案例分析与程序实现。与精细有限元模型的对比表明,数据-物理耦合驱动的模拟方法可以在保持精度基本一致的情况下,显著提升模拟效率。
7
联系方式
如有任何意见或建议,欢迎联系:
陆新征 教授 luxz@tsinghua.edu.cn
徐永嘉 博士 xuyongjia0904@163.com
---End--
相关研究
特刊征稿
专著
人工智能与机器学习
城市灾害模拟与韧性城市
高性能结构与防倒塌
新论文:抗震&防连续倒塌:一种新型构造措施
联系客服