李海峰教授 | 开放世界下的遥感影像智能理解方法：自学习和记忆机制的框架

GIS理论创新与前沿探索

2021第九届高校GIS论坛，中南大学教授李海峰在GIS理论创新与前沿探索分论坛作报告《开放世界下的遥感影像智能理解方法：自学习和记忆机制的框架》。

以下内容根据报告内容整理（未经本人确认）：

李海峰教授

1

背景和动机

现在的遥感科学从2013年的深度学习已经开始了人工智能的新纪元。遥感数据存在时间、空间、波谱异质性。这些异质性在一起，是一个“开放世界”的假设。经测试，同源数据迁移或者异源数据迁移精度会下降20%-30%左右。遥感对地观测是无差别的拍摄，给出的拍摄地物类别完全不一样，在极不平衡的情况下，如何避免模型带来的不平衡偏见？来自ALphGo Zreo的启示，如果有大量数据，是否可以有一个很好的学习机制来获取更好的模型？是否可以像婴儿一样学习？ 

另一个来自于人类的启示是人类智能作为一个通用的学习机。泛化假设，组合泛化性；学习假设，内驱性；记忆和进化假设，开放世界增长与进化；知识偏置假设，通用与专用平衡。

还有监督学习范式的统一数学表达，通过一个参数化的表达，来拟合数据，逼近真实标签，并利用损失函数度量学到的函数和真实标签之间的关系。“打标签”是给模型一个监督的信号，然后用这个信号引导模型拟合既定的数据。这种标签的监督性很好的话，是否可以泛化？

2

自学习和记忆

自学习方面，一是设计神经网络自动搜索方法，获得一个不是专家设计的网络，是计算机自己学习的网络，在一些遥感分类影像中做测试，会得到一个更好的分类精度。把机器数据得到的性能作为反馈信号，利用这个信号不断改进网络，最后得到一个相对精度比较高的结果。

二是设计元认知作为监督信号学习，通过学习帮助我们获得更好的认知，也帮助它在一些小世界的数据集里面表现得更好。因此，我们提出了两种方式，一是利用元方式组织训练，可以更好地归纳到未见过的测试任务中；二是通过设计平衡损失引导RS-MetaNet通过最大化不同类别之间的距离，在新样本上获得强大的泛化能力。

三是通过监督信号学习。一方面借助于自监督的泛式，利用对比学习框架实现无监督预训练，用5%的数据获得之前不能获得的性能。

四是时空不变特征作为监督信号进行学习。对于遥感影像，同一类地物在不同时空或空间下，会呈现出十分不同的特征。在设计模型时，发现如何去捕获这种不同的特征，让这种特征作为监督信号，就可以迫使它学到。

同一类地物在不同时间或空间下，会呈现出十分不同的特征

记忆方面，遥感影像理解智能的可进化性——记忆机制。开放世界下，任务是动态变化的，模型应具备不断学习新任务的能力。每增加一个数据，都需要重新训练，一方面新增任务会有灾难性遗忘的问题。所以，期望的是在这个过程中，能够不断地去增量学习新的数据，并且根据这些数据一方面能够保持对过去任务的理解，另一方面能够帮助学习更好的任务。

实际上，我们学习到了一个仿真的机制，一是设计了克服长期灾难性遗忘的记忆模型，这种模型可以增量的学习更多的数据，并且在这个过程中使得模型变得更小，这种方法可用于边缘计算；二是在研究中发现人的大脑遗忘机制是天生的，因此我们根据人的遗忘机制来迫使神经网络让参数更加稀疏化，这种稀疏化的背后能够让我们学到更加抽象的知识，并且更加抽象的知识对于未知的任务能够表现得更好。三是克服顺行性遗忘的循环记忆网络。设置了长时网络学习和短时网络学习，希望它们能够互换。

应用在制图、灾害提取、农业等等。

3

下一步展望

如果要有更好地应对开放式的能力，这种自监督模型类似自学习的模型是更好的，希望构建更强大的自监督模型。现在我们是为单独的任务设计，希望有更好的测试基准，能够同时测试不同的任务。最后希望记忆学习能够形成一体化，帮助我们在学习的同时更好地应对未来。