导 读
随着遥感数据量和种类的爆炸式增长，传统的分析方法已无法满足精细地物感知的需求，亟需提升与之相匹配的多模态遥感大数据处理与分析能力。当前，以人工智能（AI）为核心的大模型技术迅猛发展，为解决遥感大数据在信息提取和分析方面的不足提供了新的可能性。因此，发展多模态遥感AI大模型的对地观测新范式已成为业内共识和研究前沿。
图1 图文摘要
多模态遥感大数据。随着来自各种观测平台（包括星载、机载和地源）遥感数据的数量和多样性不断增加，突显出迫切需要使用AI技术提高遥感大数据的多模态处理和分析能力。这种快速扩张不可避免地会带来挑战性的困难：1）现有模型在信息提取和分析能力方面明显不足；2）有效充分利用多模态遥感大数据是一个重大瓶颈；3）在深度信息挖掘和应用同质化方面存在显著不足。
多模态遥感大模型。为了克服上述困难，研究人员致力于开发高精度遥感智能解释系统。该系统封装了循环链过程：利用观测平台，获取多模态遥感大数据，开发多模态AI大模型，应用于实际客户端，并最终反馈有效载荷和平台的验证和设计。该系统的建立取决于几个关键要素，即大量多模态遥感大数据的整合、高性能计算能力的利用以及遥感大模型的集成。在目前的情况下，满足前两个要素的要求在很大程度上是可以实现的。然而，一个巨大的障碍在于缺乏定制的多模态AI大模型，无法有效弥合遥感大数据与高性能计算能力之间的差距。大模型能够从遥感大数据中彻底挖掘和提取信息，旨在挤出每一位信息。这标志着统计、物理和大数据的发展进入了大模型时代。
光谱遥感大模型（SpectralGPT）。当前，以遥感大模型为中心的预训练技术出现了显著的激增，SpectralGPT的提出是专门为光谱遥感数据设计的光谱遥感大模型的第一个实例。SpectralGPT在一个广泛的数据集上进行训练，该数据集包括超过100万张大小、分辨率、时间序列和区域不同的多源光谱遥感图像。SpectralGPT的模型参数超过6亿，是目前遥感领域中最大的光谱大模型。此外，SpectralGPT在推进地学领域的遥感大数据应用方面，特别是在四个下游任务（单标签场景分类、多标签场景分类、语义分割和变化检测）中，表现出巨大的潜力。
总结与展望
多模态AI大模型代表了遥感大数据分析的未来，为各种对地观测任务释放多模态遥感大数据固有的潜力。这些模型能够有效利用多模态遥感大数据的丰富性，为解决对地观测应用的复杂性提供了一个强大的框架。通过统一不同的数据类型和模式，这些模型增强了我们对地球表面和环境的总体理解和分析。向多模态大模型的转变预示着在优化遥感大数据用于各种对地观测目标方面取得了可喜的进展，标志着该领域进入了一个变革时代。
责任编辑
凌 飞 西北农林科技大学
姜亮亮 University of Calgary
原文链接：https://www.the-innovation.org/article/doi/10.59717/j.xinn-geo.2024.100055
本文内容来自The Innovation姊妹刊The Innovation Geoscience第2卷第1期以Editorial发表的“Multimodal artificial intelligence foundation models: Unleashing the power of remote sensing big data in earth observation” (投稿: 2024-01-30；接收: 2024-03-06；在线刊出: 2024-03-14)。
DOI: https://doi.org/10.59717/j.xinn-geo.2024.100055
引用格式：Hong D., Li C., Zhang B., et al., (2024). Multimodal artificial intelligence foundation models: Unleashing the power of remote sensing big data in earth observation. The Innovation Geoscience 2(1), 100055.
作者简介
张 兵（通讯作者），中国科学院空天信息创新研究院研究员、博士生导师、副院长。主要从事高光谱遥感与遥感大数据研究，是国际电气与电子工程师学会会士（IEEE Fellow）、中国地理学会（GSC）会士、国家杰出青年科学基金获得者、国家万人计划科技创新领军人才；发表SCI论文230余篇、EI论文180余篇，是科睿唯安“全球高被引科学家”，出版高光谱遥感学术专著10部，获国家发明专利40多项；获得过IEEE国际地球科学与遥感学会亚太区域领袖奖（GRSS RLA），以及国家科技进步二等奖2项、中国科学院杰出科技成就奖1项、军队科技进步一等奖2项、北京市科技进步一等奖2项/二等奖2项、中国航天基金会航天贡献奖1项等科技奖励；目前担任《遥感学报》执行主编、IEEE TGRS 副主编、中国地理学会遥感地理专委会主任委员、IEEE国际高光谱图像与信号处理大会（WHISPERS）技术委员会委员。
李晨玉，中国科学院空天信息创新研究院、东南大学联合培养博士生，主要研究方向为可解释性人工智能、遥感大数据预测、高光谱遥感、智能感知等。
洪丹枫，中国科学院空天信息创新研究院研究员，博士生导师，遥感与数字地球重点实验室副主任，中国科学院大学岗位教授，国家优秀青年基金（海外）获得者，科睿唯安“全球高被引科学家”。曾为德国宇航中心（DLR）的研究员兼“光谱视觉”课题组组长、法国傅立叶实验室（GIPSA Lab）客座研究员，德国亥姆霍兹联合会人工智能研究院（HACUI）AI科研顾问。主要研究方向为人工智能、多模态遥感、基础大模型、高光谱成像、大尺度地学应用、智能感知等。研究成果在IEEE TPAMI、RSE、ISPRS、CVPR、NeurIPS、ECCV等顶级期刊/会议180余篇， Google Scholar引用12000+，获得IEEE GRSS 杰出青年奖（Early Career Award）、国际高光谱顶级会议WHISPERS杰出论文奖（Jose Bioucas Dias奖）等。
联系客服
