导读 中国科学院合肥物质科学研究院谢成军教授和张杰副研究员领导的研究人员开发了一种基于深度学习的新型卫星图像方法。他们的方法称为频率自适...
中国科学院合肥物质科学研究院谢成军教授和张杰副研究员领导的研究人员开发了一种基于深度学习的新型卫星图像方法。
他们的方法称为频率自适应混合专家网络(FAME-Net)，已被接受在2024年人工智能促进协会(AAAI)会议记录上发表。它被发布到arXiv预印本服务器。
高分辨率多光谱图像对于农业、测绘和环境保护至关重要。然而，直接获取此类图像面临技术限制。为了克服这一挑战，全色锐化技术结合了高分辨率全色(PAN)和低分辨率多光谱图像。深度学习的最新进展改善了全色锐化的光谱和空间细节，但神经网络仍然在频率偏差和适应不同遥感内容方面遇到困难。
基于离散余弦变换和MixtureofExpert概念，研究人员提出了FAME-Net，它使用频率掩模预测器进行自适应高频和低频掩模。
不同的专家网络处理这些特定于频率的特征，从而可以将注意力集中在不同的频率范围上。FAME-Net通过门控机制集成多个专家输出，动态调整其掩模以适应不同的图像内容。
在与现有最先进方法的比较分析中，FAME-Net不仅在保持光谱质量和增强空间分辨率方面表现出优异的性能，而且在全分辨率遥感图像中也表现出了优异的性能。
这项研究为图像处理领域提供了新的见解，并证明了集成动态网络结构和频域信息的有效性。