多模態遙感數據生成式基礎模型

來自 新浪網 的圖片

多模態遙感數據生成式基礎模型‌是一種能夠處理和分析多種類型遙感數據（如光學、紅外、雷達等）的模型。這類模型通常具有更強的泛化能力和更廣泛的應用範圍。

簡介

以中國科學院空天信息創新研究院研發的「空天·靈眸」3.0版為例，它是我國首個面向多模態遙感數據生成式基礎模型，也是首個專為遙感領域打造的行業基礎模型。該模型能夠處理和分析可見光、合成孔徑雷達、熱紅外、多光譜等多傳感器衛星數據，以及航空遙感飛機、無人機等不同航空平台觀測的數據，實現了自動化、高精度解譯處理。

另外，螞蟻集團也研發了一款名為SkySense的多模態遙感基礎模型。該模型具有20億參數，能夠在17項測試場景中指標均超過國際同類產品，是目前國際上參數規模最大、覆蓋任務最全、識別精度最高的多模態遙感基礎模型之一。SkySense可用於地貌、農作物觀測和解譯等，有效輔助農業生產和經營，並可廣泛應用於城市規劃、森林保護、應急救災、綠色金融、農業監測等重要領域。

這些多模態遙感數據生成式基礎模型的發展，推動了遙感技術與人工智能技術的深度融合，為遙感數據的自動化處理和分析提供了新的解決方案。

相關諮詢

螞蟻集團：百靈大模型推出20億參數遙感模型，可用於地貌地物觀測解譯

來自 新浪網 的圖片

新浪科技訊2月28日上午消息，新浪科技獲悉，螞蟻集團已推出20億參數多模態遙感基礎模型SkySense，這是螞蟻百靈大模型在多模態領域最新的研發成果，其論文已被世界計算機視覺頂會CVPR 2024接收。SkySense可用於地貌、農作物觀測和解譯等，有效輔助農業生產和經營。

據介紹，SkySense在總計17項國際權威公開數據集進行了測評，其測試任務類型包括了土地利用監測、高分辨率目標識別、地物變化檢測等7種常見遙感感知任務，並與國際上已發布的包括IBM和NASA聯合研發的Prithvi等共18個全球主流同類模型做了測試結果比較。數據顯示，17項測評中SkySense均名列第一。譬如，在國際高清遙感地物檢測榜單FAIR1M 2.0中，SkySense平均精度（mAP）領先第二名超3%。

在剛剛公布的CVPR2024論文入選結果上，SkySense的研究成果亦被收錄。據了解，螞蟻集團正在計劃開放Skysense模型參數，與行業共建，促進智能遙感技術與應用發展。

SkySense由螞蟻AI創新研發部門NextEvo與武漢大學聯合研發。NextEvo是螞蟻AI核心技術研發團隊，主導了螞蟻百靈大模型的研發工作，其研發方向涉及CV、NLP、多模態、AIGC、數字人(19.650,0.03,0.15%)、AI工程化等核心技術。去年，該部門升級了多模態團隊，由楊銘帶隊全面布局多模態技術。