螞蟻集團推出20億參數多模態(tài)遙感基礎模型SkySense

2月28日消息，螞蟻集團推出20億參數多模態(tài)遙感基礎模型SkySense，這是螞蟻百靈大模型在多模態(tài)領域最新的研發(fā)成果，其論文已被世界計算機視覺頂級會議CVPR 2024接收。據了解，螞蟻集團正在計劃開放Skysense模型參數，與行業(yè)共建，促進智能遙感技術與應用發(fā)展。SkySense可用于地貌、農作物觀測和解譯等，有效輔助農業(yè)生產和經營。

據介紹，SkySense突破傳統(tǒng)技術瓶頸，實現了文本、紅外光、可見光、SAR雷達多種模態(tài)、多分辨率的時序遙感影像建模，在多樣化的任務中展現出優(yōu)異性能。在螞蟻百靈大模型多模態(tài)能力支持下，研發(fā)人員基于內部構建的19億遙感影像數據集進行預訓練，得到了20.6億參數量的模型SkySense。

SkySense在總計17項國際權威公開數據集進行了測評，其測試任務類型包括了土地利用監(jiān)測、高分辨率目標識別、地物變化檢測等7種常見遙感感知任務，并與國際上已發(fā)布的包括IBM和NASA聯(lián)合研發(fā)的Prithvi等共18個全球主流同類模型做了測試結果比較。數據顯示，SkySense在17項測試場景中的指標均超過國際同類產品。

在17項測評中SkySense均名列第一 圖源：環(huán)球網科技

SkySense由螞蟻AI創(chuàng)新研發(fā)部門NextEvo與武漢大學聯(lián)合研發(fā)。NextEvo是螞蟻AI核心技術研發(fā)團隊，主導了螞蟻百靈大模型的研發(fā)工作，其研發(fā)方向涉及CV、NLP、多模態(tài)、AIGC、數字人、AI工程化等核心技術。2023年，該部門升級多模態(tài)團隊，由楊銘帶隊全面布局多模態(tài)技術。楊銘是Facebook AI Research （FAIR）創(chuàng)始成員，去年加入螞蟻集團，先后就職于NEC美國實驗室、FAIR、地平線機器人公司，是世界知名計算機視覺研究專家。

目前，螞蟻集團多模態(tài)研究成果已應用于支付寶五福節(jié)AI大規(guī)?；印⑽浵佱t(yī)療數字人等場景。

螞蟻集團發(fā)布的《2023螞蟻集團知識產權白皮書》顯示，截至2023年底，螞蟻集團全球專利申請量 32459 件，其中22102件已經獲得授權，發(fā)明專利占比達95.77%，國外專利申請量占比 58.75%。在逾3.2萬件技術專利中，安全科技、區(qū)塊鏈、人工智能等三大技術領域的申請量占比位居前三。

2023螞蟻集團知識產權白皮 圖源：螞蟻集團公眾號