螞蟻集團(tuán)推出20億參數(shù)多模態(tài)遙感基礎(chǔ)模型SkySense

2月28日消息，螞蟻集團(tuán)推出20億參數(shù)多模態(tài)遙感基礎(chǔ)模型SkySense，這是螞蟻百靈大模型在多模態(tài)領(lǐng)域最新的研發(fā)成果，其論文已被世界計(jì)算機(jī)視覺頂級(jí)會(huì)議CVPR 2024接收。據(jù)了解，螞蟻集團(tuán)正在計(jì)劃開放Skysense模型參數(shù)，與行業(yè)共建，促進(jìn)智能遙感技術(shù)與應(yīng)用發(fā)展。SkySense可用于地貌、農(nóng)作物觀測和解譯等，有效輔助農(nóng)業(yè)生產(chǎn)和經(jīng)營。

據(jù)介紹，SkySense突破傳統(tǒng)技術(shù)瓶頸，實(shí)現(xiàn)了文本、紅外光、可見光、SAR雷達(dá)多種模態(tài)、多分辨率的時(shí)序遙感影像建模，在多樣化的任務(wù)中展現(xiàn)出優(yōu)異性能。在螞蟻百靈大模型多模態(tài)能力支持下，研發(fā)人員基于內(nèi)部構(gòu)建的19億遙感影像數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練，得到了20.6億參數(shù)量的模型SkySense。

SkySense在總計(jì)17項(xiàng)國際權(quán)威公開數(shù)據(jù)集進(jìn)行了測評(píng)，其測試任務(wù)類型包括了土地利用監(jiān)測、高分辨率目標(biāo)識(shí)別、地物變化檢測等7種常見遙感感知任務(wù)，并與國際上已發(fā)布的包括IBM和NASA聯(lián)合研發(fā)的Prithvi等共18個(gè)全球主流同類模型做了測試結(jié)果比較。數(shù)據(jù)顯示，SkySense在17項(xiàng)測試場景中的指標(biāo)均超過國際同類產(chǎn)品。

在17項(xiàng)測評(píng)中SkySense均名列第一 圖源：環(huán)球網(wǎng)科技

SkySense由螞蟻AI創(chuàng)新研發(fā)部門NextEvo與武漢大學(xué)聯(lián)合研發(fā)。NextEvo是螞蟻AI核心技術(shù)研發(fā)團(tuán)隊(duì)，主導(dǎo)了螞蟻百靈大模型的研發(fā)工作，其研發(fā)方向涉及CV、NLP、多模態(tài)、AIGC、數(shù)字人、AI工程化等核心技術(shù)。2023年，該部門升級(jí)多模態(tài)團(tuán)隊(duì)，由楊銘帶隊(duì)全面布局多模態(tài)技術(shù)。楊銘是Facebook AI Research （FAIR）創(chuàng)始成員，去年加入螞蟻集團(tuán)，先后就職于NEC美國實(shí)驗(yàn)室、FAIR、地平線機(jī)器人公司，是世界知名計(jì)算機(jī)視覺研究專家。

目前，螞蟻集團(tuán)多模態(tài)研究成果已應(yīng)用于支付寶五福節(jié)AI大規(guī)?；?dòng)、螞蟻醫(yī)療數(shù)字人等場景。

螞蟻集團(tuán)發(fā)布的《2023螞蟻集團(tuán)知識(shí)產(chǎn)權(quán)白皮書》顯示，截至2023年底，螞蟻集團(tuán)全球?qū)＠暾?qǐng)量 32459 件，其中22102件已經(jīng)獲得授權(quán)，發(fā)明專利占比達(dá)95.77%，國外專利申請(qǐng)量占比 58.75%。在逾3.2萬件技術(shù)專利中，安全科技、區(qū)塊鏈、人工智能等三大技術(shù)領(lǐng)域的申請(qǐng)量占比位居前三。

2023螞蟻集團(tuán)知識(shí)產(chǎn)權(quán)白皮 圖源：螞蟻集團(tuán)公眾號(hào)