京東探索研究院獲世界頂級機械臂大賽兩項前三

3月1日消息，據(jù)金融界資訊消息，日前，世界頂級機械臂大賽SAPIEN ManiSkill Challenge 2021公布了本屆參賽隊伍成績以及最終排名，其中京東探索研究院視覺與多媒體實驗室的參賽團隊“Silver-Bullet-3D”在兩個重要賽道中分別獲得“第一”和“第二”的優(yōu)秀成績，充分證明了京東探索研究院在計算機視覺領(lǐng)域受到國際認可。

（圖源金融界，下同）

據(jù)了解，SAPIEN ManiSkill Challenge機械臂大賽是由美國加州大學圣地亞哥分校、伯克利分校以及斯坦福大學聯(lián)合在國際機器學習頂級會議ICLR 2022上舉辦的世界重磅賽事。本次比賽將控制機械臂完成的任務種類設計為四種，分別是開柜門、移動椅子、開抽屜以及搬水桶，吸引了來自全球知名機構(gòu)以及高等院校的30多支隊伍參與其中。

具體來說，“No Interaction Track”即“采用模仿學習方案”，旨在從預先收集的演示軌跡中有效學習。在滿足該技術(shù)要求的前提下，京東參賽團隊提出了基于模仿學習的解決方案，主要包括兩個模塊，分別是直接采用模仿行為的行為克隆以及離線增強學習，同時為了對機械臂和被操縱物體復雜的紋理、結(jié)構(gòu)信息建模，提出了基于Transformer的關(guān)系建模網(wǎng)絡。

在第一階段和第二階段官方測試中，該模型在所有四個單項任務中均位列第一。

“No Restriction Track”可以被釋義為“采用規(guī)則方案”，組委會允許本次的參賽隊伍基于與仿真環(huán)境的交互任意設計控制和規(guī)劃方案。對此京東團隊提出了基于啟發(fā)式規(guī)則的方案（HRM），將復雜的操作任務分解為一系列子任務，根據(jù)在仿真環(huán)境中觀察到的圖像和點云，并基于規(guī)則的控制邏輯預測機械臂要完成的操作以實現(xiàn)當前子任務的目標。

在官方評測中，該方案以超過第二名23.8%的絕對優(yōu)勢獲得第一名。

如今京東探索研究院計算機視覺技術(shù)方向?qū)＠咽跈?quán)18項，其團隊核心成員在AI頂會發(fā)表的論文總量180+篇，尤其在第29屆ACM國際多媒體頂級會議上，京東探索研究院憑借多模態(tài)交互數(shù)字人技術(shù)、跨模態(tài)分析技術(shù)分別斬獲最佳演示獎及最佳開源項目獎。