阿里達摩院公開“預訓練語言模型的訓練方法”專利

4月27日消息，天眼查資料顯示，阿里巴巴達摩院（杭州）科技有限公司4月26日公開一項“預訓練語言模型的訓練方法、裝置、計算機設備和介質(zhì)”專利，申請公布號為CN114398899A，申請日期為2021年11月29日。

該專利摘要顯示，本公開提供了一種預訓練語言模型的訓練方法、裝置、計算機設備和介質(zhì)。該方法包括：獲得使用不同語言表達相同語義的訓練數(shù)據(jù)組合；將訓練數(shù)據(jù)組合輸入具備不同語言理解能力的預訓練語言模型，以使得預訓練語言模型對訓練數(shù)據(jù)組合進行預訓練后得到訓練數(shù)據(jù)組合對應的輸出數(shù)據(jù)組合，并根據(jù)輸出數(shù)據(jù)組合計算訓練數(shù)據(jù)組合的損失值；利用損失值更新預訓練語言模型的模型參數(shù)，以提高輸出數(shù)據(jù)組合的相似度。

本公開提高了低資源語言場景下自然語言處理模型處理下游任務的性能和多語言場景下預訓練語言模型所能適用的下游任務的種類范圍。

近日，阿里巴巴達摩院（杭州）科技有限公司還公開“圖像處理方法和存儲介質(zhì)”、“圖像處理方法、存儲介質(zhì)以及計算機終端”、“機器翻譯模型的訓練方法和機器翻譯方法”等多項專利。

天眼查資料顯示，阿里巴巴達摩院（杭州）科技有限公司成立于2017年11月7日，法定代表人為周明，注冊資本1000萬人民幣，經(jīng)營范圍包括：技術(shù)服務、技術(shù)開發(fā)、技術(shù)咨詢、技術(shù)交流、技術(shù)轉(zhuǎn)讓、技術(shù)推廣；軟件開發(fā)；專業(yè)設計服務；翻譯服務（除依法須經(jīng)批準的項目外，憑營業(yè)執(zhí)照依法自主開展經(jīng)營活動）。

股權(quán)穿透圖顯示，阿里巴巴達摩院（杭州）科技有限公司由阿里巴巴（中國）有限公司全資持股，認繳金額1000萬人民幣。