4月12日消息，據(jù)天下網(wǎng)商消息，今日，阿里達摩院研究人員首次利用半監(jiān)督學習將標注的人類知識注入預訓練對話模型，在MultiWOZ2.1等三個國際主流對話數(shù)據(jù)集中均實現(xiàn)了最佳效果，為知識和數(shù)據(jù)融合探索出新路徑。

（融合知識后，AI會進行思考）

據(jù)了解，一個模型只能解決一項任務，通用性差是AI的一大問題。而預訓練模型可能是破解之道，因此近些年備受關注，已迅速發(fā)展出萬億參數(shù)的大模型。不少研究者認為，數(shù)據(jù)量只是一方面，如果能將人類知識有機注入預訓練模型， AI有望像人類一樣思考。

但知識注入并不容易，簡單混合容易導致知識被淹沒，或者出現(xiàn)嚴重的過擬合。達摩院研究人員此次利用半監(jiān)督學習來對預訓練對話模型注入知識，在人機對話領域尚屬首次。

（圖為半監(jiān)督使用示意圖）

據(jù)介紹，預訓練對話模型有別于常見的預訓練語言模型，需更多考慮對話輪次、上下文情境、對話人員的角色等，以便理解對方意圖并做出恰當回復。也就是說，這類模型必須考慮對話過程中的策略，他們屬于特定場景下的人類知識。業(yè)界通常用對話動作標簽（dialog act）來刻畫對話策略，比如模糊澄清、信息問詢和信息告知等。

為此，達摩院研究人員構(gòu)建了目前最大的對話動作標簽知識庫，總量達97萬輪次，將其注入新設計的預訓練對話模型SPACE 1.0中，隨后在下游任務進行驗證。新模型在斯坦福 In-Car，劍橋MultiWOZ2.0和亞馬遜 MultiWOZ2.1這三個國際主流對話數(shù)據(jù)集上均實現(xiàn)了SOTA（最佳效果），部分提升超過5%，幅度較大。在具體案例中，新模型能夠更準確預測出對話動作，能夠更好和人類進行對話，避免答非所問。

（圖為達摩院新模型在三大國際數(shù)據(jù)集上的表現(xiàn)）

值得一提的是，在AI應用方面，此前，全國特大型鋼企南京鋼鐵上線了AI質(zhì)檢系統(tǒng)，借助阿里達摩院先進算法，鋼板表面缺陷檢出率從原來人工的90%提升至98%，鋼板出廠質(zhì)量明顯提升，質(zhì)量異議金額從0.06元/噸降至0.02元/噸。