達(dá)摩院推出新型預(yù)訓(xùn)練對話模型 首次利用半監(jiān)督學(xué)習(xí)注入知識

4月12日消息，據(jù)天下網(wǎng)商消息，今日，阿里達(dá)摩院研究人員首次利用半監(jiān)督學(xué)習(xí)將標(biāo)注的人類知識注入預(yù)訓(xùn)練對話模型，在MultiWOZ2.1等三個國際主流對話數(shù)據(jù)集中均實(shí)現(xiàn)了最佳效果，為知識和數(shù)據(jù)融合探索出新路徑。

（融合知識后，AI會進(jìn)行思考）

據(jù)了解，一個模型只能解決一項(xiàng)任務(wù)，通用性差是AI的一大問題。而預(yù)訓(xùn)練模型可能是破解之道，因此近些年備受關(guān)注，已迅速發(fā)展出萬億參數(shù)的大模型。不少研究者認(rèn)為，數(shù)據(jù)量只是一方面，如果能將人類知識有機(jī)注入預(yù)訓(xùn)練模型， AI有望像人類一樣思考。

但知識注入并不容易，簡單混合容易導(dǎo)致知識被淹沒，或者出現(xiàn)嚴(yán)重的過擬合。達(dá)摩院研究人員此次利用半監(jiān)督學(xué)習(xí)來對預(yù)訓(xùn)練對話模型注入知識，在人機(jī)對話領(lǐng)域尚屬首次。

（圖為半監(jiān)督使用示意圖）

據(jù)介紹，預(yù)訓(xùn)練對話模型有別于常見的預(yù)訓(xùn)練語言模型，需更多考慮對話輪次、上下文情境、對話人員的角色等，以便理解對方意圖并做出恰當(dāng)回復(fù)。也就是說，這類模型必須考慮對話過程中的策略，他們屬于特定場景下的人類知識。業(yè)界通常用對話動作標(biāo)簽（dialog act）來刻畫對話策略，比如模糊澄清、信息問詢和信息告知等。

為此，達(dá)摩院研究人員構(gòu)建了目前最大的對話動作標(biāo)簽知識庫，總量達(dá)97萬輪次，將其注入新設(shè)計(jì)的預(yù)訓(xùn)練對話模型SPACE 1.0中，隨后在下游任務(wù)進(jìn)行驗(yàn)證。新模型在斯坦福 In-Car，劍橋MultiWOZ2.0和亞馬遜 MultiWOZ2.1這三個國際主流對話數(shù)據(jù)集上均實(shí)現(xiàn)了SOTA（最佳效果），部分提升超過5%，幅度較大。在具體案例中，新模型能夠更準(zhǔn)確預(yù)測出對話動作，能夠更好和人類進(jìn)行對話，避免答非所問。

（圖為達(dá)摩院新模型在三大國際數(shù)據(jù)集上的表現(xiàn)）

值得一提的是，在AI應(yīng)用方面，此前，全國特大型鋼企南京鋼鐵上線了AI質(zhì)檢系統(tǒng)，借助阿里達(dá)摩院先進(jìn)算法，鋼板表面缺陷檢出率從原來人工的90%提升至98%，鋼板出廠質(zhì)量明顯提升，質(zhì)量異議金額從0.06元/噸降至0.02元/噸。