京東言犀獲離散推理型閱讀理解DROP冠軍

3月14日消息，據(jù)京東科技News消息，近日，在由Allen AI研究院發(fā)起的離散推理型閱讀理解榜單DROP上，京東智能客服言犀團隊（JDAI research）提出的NR-Rino模型以90.26%的準(zhǔn)確率登頂DROP Leaderboard冠軍。

據(jù)了解，DROP榜單是一個國際著名的評測任務(wù)，主要用于測試計算機在語言理解中的數(shù)學(xué)推理能力。不同于許多單輪問答，離散推理型閱讀理解數(shù)據(jù)集DROP要求模型在語義理解的基礎(chǔ)上，具備數(shù)值推理能力。本次DROP數(shù)據(jù)集任務(wù)吸引了國際眾多參賽隊伍，包括Google Research、中國平安、騰訊等。

DROP數(shù)據(jù)集的難點在于問題的答案無法通過直接與文章匹配得到，需要結(jié)合不同位置的數(shù)字及其上下文表示，來進(jìn)行推理得出。此外，加法、排序、統(tǒng)計等符號運算對模型的綜合推理能力也是極大的挑戰(zhàn)。

京東言犀團隊提出了NR-Rino模型，主要是對基于多頭預(yù)測器方法進(jìn)行創(chuàng)新和改進(jìn)，NR-Rino采用了編碼層、數(shù)字推理層、預(yù)測層的三級結(jié)構(gòu)。

除了模型結(jié)構(gòu)的優(yōu)化外，NR-Rino還進(jìn)行了訓(xùn)練優(yōu)化，以充分利用預(yù)訓(xùn)練語言模型中蘊含的知識，包括對模型參數(shù)的正則化約束和Dropout正則化。

京東科技表示，未來言犀將進(jìn)一步推動離散推理型閱讀理解的發(fā)展，包括涉及背景知識的數(shù)字推理、復(fù)雜數(shù)字推理等問題。包括NR-Rino模型在內(nèi)的AI能力也將廣泛應(yīng)用于京東零售、京東物流、京東健康，以及外部金融、政務(wù)、泛互的行業(yè)，涉及數(shù)字分析、金融報告分析、體育數(shù)據(jù)分析，智能交互RPA等環(huán)節(jié)。