百度CTO王海峰：文心一言是百度技術(shù)積累和產(chǎn)業(yè)實(shí)踐的水到渠成

3月17日消息，百度日前在北京總部召開(kāi)新聞發(fā)布會(huì)，百度創(chuàng)始人、董事長(zhǎng)兼首席執(zhí)行官李彥宏和百度首席技術(shù)官（CTO）王海峰出席。

會(huì)上，李彥宏展示了新一代知識(shí)增強(qiáng)大語(yǔ)言模型文心一言在文學(xué)創(chuàng)作、商業(yè)文案創(chuàng)作、數(shù)理邏輯推算、中文理解、多模態(tài)生成五個(gè)使用場(chǎng)景中的綜合能力，王海峰解讀了文心一言的技術(shù)特性及其背后的技術(shù)積累。

王海峰認(rèn)為，文心一言是百度多年技術(shù)積累和產(chǎn)業(yè)實(shí)踐的水到渠成，尤其是飛槳深度學(xué)習(xí)平臺(tái)和文心大模型的聯(lián)合優(yōu)化，為文心一言提供了堅(jiān)實(shí)的技術(shù)支撐。據(jù)介紹，文心大模型從2019年發(fā)布以來(lái)，已經(jīng)從最初的自然語(yǔ)言理解大模型，發(fā)展成了跨語(yǔ)言、跨模態(tài)、跨任務(wù)、跨行業(yè)的能力完備的大模型平臺(tái)。

據(jù)了解，文心一言是新一代知識(shí)增強(qiáng)大語(yǔ)言模型，也是百度繼文心一格之后的又一個(gè)生成式AI產(chǎn)品，具備對(duì)話(huà)交互、內(nèi)容創(chuàng)作、知識(shí)推理、多模態(tài)生成等能力。王海峰表示，新一代知識(shí)增強(qiáng)大語(yǔ)言模型文心一言，是在ERNIE及PLATO系列模型的基礎(chǔ)上研發(fā)的。

王海峰介紹，文心一言的關(guān)鍵技術(shù)包括有監(jiān)督精調(diào)、人類(lèi)反饋的強(qiáng)化學(xué)習(xí)、提示、知識(shí)增強(qiáng)、檢索增強(qiáng)和對(duì)話(huà)增強(qiáng)。前三項(xiàng)是這類(lèi)大語(yǔ)言模型都會(huì)采用的技術(shù)，ERNIE和PLATO中已經(jīng)有應(yīng)用和積累，在文心一言中又有了進(jìn)一步強(qiáng)化和打磨；后三項(xiàng)則是百度已有技術(shù)優(yōu)勢(shì)的再創(chuàng)新，也是文心一言未來(lái)越來(lái)越強(qiáng)大的基礎(chǔ)。

圖源：百度官微，下同

在知識(shí)增強(qiáng)方面，文心一言的知識(shí)增強(qiáng)主要是通過(guò)知識(shí)內(nèi)化和知識(shí)外用兩種方式。知識(shí)內(nèi)化，是從大規(guī)模知識(shí)和無(wú)標(biāo)注數(shù)據(jù)中，基于語(yǔ)義單元學(xué)習(xí)，利用知識(shí)構(gòu)造訓(xùn)練數(shù)據(jù)，將知識(shí)學(xué)習(xí)到模型參數(shù)中；知識(shí)外用，是引入外部多源異構(gòu)知識(shí)，做知識(shí)推理、提示構(gòu)建等。

在檢索增強(qiáng)方面，文心一言的檢索增強(qiáng)，來(lái)自以語(yǔ)義理解與語(yǔ)義匹配為核心技術(shù)的新一代搜索架構(gòu)。通過(guò)引入搜索結(jié)果，可以為大模型提供時(shí)效性強(qiáng)、準(zhǔn)確率高的參考信息，更好地滿(mǎn)足用戶(hù)需求。

在對(duì)話(huà)增強(qiáng)方面，基于對(duì)話(huà)技術(shù)和應(yīng)用積累，文心一言具備記憶機(jī)制、上下文理解和對(duì)話(huà)規(guī)劃能力，實(shí)現(xiàn)更好的對(duì)話(huà)連貫性、合理性和邏輯性。

王海峰強(qiáng)調(diào)，飛槳深度學(xué)習(xí)平臺(tái)支撐文心一言效果更好、效率更高、性能更強(qiáng)。他表示，文心大模型加上飛槳深度學(xué)習(xí)平臺(tái)，夯實(shí)了產(chǎn)業(yè)智能化基座。隨著文心一言與飛槳平臺(tái)的進(jìn)一步融合發(fā)展，人工智能技術(shù)和應(yīng)用的研發(fā)將越來(lái)越標(biāo)準(zhǔn)化、自動(dòng)化和模塊化，加速人工智能的工業(yè)大生產(chǎn)，同時(shí)也反哺文心一言加速迭代進(jìn)化，落地更多場(chǎng)景和行業(yè)，為千行百業(yè)智能化升級(jí)帶來(lái)不竭動(dòng)力。

據(jù)王海峰介紹，如今，飛槳平臺(tái)已凝聚535萬(wàn)開(kāi)發(fā)者，服務(wù)20萬(wàn)企事業(yè)單位，基于飛槳?jiǎng)?chuàng)建了67萬(wàn)個(gè)模型。