百度CTO王海峰：文心一言是百度技術(shù)積累和產(chǎn)業(yè)實踐的水到渠成

3月17日消息，百度日前在北京總部召開新聞發(fā)布會，百度創(chuàng)始人、董事長兼首席執(zhí)行官李彥宏和百度首席技術(shù)官（CTO）王海峰出席。

會上，李彥宏展示了新一代知識增強大語言模型文心一言在文學(xué)創(chuàng)作、商業(yè)文案創(chuàng)作、數(shù)理邏輯推算、中文理解、多模態(tài)生成五個使用場景中的綜合能力，王海峰解讀了文心一言的技術(shù)特性及其背后的技術(shù)積累。

王海峰認(rèn)為，文心一言是百度多年技術(shù)積累和產(chǎn)業(yè)實踐的水到渠成，尤其是飛槳深度學(xué)習(xí)平臺和文心大模型的聯(lián)合優(yōu)化，為文心一言提供了堅實的技術(shù)支撐。據(jù)介紹，文心大模型從2019年發(fā)布以來，已經(jīng)從最初的自然語言理解大模型，發(fā)展成了跨語言、跨模態(tài)、跨任務(wù)、跨行業(yè)的能力完備的大模型平臺。

據(jù)了解，文心一言是新一代知識增強大語言模型，也是百度繼文心一格之后的又一個生成式AI產(chǎn)品，具備對話交互、內(nèi)容創(chuàng)作、知識推理、多模態(tài)生成等能力。王海峰表示，新一代知識增強大語言模型文心一言，是在ERNIE及PLATO系列模型的基礎(chǔ)上研發(fā)的。

王海峰介紹，文心一言的關(guān)鍵技術(shù)包括有監(jiān)督精調(diào)、人類反饋的強化學(xué)習(xí)、提示、知識增強、檢索增強和對話增強。前三項是這類大語言模型都會采用的技術(shù)，ERNIE和PLATO中已經(jīng)有應(yīng)用和積累，在文心一言中又有了進(jìn)一步強化和打磨；后三項則是百度已有技術(shù)優(yōu)勢的再創(chuàng)新，也是文心一言未來越來越強大的基礎(chǔ)。

圖源：百度官微，下同

在知識增強方面，文心一言的知識增強主要是通過知識內(nèi)化和知識外用兩種方式。知識內(nèi)化，是從大規(guī)模知識和無標(biāo)注數(shù)據(jù)中，基于語義單元學(xué)習(xí)，利用知識構(gòu)造訓(xùn)練數(shù)據(jù)，將知識學(xué)習(xí)到模型參數(shù)中；知識外用，是引入外部多源異構(gòu)知識，做知識推理、提示構(gòu)建等。

在檢索增強方面，文心一言的檢索增強，來自以語義理解與語義匹配為核心技術(shù)的新一代搜索架構(gòu)。通過引入搜索結(jié)果，可以為大模型提供時效性強、準(zhǔn)確率高的參考信息，更好地滿足用戶需求。

在對話增強方面，基于對話技術(shù)和應(yīng)用積累，文心一言具備記憶機(jī)制、上下文理解和對話規(guī)劃能力，實現(xiàn)更好的對話連貫性、合理性和邏輯性。

王海峰強調(diào)，飛槳深度學(xué)習(xí)平臺支撐文心一言效果更好、效率更高、性能更強。他表示，文心大模型加上飛槳深度學(xué)習(xí)平臺，夯實了產(chǎn)業(yè)智能化基座。隨著文心一言與飛槳平臺的進(jìn)一步融合發(fā)展，人工智能技術(shù)和應(yīng)用的研發(fā)將越來越標(biāo)準(zhǔn)化、自動化和模塊化，加速人工智能的工業(yè)大生產(chǎn)，同時也反哺文心一言加速迭代進(jìn)化，落地更多場景和行業(yè)，為千行百業(yè)智能化升級帶來不竭動力。

據(jù)王海峰介紹，如今，飛槳平臺已凝聚535萬開發(fā)者，服務(wù)20萬企事業(yè)單位，基于飛槳創(chuàng)建了67萬個模型。