百度王海峰發(fā)布人才培養(yǎng)星河計劃

10月20日消息，以“生成未來”為主題的百度世界2023近日在北京首鋼園舉辦，百度首席技術(shù)官王海峰解讀文心大模型4.0背后的關(guān)鍵技術(shù)和最新進展。王海峰表示，文心大模型4.0的理解、生成、邏輯、記憶四大能力都有顯著提升，9月已開始小流量上線，過去一個多月效果又提升了近30%。8月31日文心一言面向全社會開放至今，用戶規(guī)模已經(jīng)達到4500萬，開發(fā)者5.4萬，場景4300個，應用825個，插件超過500個。

據(jù)了解，百度在3月16日發(fā)布知識增強大語言模型文心一言。文心一言從數(shù)萬億數(shù)據(jù)和數(shù)千億知識中融合學習，得到預訓練大模型，在此基礎(chǔ)上采用有監(jiān)督精調(diào)、人類反饋強化學習、提示等技術(shù)，具備知識增強、檢索增強和對話增強的技術(shù)優(yōu)勢。

文心一言的基礎(chǔ)模型5月升級至文心大模型3.5，在基礎(chǔ)模型升級、精調(diào)技術(shù)創(chuàng)新、知識點增強、邏輯推理增強、插件機制等方面創(chuàng)新突破，取得效果和效率的提升。

圖注：百度首席技術(shù)官王海峰

（圖源百度AI公眾號，下同）

10月17日發(fā)布的文心大模型4.0，相比3.5版本，理解、生成、邏輯、記憶四大能力都有顯著提升。其中理解和生成能力的提升幅度相近，而邏輯和記憶能力的提升則更大，邏輯的提升幅度達到理解的近3倍，記憶的提升幅度也達到了理解的2倍多。百度基于文心大模型研制了智能代碼助手 Comate，從內(nèi)部應用效果來看，整體的代碼采納率達到40%，高頻用戶的代碼采納率達到60%。

據(jù)悉，文心大模型4.0在9月已開始小流量上線，過去一個多月效果又提升了近30%。訓練算法效率自3月以來已累計提升3.6倍，周均的訓練有效率超過98%。文心大模型4.0基本技術(shù)架構(gòu)與3.0和3.5版本一脈相承，并在多個關(guān)鍵技術(shù)方向上進一步創(chuàng)新突破。

在萬卡算力上運行飛槳平臺，通過集群基礎(chǔ)設(shè)施和調(diào)度系統(tǒng)、飛槳框架的軟硬協(xié)同優(yōu)化，支持了大模型的穩(wěn)定高效訓練。建設(shè)了多維數(shù)據(jù)體系，形成了數(shù)據(jù)挖掘、分析、合成、標注、評估閉環(huán)，充分釋放數(shù)據(jù)價值，大幅提升模型效果。基于有監(jiān)督精調(diào)、偏好學習、強化學習等技術(shù)進行多階段對齊，保證模型更好地與人類的判斷和選擇對齊?？稍偕柧毤夹g(shù)通過增量式的參數(shù)調(diào)優(yōu)，有效節(jié)省了訓練資源和時間，加快了模型迭代速度。

此外，文心大模型4.0在輸入和輸出階段都進行知識點增強。一方面，對用戶輸入的問題進行理解，并拆解出回答問題所需的知識點，然后在搜索引擎、知識圖譜、數(shù)據(jù)庫中查找準確知識，最后把這些找到的知識組裝進 Prompt 送入大模型，準確率好，效率也高；另一方面，對大模型的輸出進行反思，從生成結(jié)果中拆解出知識點，然后再利用搜索引擎、知識圖譜、數(shù)據(jù)庫，以及大模型本身進行確認，進而對有差錯的點進行修正。

在強大的基礎(chǔ)大模型的基礎(chǔ)上，百度進一步研制了智能體機制，包括理解、規(guī)劃、反思和進化，能夠做到可靠執(zhí)行、自我進化，并一定程度上將思考過程白盒化，讓機器像人一樣思考和行動，自主完成復雜任務，在環(huán)境中持續(xù)學習實現(xiàn)自主進化。

此外，王海峰在現(xiàn)場還公布了百度人工智能人才培養(yǎng)的最新數(shù)據(jù)，百度在2020年提出5年為全社會培養(yǎng)500萬AI人才，截至目前，百度已經(jīng)培養(yǎng)了420萬 AI 人才。

當下，大模型成為人工智能發(fā)展的熱點方向，進一步加速產(chǎn)業(yè)變革，AI 人才培養(yǎng)也需與時俱進。王海峰發(fā)布了百度人才培養(yǎng)星河計劃，他表示，“我們將與產(chǎn)學研各界密切合作，深化產(chǎn)教融合，為社會再培養(yǎng)500萬大模型人才，讓人工智能科技的‘創(chuàng)新之花’，結(jié)出更多‘產(chǎn)業(yè)之果’，服務國家戰(zhàn)略，服務社會發(fā)展，服務人民福祉！”