百度吳甜分享大模型產(chǎn)業(yè)實踐與文心一言進展

8月5日消息，“科創(chuàng)中國”青年百人會（下文簡稱青百會）聯(lián)合百度在8月1日舉辦“青·創(chuàng)·匯”高端對話，圍繞人工智能技術(shù)創(chuàng)新與產(chǎn)業(yè)發(fā)展交流研討，同時正式成立“科創(chuàng)中國”青年百人會女性工作委員會。該委員會將鼓勵更多女性投身科技創(chuàng)新事業(yè)，為女性科技工作者提供展示交流平臺和職業(yè)發(fā)展支持，為推動科技經(jīng)濟融合工作貢獻女性力量。

圖注：“科創(chuàng)中國”青年百人會女性工作委員會成立儀式

（圖源飛漿PaddlePaddle公眾號，下同）

“科創(chuàng)中國”青百會輪值主席、百度集團副總裁、深度學(xué)習(xí)技術(shù)及應(yīng)用國家工程研究中心副主任吳甜在現(xiàn)場分享了大模型產(chǎn)業(yè)實踐與文心一言的進展。她表示，文心一言是百度在產(chǎn)業(yè)實踐中發(fā)展而來的。2019年，百度推出了文心大模型1.0，然后持續(xù)演進到2.0、3.0版本，今年5月份升級到3.5版本。

“文心大模型3.5相比3月份的版本，效果提升50%，訓(xùn)練速度提升2倍，推理速度提升30倍，這得益于飛槳與文心的協(xié)同優(yōu)化?！眳翘鸱窒淼?，在基礎(chǔ)模型訓(xùn)練方面，文心大模型3.5采用了飛槳最先進的自適應(yīng)混合并行訓(xùn)練技術(shù)及混合精度計算策略，并采用多種策略優(yōu)化數(shù)據(jù)源及數(shù)據(jù)分布，加快了模型迭代速度，提升了模型效果和安全性。同時，創(chuàng)新了多類型多階段有監(jiān)督精調(diào)、多層次多粒度獎勵模型、多損失函數(shù)混合優(yōu)化策略、雙飛輪結(jié)合的模型優(yōu)化等技術(shù)，進一步提升模型效果及場景適配能力。此外，文心大模型3.5新增插件機制，擴增了大模型的能力邊界。

大語言模型在產(chǎn)業(yè)中的應(yīng)用非常廣泛，吳甜表示百度各產(chǎn)品基于文心一言重構(gòu)應(yīng)用。例如，百度智能辦公系統(tǒng)“如流”基于文心一言上線了智能總結(jié)、會議智能洞察、超級助手等多個新功能，實現(xiàn)工作模式的范式變革。再如，百度智能編碼助手Comate可根據(jù)自然語言的描述，生成對應(yīng)的代碼片段，支持在代碼編輯區(qū)內(nèi)根據(jù)注釋自動生成代碼，已幫助80%百度工程師提升編程效率。

圖注：“科創(chuàng)中國”青百會輪值主席、百度集團副總裁深度學(xué)習(xí)技術(shù)及應(yīng)用國家工程研究中心副主任吳甜

值得一提的是，吳甜此前接受網(wǎng)易科技等媒體采訪時，就曾表示：“新版本文心一言的能力已經(jīng)超出ChatGPT 3.5，這也是在我們國內(nèi)開展相關(guān)技術(shù)工作重要的里程碑?！彼榻B，IDC最新發(fā)布的《AI大模型技術(shù)能力評估報告，2023》顯示，百度文心大模型3.5拿下12項指標(biāo)的7個滿分，綜合評分第一，算法模型第一，行業(yè)覆蓋第一。

關(guān)于“百模大戰(zhàn)”的終局，吳甜曾表示，“過去短短幾個月時間，大量新的大模型出現(xiàn)，但這是個階段現(xiàn)象，未來各個企業(yè)和機構(gòu)會逐漸找到自己的定位，下一步會走向自己細分的方向，終局只會集中在少量的幾個大模型，但依托幾個少量大模型，會有非常廣泛的應(yīng)用生態(tài)出現(xiàn)?！?/p>

（圖源百度公眾號）