張宇昕：華為云Stack 8.3相關(guān)服務(wù)將于9月底全面上市商用

9月22日消息，華為云CTO張宇昕在華為全聯(lián)接大會(huì)2023主題演講中表示，大模型重塑千行萬業(yè)的背后，是眾多復(fù)雜的技術(shù)挑戰(zhàn)，需要核心技術(shù)的持續(xù)創(chuàng)新和突破。華為云以全局的系統(tǒng)性創(chuàng)新，不斷攻堅(jiān)克難，構(gòu)建AI時(shí)代最佳云底座。

張宇昕指出，隨著大模型出現(xiàn)能力涌現(xiàn)、多模態(tài)融合、MOE等趨勢(shì)，模型參數(shù)將從現(xiàn)在的5400億很快超過數(shù)萬億，對(duì)海量的穩(wěn)定算力、大規(guī)模并行訓(xùn)練、以及整體的架構(gòu)設(shè)計(jì)都提出了更高要求；同時(shí)，數(shù)據(jù)集規(guī)模和Token長(zhǎng)度的激增也將帶來新的挑戰(zhàn)。這些挑戰(zhàn)相互影響、環(huán)環(huán)相扣，可以說大模型及相關(guān)應(yīng)用是迄今為止最復(fù)雜的軟硬件系統(tǒng)工程。

為應(yīng)對(duì)AI時(shí)代的挑戰(zhàn)，華為云實(shí)現(xiàn)了軟硬件結(jié)合的系統(tǒng)性創(chuàng)新：在系統(tǒng)架構(gòu)層，華為云QingTian架構(gòu)全新升級(jí)分布式QingTian架構(gòu)，通過打破計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)的邊界，把過去主從式架構(gòu)升級(jí)為對(duì)等架構(gòu)，極大地提升了AI算力。

基于分布式QingTian架構(gòu)，華為云昇騰AI云服務(wù)提供了算力集群、計(jì)算引擎CANN、AI開發(fā)框架MindSpore和AI開發(fā)平臺(tái)ModelArts，為大模型和AI應(yīng)用的開發(fā)、運(yùn)行提供最佳算力服務(wù)。

圖注：華為全聯(lián)接大會(huì)2023海報(bào)

（圖源華為企業(yè)業(yè)務(wù)公眾號(hào)截圖）

據(jù)張宇昕介紹，在數(shù)據(jù)處理層，華為云提供云上全流程一站式能力，包括數(shù)據(jù)存儲(chǔ)、分析、共享、標(biāo)注方案，讓企業(yè)實(shí)現(xiàn)大模型數(shù)據(jù)“找得到”“存得下”“記得住”“用得了”。

在AI云存儲(chǔ)方面，華為云獨(dú)創(chuàng)了具備220TB超大帶寬和微秒級(jí)超低時(shí)延的內(nèi)存服務(wù)EMS，以此支持NPU/GPU的內(nèi)存擴(kuò)展，可以容納PB級(jí)超大規(guī)模參數(shù)，讓參數(shù)存得下；同時(shí)，基于SFS Turbo文件存儲(chǔ)的大并發(fā)、高吞吐緩存服務(wù)，可提供千萬級(jí)IOPS，將10億條數(shù)據(jù)和元數(shù)據(jù)的準(zhǔn)備時(shí)間從100小時(shí)縮短至5小時(shí)，讓數(shù)據(jù)準(zhǔn)備速度快；此外，基于OBS對(duì)象存儲(chǔ)構(gòu)建的低成本大容量知識(shí)湖服務(wù)，通過深度歸檔、智能存儲(chǔ)分級(jí)和存儲(chǔ)管理統(tǒng)計(jì)平臺(tái)實(shí)現(xiàn)數(shù)據(jù)精細(xì)化管理，數(shù)據(jù)和向量的存儲(chǔ)TCO降低30%，讓海量數(shù)據(jù)存得起。

作為大模型的“超級(jí)外腦”，向量數(shù)據(jù)庫是AI時(shí)代的剛需產(chǎn)品。華為云GaussDB向量數(shù)據(jù)庫具備千億級(jí)大規(guī)模向量數(shù)據(jù)快速查詢更新的能力，檢索規(guī)模提升10倍，查詢時(shí)延<10ms，響應(yīng)速度提升2倍。另外，GaussDB向量數(shù)據(jù)庫具有千維查詢能力，查詢結(jié)果更精準(zhǔn)，助力企業(yè)業(yè)務(wù)更智能。

張宇昕指出，數(shù)據(jù)是大模型的源泉，華為云數(shù)智融合平臺(tái)通過統(tǒng)一的數(shù)據(jù)資源和元數(shù)據(jù)技術(shù)LakeFormation等四大關(guān)鍵技術(shù)為大模型提供更高效、高質(zhì)量的數(shù)據(jù)底座。同時(shí)，華為云全新發(fā)布智能數(shù)據(jù)洞察產(chǎn)品DataArts Insight，對(duì)數(shù)據(jù)資產(chǎn)進(jìn)行了語義擴(kuò)展和領(lǐng)域知識(shí)關(guān)聯(lián)，讓大模型在消費(fèi)階段的調(diào)優(yōu)和推理效率倍增。

圖注：華為云CTO張宇昕

（圖源中國網(wǎng)科學(xué)）

張宇昕表示，為了給大模型高質(zhì)量“供數(shù)”、讓大模型高安全“用數(shù)”，華為云推出了高質(zhì)量、高安全的數(shù)據(jù)要素流通解決方案：基于TICS隱私計(jì)算和區(qū)塊鏈BCS服務(wù)，提供可信數(shù)據(jù)開發(fā)環(huán)境，幫助客戶把高價(jià)值數(shù)據(jù)變成高質(zhì)量數(shù)據(jù)集產(chǎn)品，實(shí)現(xiàn)可用不可見、全流程可溯。EDS交換數(shù)據(jù)空間支持20多種控制策略，讓數(shù)據(jù)在授權(quán)范圍內(nèi)可信地流通。

此外，為了給大模型訓(xùn)練打造安全高效的AI標(biāo)注環(huán)境，華為云推出AI標(biāo)注云桌面，讓分散在各地的標(biāo)注員可以遠(yuǎn)程接入；敏感數(shù)據(jù)始終保存在云端安全專區(qū)，滿足安全合規(guī)的要求；同時(shí)，云端實(shí)時(shí)加載，結(jié)合華為云HDP高清顯示協(xié)議毫秒級(jí)傳輸，實(shí)現(xiàn)圖像本地顯示時(shí)延降低50%以上。

在模型訓(xùn)練層，華為云通過盤古大模型的“5+N+X”的架構(gòu)實(shí)現(xiàn)分層解耦，賦能千行萬業(yè)，讓每個(gè)行業(yè)、每個(gè)企業(yè)基于自己的場(chǎng)景都可以擁有自己的大模型。盤古大模型L0層提供了5個(gè)基礎(chǔ)大模型，包括自然語言大模型、視覺大模型、多模態(tài)大模型、預(yù)測(cè)大模型、科學(xué)計(jì)算大模型，提供滿足行業(yè)場(chǎng)景的多種技能；L1層包括N個(gè)行業(yè)大模型，華為云既可以提供使用行業(yè)公開數(shù)據(jù)訓(xùn)練的行業(yè)通用大模型，也可以基于行業(yè)客戶的自有數(shù)據(jù)，在盤古大模型L0或L1層基礎(chǔ)上，為客戶訓(xùn)練自己的專有大模型；L2層為客戶提供更多專注于具體應(yīng)用場(chǎng)景或特定業(yè)務(wù)的模型，提供開箱即用的模型服務(wù)。

在應(yīng)用開發(fā)層，華為云整合了應(yīng)用開發(fā)需要的開發(fā)生產(chǎn)線、低碼/無碼平臺(tái)、AI應(yīng)用框架及全新的AI應(yīng)用工程套件，讓客戶輕松實(shí)現(xiàn)基于大模型的AI原生應(yīng)用的零門檻構(gòu)建。

圖注：華為云Stack三大核心創(chuàng)新方向

（圖源華為云公眾號(hào)）

例如，大模型應(yīng)用既需要多樣化的AI原生技術(shù)，又需要強(qiáng)大的工程能力，同時(shí)也要具備小顆粒、敏捷部署能力。為此華為云打造了AI應(yīng)用框架：首先，將一系列的AI原生技術(shù)構(gòu)筑成后端服務(wù)，形成BaaS for AI能力，調(diào)用即可得；其次，將大模型的工程經(jīng)驗(yàn)做成工程平臺(tái)，讓開發(fā)者以5倍速全鏈路開發(fā)行業(yè)大模型及應(yīng)用；最后，基于Serverless技術(shù)，通過面向AI全新升級(jí)的FunctionGraph 3.0提供AI的前端開發(fā)框架，利用其“膠水”式拼接能力，將BaaS for AI后端和大模型工程套件快速拼接、無縫集成。

張宇昕表示，華為云這些系統(tǒng)性創(chuàng)新的云服務(wù)能力，可以跨云、網(wǎng)、邊、端等多平臺(tái)，以及公有云，邊緣云、混合云等多形態(tài)，實(shí)現(xiàn)靈活自由的部署和應(yīng)用。對(duì)于建立專屬AI平臺(tái)和大模型的需求，企業(yè)可通過華為云Stack平臺(tái)，在自有數(shù)據(jù)中心部署AI云服務(wù)和大模型的關(guān)鍵產(chǎn)品，一站式建設(shè)專屬大模型。會(huì)上，張宇昕正式發(fā)布華為云Stack 8.3，相關(guān)服務(wù)將于9月底全面上市商用。