京東言犀AI開(kāi)發(fā)計(jì)算平臺(tái)將于8月上線

7月21日消息，在近日舉辦的2023京東全球科技探索者大會(huì)-數(shù)字基礎(chǔ)設(shè)施分論壇上，京東云推出大模型數(shù)字基礎(chǔ)設(shè)施矩陣，包括言犀AI開(kāi)發(fā)計(jì)算平臺(tái)、混合多云操作系統(tǒng)云艦、高性能存儲(chǔ)平臺(tái)云海、軟硬一體虛擬化引擎京剛、向量數(shù)據(jù)庫(kù)等，助推大模型服務(wù)千行百業(yè)。

京東集團(tuán)技術(shù)委員會(huì)主席、京東云事業(yè)部總裁曹鵬宣布，京東言犀AI開(kāi)發(fā)計(jì)算平臺(tái)將于8月上線。

（圖源：京東云官微，下同）

據(jù)了解，言犀AI開(kāi)發(fā)計(jì)算平臺(tái)沉淀了京東在零售、物流、健康、金融等行業(yè)多年積累的知識(shí)，通過(guò)算法工具集成到平臺(tái)，并部署了京東技術(shù)團(tuán)隊(duì)開(kāi)發(fā)出的100多種訓(xùn)練和推理優(yōu)化工具，結(jié)合低代碼應(yīng)用平臺(tái)，為客戶(hù)提供從數(shù)據(jù)建設(shè)到模型應(yīng)用的一站式服務(wù)。

不到一周時(shí)間，用戶(hù)即可完成從數(shù)據(jù)準(zhǔn)備、模型訓(xùn)練到模型部署的全流程；之前需要10余人的科學(xué)家團(tuán)隊(duì)工作，現(xiàn)在只需要1-2個(gè)算法人員；通過(guò)平臺(tái)模型加速工具優(yōu)化，節(jié)約90%的推理成本。

此外，京東豐富的業(yè)務(wù)場(chǎng)景，可以為平臺(tái)上的基礎(chǔ)大模型提供具體的行業(yè)應(yīng)用場(chǎng)景，促進(jìn)入駐企業(yè)加速基于大模型的商業(yè)化落地。

在高性能HPC方面，言犀大模型開(kāi)發(fā)計(jì)算平臺(tái)可提供GPU、CPU、IPU等各類(lèi)型算力資源，可以針對(duì)推理速度、推理成本以及模型大小不同的業(yè)務(wù)需求，提供定制化解決方案。同時(shí)，平臺(tái)還能為入駐企業(yè)提供大模型開(kāi)發(fā)應(yīng)用的各種硬件資源的支持。

大模型訓(xùn)練與應(yīng)用對(duì)數(shù)字基礎(chǔ)設(shè)施提出了更高的要求，基于此，京東在會(huì)上展示了大模型數(shù)字基礎(chǔ)設(shè)施全景圖。京東云混合多云操作系統(tǒng)云艦3.0，通過(guò)創(chuàng)新的異構(gòu)計(jì)算池化技術(shù)，實(shí)現(xiàn)GPU/NPU資源成本下降50%。

同時(shí)，全新的高性能存儲(chǔ)平臺(tái)云海2.0，可支持千億級(jí)參數(shù)AI大模型，單集群每秒讀寫(xiě)性能提升5倍，達(dá)到行業(yè)領(lǐng)先的千萬(wàn)級(jí)，多故障演練場(chǎng)景下1秒內(nèi)恢復(fù)業(yè)務(wù)。

截至目前，京東云已服務(wù)2048家大型企業(yè)、914家金融機(jī)構(gòu)和超250萬(wàn)家中小微企業(yè)。