京東言犀AI開發(fā)計算平臺將于8月上線

7月21日消息，在近日舉辦的2023京東全球科技探索者大會-數(shù)字基礎(chǔ)設(shè)施分論壇上，京東云推出大模型數(shù)字基礎(chǔ)設(shè)施矩陣，包括言犀AI開發(fā)計算平臺、混合多云操作系統(tǒng)云艦、高性能存儲平臺云海、軟硬一體虛擬化引擎京剛、向量數(shù)據(jù)庫等，助推大模型服務(wù)千行百業(yè)。

京東集團技術(shù)委員會主席、京東云事業(yè)部總裁曹鵬宣布，京東言犀AI開發(fā)計算平臺將于8月上線。

（圖源：京東云官微，下同）

據(jù)了解，言犀AI開發(fā)計算平臺沉淀了京東在零售、物流、健康、金融等行業(yè)多年積累的知識，通過算法工具集成到平臺，并部署了京東技術(shù)團隊開發(fā)出的100多種訓(xùn)練和推理優(yōu)化工具，結(jié)合低代碼應(yīng)用平臺，為客戶提供從數(shù)據(jù)建設(shè)到模型應(yīng)用的一站式服務(wù)。

不到一周時間，用戶即可完成從數(shù)據(jù)準備、模型訓(xùn)練到模型部署的全流程；之前需要10余人的科學(xué)家團隊工作，現(xiàn)在只需要1-2個算法人員；通過平臺模型加速工具優(yōu)化，節(jié)約90%的推理成本。

此外，京東豐富的業(yè)務(wù)場景，可以為平臺上的基礎(chǔ)大模型提供具體的行業(yè)應(yīng)用場景，促進入駐企業(yè)加速基于大模型的商業(yè)化落地。

在高性能HPC方面，言犀大模型開發(fā)計算平臺可提供GPU、CPU、IPU等各類型算力資源，可以針對推理速度、推理成本以及模型大小不同的業(yè)務(wù)需求，提供定制化解決方案。同時，平臺還能為入駐企業(yè)提供大模型開發(fā)應(yīng)用的各種硬件資源的支持。

大模型訓(xùn)練與應(yīng)用對數(shù)字基礎(chǔ)設(shè)施提出了更高的要求，基于此，京東在會上展示了大模型數(shù)字基礎(chǔ)設(shè)施全景圖。京東云混合多云操作系統(tǒng)云艦3.0，通過創(chuàng)新的異構(gòu)計算池化技術(shù)，實現(xiàn)GPU/NPU資源成本下降50%。

同時，全新的高性能存儲平臺云海2.0，可支持千億級參數(shù)AI大模型，單集群每秒讀寫性能提升5倍，達到行業(yè)領(lǐng)先的千萬級，多故障演練場景下1秒內(nèi)恢復(fù)業(yè)務(wù)。

截至目前，京東云已服務(wù)2048家大型企業(yè)、914家金融機構(gòu)和超250萬家中小微企業(yè)。