快手在GTC大會(huì)發(fā)布大模型訓(xùn)練解決方案
2024-03-22 14:04:58
分享
3月22日消息，近日英偉達(dá)GTC大會(huì)上，快手公布了大模型訓(xùn)練解決方案。據(jù)悉，通過(guò)計(jì)算通信重疊、異構(gòu)存儲(chǔ)利用、通信資源管控、算子優(yōu)化等手段，該方案可支持百萬(wàn)級(jí)別超長(zhǎng)文本訓(xùn)練，并且在訓(xùn)練性能上比sota開(kāi)源方案快30%以上。
更加詳細(xì)情況，請(qǐng)關(guān)注本站最新動(dòng)態(tài)。