字節(jié)跳動(dòng)推出首款完整支持Transformer模型全流程加速訓(xùn)練引擎

6月28日消息，今日，字節(jié)跳動(dòng)火山翻譯團(tuán)隊(duì)宣布推出LightSeq訓(xùn)練加速引擎，并向全球開發(fā)者開源。這是業(yè)界首款完整支持Transformer模型全流程加速的訓(xùn)練引擎，最快提速能達(dá)到3倍以上。也就是說，以前需要1個(gè)月的時(shí)間來訓(xùn)練一個(gè)超大模型，現(xiàn)在用了這個(gè)訓(xùn)練加速，只需要10天左右，生產(chǎn)效率大幅提升，而成本也節(jié)省下來。