阿里開源深度學(xué)習(xí)訓(xùn)練框架EPL 可支持10萬億參數(shù)模型

林月
2022-03-07 16:36

3月7日消息,近日,阿里巴巴宣布完全開源支持10萬億模型的自研分布式深度學(xué)習(xí)訓(xùn)練框架EPL(Easy Parallel Library,原名whale),進(jìn)一步完善深度學(xué)習(xí)生態(tài)。

據(jù)了解,EPL由阿里云機(jī)器學(xué)習(xí)平臺PAI團(tuán)隊(duì)自主研發(fā),PAI是面向開發(fā)者和企業(yè)的機(jī)器學(xué)習(xí)/深度學(xué)習(xí)工程平臺,提供包含數(shù)據(jù)標(biāo)注、模型構(gòu)建、模型訓(xùn)練、編譯優(yōu)化、推理部署在內(nèi)的AI開發(fā)全鏈路服務(wù),內(nèi)置140多種優(yōu)化算法,具備豐富的行業(yè)場景插件,為用戶提供低門檻、高性能的云原生AI工程化能力。

format-jpg

(圖源站長之家)

EPL通過對不同并行化策略進(jìn)行統(tǒng)一抽象、封裝,在一套分布式訓(xùn)練框架中支持多種并行策略,并進(jìn)行顯存、計(jì)算、通信等全方位優(yōu)化來提供易用、高效的分布式訓(xùn)練框架。

EPL適合不同場景的模型,在阿里巴巴內(nèi)部已經(jīng)支持圖像、推薦、語音、視頻、自然語言、多模態(tài)等多樣性的業(yè)務(wù)場景。同時(shí),EPL也支持不同規(guī)模的模型,最大完成了10萬億規(guī)模的M6模型訓(xùn)練,相比之前發(fā)布的大模型GPT-3,M6實(shí)現(xiàn)同等參數(shù)規(guī)模能耗僅為其1%。

最新測試結(jié)果顯示,使用EPL的流水+數(shù)據(jù)并行對Bert Large模型進(jìn)行優(yōu)化,相比于數(shù)據(jù)并行,訓(xùn)練速度提升了66%。

format-jpg

阿里云資深技術(shù)專家九豐表示,未來將在軟硬件一體優(yōu)化、全自動(dòng)策略探索等幾個(gè)探索性方向上持續(xù)投入精力。將EPL完全開源,希望和深度學(xué)習(xí)訓(xùn)練框架的開發(fā)者或深度學(xué)習(xí)從業(yè)者之間有更多更好的交流和共建,持續(xù)完善深度學(xué)習(xí)生態(tài)。

format-jpg

1、該內(nèi)容為作者獨(dú)立觀點(diǎn),不代表電商派觀點(diǎn)或立場,文章為作者本人上傳,版權(quán)歸原作者所有,未經(jīng)允許不得轉(zhuǎn)載。
2、電商號平臺僅提供信息存儲服務(wù),如發(fā)現(xiàn)文章、圖片等侵權(quán)行為,侵權(quán)責(zé)任由作者本人承擔(dān)。
3、如對本稿件有異議或投訴,請聯(lián)系:info@dsb.cn
相關(guān)閱讀
阿里推出NFT解決方案
阿里巴巴旗下阿里官方在社交媒體上宣布其已推出NFT解決方案。
6月14日消息,中金發(fā)布研究報(bào)告稱,維持阿里巴巴“跑贏行業(yè)”評級,目標(biāo)價(jià)137港元。該行指出,阿里計(jì)劃上市后全部派息主要考慮到阿里以TO B業(yè)務(wù)為主,業(yè)務(wù)模式和集團(tuán)TO C業(yè)務(wù)有區(qū)別,具備獨(dú)立條件;獨(dú)立后有利于外部獲客;稅務(wù)籌劃;及股東對阿里持有意愿。阿里巴巴稱,阿里調(diào)價(jià)主要是成本下降和效率提升,希望將價(jià)格優(yōu)勢傳導(dǎo)給客戶從而獲得更多新客戶。
3月17日,據(jù)36氪消息,近日,釘釘已完成一輪人事調(diào)整,阿里巴巴集團(tuán)副總裁庫偉出任釘釘COO。庫偉有豐富的政企大客戶從業(yè)經(jīng)驗(yàn),將主導(dǎo)負(fù)責(zé)釘釘大客戶戰(zhàn)略,以及推動(dòng)釘釘商業(yè)化進(jìn)程。據(jù)悉,加入阿里前,庫偉曾任中國聯(lián)通市場部副總經(jīng)理、聯(lián)通華盛總經(jīng)理。2016年8月底,庫偉加入阿里巴巴,歷任阿里IoT總經(jīng)理、天貓精靈總經(jīng)理等職。
3月2日消息,據(jù)36氪報(bào)道,阿里巴巴與新希望正在醞釀戰(zhàn)略合作。據(jù)介紹,阿里巴巴與新希望合作的一號工程為“最先一公里”計(jì)劃,雙方將聯(lián)合引入農(nóng)業(yè)科學(xué)家優(yōu)質(zhì)資源,聚焦農(nóng)業(yè)關(guān)鍵領(lǐng)域的“卡脖子”難題?!峨娚虉?bào)》了解到,早在2016年,阿里巴巴旗下阿里就與新希望達(dá)成戰(zhàn)略合作。另外,阿里巴巴近年在農(nóng)業(yè)“最先一公里”方面不斷發(fā)力。去年,阿里巴巴在國內(nèi)的五大數(shù)字化產(chǎn)地倉建成投用,覆蓋18個(gè)省份的數(shù)字農(nóng)業(yè)流通網(wǎng)絡(luò)全線開通。
3月17日消息,據(jù)界面消息,36氪報(bào)道稱釘釘于近日完成一輪人事調(diào)整,前聯(lián)通運(yùn)營商高管、阿里IoT總經(jīng)理庫偉已出任釘釘COO,將主導(dǎo)負(fù)責(zé)釘釘大客戶戰(zhàn)略,以及推動(dòng)釘釘商業(yè)化進(jìn)程。對此,釘釘方面回應(yīng)稱,庫偉已于近日加入釘釘,負(fù)責(zé)大客戶戰(zhàn)略,推動(dòng)釘釘更立體的大客戶服務(wù)能力的建設(shè)。據(jù)了解,2016年8月底,庫偉加入阿里巴巴,歷任阿里IoT總經(jīng)理、天貓精靈總經(jīng)理等職。
9月11日消息,阿里巴巴集團(tuán)在港交所發(fā)布自愿公告,宣布阿里智能集團(tuán)主席與首席執(zhí)行官變更。另外,阿里巴巴公司宣布吳泳銘將接替張勇出任阿里智能集團(tuán)代理董事長兼首席執(zhí)行官,委任于2023年9月10日生效。阿里巴巴將繼續(xù)執(zhí)行之前宣布的計(jì)劃,對阿里智能集團(tuán)進(jìn)行分拆,并另行為其委任管理團(tuán)隊(duì)。
3月6日消息,阿里巴巴旗下的阿里宣布將面向日本企業(yè)推廣基于生成式AI基礎(chǔ)模型的商業(yè)提案,并與當(dāng)?shù)刈稍児竞拖到y(tǒng)開發(fā)公司合作。阿里日本服務(wù)公司的區(qū)域總經(jīng)理與謝野正宇表示,計(jì)劃在未來三年內(nèi)將使用該公司模型的項(xiàng)目增加到1000個(gè)以上。
近日,捷信消費(fèi)金融有限公司與阿里巴巴集團(tuán)旗下阿里在杭州簽署戰(zhàn)略合作協(xié)議,雙方將充分發(fā)揮各自的優(yōu)勢,共同拓展數(shù)字金融業(yè)務(wù)。
10月20日消息,據(jù)柳鋼集團(tuán)消息,近日,柳鋼集團(tuán)與阿里巴巴旗下的阿里計(jì)算有限公司簽署框架合作協(xié)議。雙方將協(xié)同推動(dòng)柳鋼集團(tuán)數(shù)字化轉(zhuǎn)型升級,實(shí)現(xiàn)數(shù)字技術(shù)與傳統(tǒng)產(chǎn)業(yè)深度融合,打造中國鋼鐵行業(yè)高質(zhì)量發(fā)展新標(biāo)桿。
天眼查信息顯示,近日,阿里巴巴新加坡控股有限公司申請注冊“阿里元宇宙”、“釘釘元宇宙”、“阿里元宇宙”等商標(biāo),國際分類涉科學(xué)儀器、教育娛樂等。
    亚洲无码高清自拍偷拍自慰av网站,免费高清无码黄色网,欧美一级片免费在线观看,午夜毛片在线观看