字節(jié)跳動開源大模型訓(xùn)練框架veGiantModel

林月
2022-03-17 17:59

3月17日消息,據(jù)IT之家消息,近日,字節(jié)跳動應(yīng)用機器學(xué)習(xí)團隊開源了一款名為veGiantModel的大模型訓(xùn)練框架,主要應(yīng)用于自然語言處理領(lǐng)域的大模型訓(xùn)練,最高可將大模型訓(xùn)練的性能提升6.9倍,大幅降低訓(xùn)練系統(tǒng)的壓力。

目前,字節(jié)跳動旗下的企業(yè)級技術(shù)服務(wù)平臺火山引擎已在其機器學(xué)習(xí)平臺上原生支持了該框架,該平臺正在公測中。

format-jpg

據(jù)了解,自然語言處理是人工智能研究的一個重要領(lǐng)域,旨在幫助計算機理解、解釋和運用人類語言,可應(yīng)用于機器翻譯、個性化推薦和信息提取等領(lǐng)域。

些年,自然語言處理在應(yīng)用方面取得了較為顯著的突破,主要歸功于深度學(xué)習(xí)以及相關(guān)技術(shù)的發(fā)展,尤其是Bert、GPT、GPT-3等大規(guī)模預(yù)訓(xùn)練語言模型的普及。

針對現(xiàn)有訓(xùn)練系統(tǒng)在大模型訓(xùn)練場景下的顯存壓力、計算壓力和通信壓力挑戰(zhàn),字節(jié)跳動應(yīng)用機器學(xué)習(xí)團隊提出了大模型訓(xùn)練框架veGiantModel。大規(guī)模訓(xùn)練模型可以包含更多數(shù)據(jù),表示更多信息,算法表現(xiàn)更加出眾。

format-jpg

與主流開源訓(xùn)練框架的對比測試顯示,veGiantModel的性能表現(xiàn)最好、受網(wǎng)絡(luò)帶寬影響最小,在Tesla V100上較Megatron、DeepSpeed有1.2倍到3.5倍的提升,在Ampere A100上最高可提升6.9倍。

據(jù)報道,近年來,字節(jié)跳動持續(xù)推動技術(shù)開源。2021年,字節(jié)跳動技術(shù)團隊陸續(xù)開源了微服務(wù)中間件CloudWeGo、LightSeq訓(xùn)練加速引擎等30余個重要項目。

字節(jié)跳動相關(guān)技術(shù)負(fù)責(zé)人表示,推廣科技創(chuàng)新成果的應(yīng)用并推行技術(shù)開源一直是公司所倡導(dǎo)的,技術(shù)團隊將持續(xù)通過科技創(chuàng)新為行業(yè)發(fā)展提供更多動力,助力科技更好地造福社會。

format-jpg

1、該內(nèi)容為作者獨立觀點,不代表電商派觀點或立場,文章為作者本人上傳,版權(quán)歸原作者所有,未經(jīng)允許不得轉(zhuǎn)載。
2、電商號平臺僅提供信息存儲服務(wù),如發(fā)現(xiàn)文章、圖片等侵權(quán)行為,侵權(quán)責(zé)任由作者本人承擔(dān)。
3、如對本稿件有異議或投訴,請聯(lián)系:info@dsb.cn
相關(guān)閱讀
2月9日消息,《科創(chuàng)板日報》獲悉,字節(jié)跳動人工智能實驗室 有開展類似ChatGPT和AIGC的相關(guān)研發(fā),未來或為PICO提供技術(shù)支持。對此,PICO方面負(fù)責(zé)人回應(yīng)稱,此消息不實,PICO目前沒有采用類似ChatGPT技術(shù)的產(chǎn)品規(guī)劃。公開資料顯示,字節(jié)AI Lab成立于2016年,其主要研究重點是開發(fā)為字節(jié)跳動內(nèi)容平臺服務(wù)的創(chuàng)新技術(shù),研究領(lǐng)域主要涉及自然語言處理、數(shù)據(jù)挖掘、機器學(xué)習(xí)、語音與音頻等。
2月9日消息,《科創(chuàng)板日報》獲悉,字節(jié)跳動人工智能實驗室 有開展類似ChatGPT和AIGC的相關(guān)研發(fā),未來或為PICO提供技術(shù)支持。據(jù)知情人士透露,PICO目前的業(yè)務(wù)發(fā)展不及預(yù)期,為此字節(jié)AI Lab將在VR內(nèi)容生成上開展更多探索。據(jù)悉,字節(jié)AI Lab成立于2016年,研究領(lǐng)域主要涉及自然語言處理、數(shù)據(jù)挖掘、機器學(xué)習(xí)、語音與音頻等。
10月11日消息,據(jù)Tech星球報道,字節(jié)跳動的視覺技術(shù)負(fù)責(zé)人王長虎已于近期離職。據(jù)悉,王長虎于2017年加入字節(jié)跳動人工智能實驗室,任科學(xué)家、技術(shù)總監(jiān)。其主要研究方向包括計算機視覺、視頻理解、多媒體檢索和機器學(xué)習(xí)等。今年1月,王長虎擔(dān)任字節(jié)跳動的視覺技術(shù)負(fù)責(zé)人。視覺技術(shù)團隊的業(yè)務(wù)包含:通用與垂直業(yè)務(wù)的多模態(tài)內(nèi)容理解、內(nèi)容生態(tài)、熱點理解與挖掘等。
8月18日消息,字節(jié)跳動旗下LLM人工智能機器人“豆包”現(xiàn)已開始小范圍邀請測試,用戶可通過手機號、抖音或者Apple ID登錄。據(jù)了解,“豆包”是字節(jié)跳動公司基于云雀模型開發(fā)的AI工具,提供聊天機器人、寫作助手以及英語學(xué)習(xí)助手等功能?!岸拱避浖跋嚓P(guān)服務(wù)系由北京春田知韻科技有限公司開發(fā)并運營,天眼查資料顯示,該公司由字節(jié)旗下的北京抖音信息有限公司100%控股。
TikTok母公司字節(jié)跳動和微軟合作開展一個被稱為KubeRay的人工智能項目,該項目旨在幫助企業(yè)更有效地管理和運行人工智能應(yīng)用程序。
12月13日消息,北京大學(xué)-字節(jié)跳動“豆包模型系統(tǒng)軟件聯(lián)合實驗室”簽約儀式暨“面向模型的智能化軟件技術(shù)與生態(tài)”學(xué)術(shù)研討會日前在北京大學(xué)英杰交流中心舉行。與會專家們一致認(rèn)為,推動產(chǎn)學(xué)研深度融合對促進(jìn)人工智能核心技術(shù)突破具有重要意義,此次聯(lián)合實驗室的成立是校企協(xié)同創(chuàng)新的重要里程碑,將依托雙方優(yōu)勢,共同推進(jìn)模型系統(tǒng)軟件的技術(shù)創(chuàng)新與應(yīng)用發(fā)展。
10月22日消息,一位知情人士稱,字節(jié)跳動旗下BytePlus正在考慮明年在泰國建立一個數(shù)據(jù)中心,以提供云計算和人工智能服務(wù)。
12月4日消息,據(jù)報道,字節(jié)跳動正在開發(fā)一個開放平臺,允許用戶創(chuàng)建自己的聊天機器人。“機器人開發(fā)平臺”將于本月底推出公開測試版。該公司的通知稱,此舉符合公司的新戰(zhàn)略愿景,即“探索新的生成式人工智能產(chǎn)品以及它們?nèi)绾闻c現(xiàn)有產(chǎn)品集成”。
9月19日消息,火山引擎在其舉辦的“V-Tech數(shù)據(jù)驅(qū)動科技峰會”上宣布,火山引擎數(shù)智平臺VeDI推出“AI助手”,通過接入人工智能模型,幫助企業(yè)提升數(shù)據(jù)處理和查詢分析的效率。目前,VeDI相關(guān)數(shù)據(jù)產(chǎn)品已啟動邀測。
3月15日消息,據(jù)全天候科技,阿聯(lián)酋人工智能公司G42被曝入股字節(jié)跳動,對后者估值約2200億美元。有接近字節(jié)跳動的人士表示:“字節(jié)近期沒有新融資行為和計劃?!?/div>
    亚洲无码高清自拍偷拍自慰av网站,免费高清无码黄色网,欧美一级片免费在线观看,午夜毛片在线观看