阿里云推出數(shù)字人視頻生成工具Live Portait

8月16日消息，阿里云推出數(shù)字人視頻生成工具Live Portait，上傳一張照片和一段文本或語音即可生成一段開口說話的數(shù)字人視頻，可應(yīng)用于視頻直播、聊天機(jī)器人、企業(yè)營銷等場景。目前，該工具已在魔搭社區(qū)創(chuàng)空間開放體驗(yàn)。

根據(jù)魔搭社區(qū)上的信息顯示，在Live Portait上傳照片后，用戶可選擇文本驅(qū)動(dòng)和音頻驅(qū)動(dòng)兩種方式，文本驅(qū)動(dòng)模式下，該工具提供了普通話、英語、粵語、童聲等28種聲音。

截自魔搭社區(qū)

這次上線的Live Portait工具由運(yùn)動(dòng)模塊和生成模塊組成，采用阿里云自研的口型預(yù)測算法，生成的口型準(zhǔn)確度相比傳統(tǒng)方法大幅提高。在訓(xùn)練階段，Live Portait增加了姿態(tài)的顯式控制，不需要底板視頻也可以生成任意動(dòng)作的視頻，大幅提升數(shù)字人說話的真實(shí)感。此外，通過眼神主動(dòng)控制技術(shù)，Live Portait可以為眼球增加一些自然運(yùn)動(dòng)，使得生成結(jié)果在觀感上更接近真人效果。據(jù)介紹，Live Portait相關(guān)技術(shù)已被CVPR、ICCV等國際AI頂會(huì)收錄。

該工具算法負(fù)責(zé)人張邦表示：“Live Portait集成了團(tuán)隊(duì)多項(xiàng)自研創(chuàng)新技術(shù)，例如僅需單張圖片就能生成逼真的面部動(dòng)畫，突破了傳統(tǒng)對(duì)抗生成網(wǎng)絡(luò)的局限。隨著技術(shù)的進(jìn)一步迭代，圖生視頻有巨大的應(yīng)用空間，有望成為企業(yè)降本增效的生產(chǎn)工具?！?/p>

據(jù)悉，該團(tuán)隊(duì)研究方向涵蓋數(shù)字人、3D模型AI生成、高真實(shí)感渲染、自然人機(jī)交互等領(lǐng)域，目前已發(fā)表50多篇國際頂會(huì)論文。

截自魔搭社區(qū)

阿里巴巴集團(tuán)近日公布2023年六月底止季度業(yè)績。其中，云智能集團(tuán)（包括阿里云及釘釘）收入增長4%至251.23億元，經(jīng)調(diào)整EBITA利潤增長106%至3.87億元。財(cái)報(bào)顯示，阿里云本季度收入增長主要受到存儲(chǔ)、網(wǎng)絡(luò)和AI計(jì)算相關(guān)產(chǎn)品驅(qū)動(dòng)，部分被CDN需求正?；窒龇?。從客戶分布維度，收入增長主要受到金融服務(wù)、教育、電力和汽車行業(yè)驅(qū)動(dòng)，部分被主動(dòng)縮減項(xiàng)目式收入的舉措所抵消。

報(bào)告期內(nèi)，阿里云正把促進(jìn)大模型的生態(tài)繁榮作為首要目標(biāo)，積極發(fā)展大模型的開源社區(qū)。財(cái)報(bào)透露，截至7月底，旗下魔搭社區(qū)集聚了200多萬AI開發(fā)者、1000多個(gè)優(yōu)質(zhì)AI模型，模型累計(jì)下載總量超過4500萬。

截自阿里巴巴2023年六月底止季度業(yè)績公告