快手劉凌志：大模型在音視頻上的應(yīng)用更加復(fù)雜

8月26日消息，2023浪潮信息新產(chǎn)品“互聯(lián)網(wǎng)+AIGC”行業(yè)巡展暨大模型智算軟件棧OGAI發(fā)布會(huì)于8月24日在北京舉辦。作為浪潮信息合作伙伴，快手StreamLake深入?yún)⑴c此次大會(huì)，快手異構(gòu)計(jì)算負(fù)責(zé)人劉凌志博士進(jìn)行了《“芯”驅(qū)動(dòng)：釋放智能視頻之力 》主題演講，重點(diǎn)分享了快手SL200芯片的最新進(jìn)展，介紹了智能視頻SOC芯片的典型架構(gòu)和主要功能，以及基于此芯片搭建的智能視頻處理云端基礎(chǔ)設(shè)施，展示在多種場景所表現(xiàn)的優(yōu)異性能，并在圓桌論壇環(huán)節(jié)與嘉賓們探討了如何與上下游企業(yè)進(jìn)行深度合作。

“在AI大模型進(jìn)入AGI時(shí)代的過程中，快手緊跟大模型應(yīng)用浪潮，在搜廣推場景、內(nèi)容創(chuàng)作、提高研發(fā)效能等方面持續(xù)深耕大模型領(lǐng)域，并于近期發(fā)布了“快意”大語言模型，在CMMLU中文向排名中，KwaiYii-13B同時(shí)位列five-shot和zero-shot第一?！?/p>

劉凌志指出，大模型在音視頻上的應(yīng)用更加復(fù)雜。根據(jù)音視頻第一性的原理，音視頻主要是要解決清晰度、成本和流暢度三個(gè)問題，需要在這三者之間做到平衡。在此過程中，處在核心地位的就是視頻的壓縮和增強(qiáng)。

快手的大模型和視頻編解碼如何結(jié)合？劉凌志表示，在傳統(tǒng)生產(chǎn)和消費(fèi)的過程中，生產(chǎn)端視頻首先經(jīng)過編碼器產(chǎn)生碼流并傳送到消費(fèi)端，消費(fèi)端通過解碼器把視頻解碼出視頻展示出來。利用大模型來做視頻壓縮和增強(qiáng)，視頻通過理解網(wǎng)絡(luò)生成出高維特征，并傳輸Text和Prompt，這是一個(gè)非常小的信息量，用戶通過生成網(wǎng)絡(luò)大模型再把視頻恢復(fù)出來，這樣可以極大地減少傳輸成本，得到更好的效果。

圖注：快手異構(gòu)計(jì)算負(fù)責(zé)人劉凌志

（圖源StreamLake溪流湖公眾號(hào)，下同）

在劉凌志看來，快手在大模型和視頻領(lǐng)域面對(duì)的挑戰(zhàn)歸根到底是大算力的挑戰(zhàn)，包括視頻算力挑戰(zhàn)和大模型算力挑戰(zhàn)兩個(gè)方面。

劉凌志表示，快手構(gòu)建了大規(guī)模的基礎(chǔ)設(shè)施，來支撐主站、電商、商業(yè)化、本地生活和海外在內(nèi)的產(chǎn)品矩陣。快手核心技術(shù)包括音視頻、AI和數(shù)據(jù)中心三大類，每一類技術(shù)都需要十分龐大的基礎(chǔ)設(shè)施，比如千萬級(jí)別的CPU核、10萬級(jí)別的GPU和算力、10EB級(jí)別的數(shù)據(jù)存儲(chǔ)，帶寬需求也到了100TB規(guī)模。

為此，快手搭建了大模型架構(gòu)體系。通過AI算力中心、平臺(tái)、數(shù)據(jù)等高性能、高并發(fā)、高算力的大基建，可以支撐快手多模態(tài)大模型，而多模態(tài)大模型通過生成或理解，可以支持快手的搜廣推、AIGC、增長或研發(fā)效能等大應(yīng)用。

更進(jìn)一步來看，快手AI大基建的數(shù)據(jù)已有日均數(shù)千萬的短視頻和數(shù)千萬小時(shí)的直播，一方面是傳輸給用戶，另一方面也是作為輸入持續(xù)不斷的輸送到大模型之中，不斷打磨大模型，達(dá)到更佳的效果。劉凌志強(qiáng)調(diào)，“更重要的是，我們?cè)谒懔χ行睦锩孢M(jìn)行了比較深入的開發(fā)，這個(gè)深入開發(fā)最終體現(xiàn)在自研芯片SL200上?！?/p>

劉凌志指出，SL200也已實(shí)現(xiàn)了智能視頻的處理，這在未來視頻領(lǐng)域尤其重要，在同樣主觀質(zhì)量下，可以繼續(xù)降低20%以上的帶寬。

據(jù)悉，快手SL200已達(dá)到行業(yè)領(lǐng)先的壓縮效率，客觀質(zhì)量相比X265medium可以節(jié)省30%碼率，單卡可以支持8K120幀/秒的處理或者8路4K60幀/秒的處理，內(nèi)置智能畫質(zhì)處理引擎，支持內(nèi)容自適應(yīng)編碼。

劉凌志認(rèn)為，從芯片設(shè)計(jì)來看，進(jìn)入到智能視頻時(shí)代，需要的是一個(gè)具有多種功能的SOC芯片。這就要求芯片不僅要有高質(zhì)量高密度的編解碼器，還需要有能夠支持實(shí)時(shí)視頻處理的AI引擎。另外，為了支持未來視頻算法的迭代，需要有較強(qiáng)的可編程的能力，所以SL200集成了多核GPGPU和高性能多核CPU，RISC-V處理器，以及數(shù)據(jù)中心里面的功耗檢測、溫度檢測等功能，為了保護(hù)用戶的隱私也需要內(nèi)嵌硬件安全模塊。

劉凌志透露，基于SL200芯片，快手自研了板卡、服務(wù)器，也與浪潮等合作開發(fā)了云服務(wù)器，同時(shí)搭建了算力中心，開發(fā)了全套自主軟硬件的生態(tài)系統(tǒng)，已經(jīng)在快手部署了數(shù)萬片，并在各大公有云廠商進(jìn)行測試。