亞馬遜將投資數(shù)百萬(wàn)美元訓(xùn)練大型語(yǔ)言模型Olympus

11月8日消息，據(jù)媒體報(bào)道，兩位知情人士透露，亞馬遜將投資數(shù)百萬(wàn)美元訓(xùn)練大型語(yǔ)言模型（LLM），希望它能與OpenAI和Alphabet的大模型相媲美。亞馬遜人工智能模型的內(nèi)部代號(hào)為“Olympus”，該模型擁有2萬(wàn)億個(gè)參數(shù)，而OpenAI的GPT-4模型據(jù)傳只有1萬(wàn)億個(gè)參數(shù)。亞馬遜拒絕對(duì)此消息發(fā)表評(píng)論。

圖截自INSIDER

據(jù)報(bào)道，該團(tuán)隊(duì)由亞馬遜語(yǔ)音助手Alexa的前負(fù)責(zé)人Rohit Prasad領(lǐng)導(dǎo)，他現(xiàn)在直接向首席執(zhí)行官安迪·賈西（Andy Jassy）匯報(bào)工作。同時(shí)，作為亞馬遜通用人工智能（AGI）的首席科學(xué)家，Prasad請(qǐng)來(lái)了Alexa人工智能的研究人員和亞馬遜科學(xué)團(tuán)隊(duì)的研究人員，共同著手開(kāi)發(fā)“Olympus”模型，用專(zhuān)門(mén)的資源將整個(gè)公司的AI工作整合在一起。

截至目前，亞馬遜已經(jīng)訓(xùn)練出了泰坦（Titan）等規(guī)模較小的模型，并與Anthropic和AI21 Labs等初創(chuàng)公司達(dá)成了合作，向亞馬遜網(wǎng)絡(luò)服務(wù)（AWS）用戶(hù)提供這些模型。不過(guò)，缺乏自有的模型對(duì)亞馬遜來(lái)說(shuō)始終是個(gè)問(wèn)題。

知情人士稱(chēng)，亞馬遜認(rèn)為，擁有自主開(kāi)發(fā)的人工智能模型可以使其在AWS上的產(chǎn)品更具吸引力，因?yàn)槠髽I(yè)客戶(hù)總是希望訪(fǎng)問(wèn)性能最好的模型。目前亞馬遜還沒(méi)有制定發(fā)布新模型的具體時(shí)間表。

圖截自INSIDER

早在今年4月的財(cái)報(bào)電話(huà)會(huì)議上，亞馬遜高管就已經(jīng)表示，該公司將增加對(duì)大型語(yǔ)言模型和生成式人工智能的投資。

4月13日，亞馬遜宣布推出Amazon Bedrock服務(wù)和Titan大語(yǔ)言模型。通過(guò)Bedrock服務(wù)，亞馬遜向開(kāi)發(fā)者提供大語(yǔ)言模型Titan。其中，一種Titan模型可以為博客帖子、電子郵件或其它文檔生成文本，另一種是嵌入式大語(yǔ)言模型，可以將文本輸入進(jìn)行轉(zhuǎn)換，適合搜索等用途。

在同一天發(fā)布的2022年度股東信中，亞馬遜CEO安迪·賈西表示，亞馬遜開(kāi)發(fā)自己的大型語(yǔ)言模型已經(jīng)有一段時(shí)間了，相信它將改善幾乎每一個(gè)客戶(hù)的體驗(yàn)。大型語(yǔ)言模型（LLM）和生成式AI是亞馬遜正在大力投資的領(lǐng)域，在未來(lái)幾十年里，這將是亞馬遜在每一個(gè)領(lǐng)域都實(shí)現(xiàn)創(chuàng)新的核心。

圖截自亞馬遜官網(wǎng)