1月19日，全球社交、科技巨頭Meta的聯(lián)合創(chuàng)始人兼首席執(zhí)行官-Zuck（扎克伯格）在is宣布，正在訓(xùn)練Llama 3并且以負(fù)責(zé)任地方式繼續(xù)開(kāi)源。

Zuck表示，預(yù)計(jì)到2024年底，Meta將擁有350,000塊H100，如果算上其他算力資源將達(dá)到近600,000塊H100。

所以，Meta有足夠的AI算力資源來(lái)支持其生成式AI和FAIR（旗下AI部門(mén)）的技術(shù)研究。未來(lái)，會(huì)公布更多的產(chǎn)品消息。

去年8月，就有過(guò)傳言Meta正在訓(xùn)練Llama 3。現(xiàn)在，官方正式確認(rèn)，這對(duì)于企業(yè)、個(gè)人開(kāi)發(fā)者來(lái)說(shuō)都是一個(gè)好消息，可以繼續(xù)以開(kāi)源的方式使用與GPT-4、Gemini Ultra相媲美的大模型。

扎克伯格確認(rèn)Llama 3和現(xiàn)有A源I算力資

類(lèi)ChatGPT開(kāi)源模型鼻祖——Llama

早在去年2月，ChatGPT火爆出圈時(shí)，全球多個(gè)國(guó)家、地區(qū)皆在嘗試開(kāi)發(fā)類(lèi)似的產(chǎn)品。雖然已經(jīng)有一些開(kāi)源產(chǎn)品，但在功能、能耗等方面與其相差甚遠(yuǎn)。

同月，Meta重磅開(kāi)源了類(lèi)ChatGPT開(kāi)源模型LLaMA。隨后，國(guó)內(nèi)外不少科研機(jī)構(gòu)、個(gè)人開(kāi)發(fā)者在LLaMA基礎(chǔ)之上，開(kāi)發(fā)了眾多知名開(kāi)源項(xiàng)目。但LLaMA有一個(gè)致命缺點(diǎn)，無(wú)法商業(yè)化只能用于研究。

LLaMA與ChatGPT同樣是基于Transformers架構(gòu)演變而來(lái)，共有70億、130億、330億和650億參數(shù)四種類(lèi)型，接受了20種不同語(yǔ)言文本的訓(xùn)練。

數(shù)據(jù)訓(xùn)練方面，LLaMA使用公開(kāi)可用的數(shù)據(jù)集進(jìn)行訓(xùn)練，其中包括開(kāi)放數(shù)據(jù)平臺(tái)Common Crawl、英文文檔數(shù)據(jù)集C4、代碼平臺(tái)GitHub、維基百科、論文平臺(tái)ArXiv等，總體標(biāo)記數(shù)據(jù)總量大約在1.4萬(wàn)億個(gè)Tokens左右。

Meta認(rèn)為，在更多標(biāo)記（單詞）上訓(xùn)練的較小模型，更容易針對(duì)特定的潛在產(chǎn)品用例進(jìn)行再訓(xùn)練和微調(diào)，同時(shí)性能也更加聚焦。

2023年7月，Meta在LLaMA基礎(chǔ)之上訓(xùn)練、開(kāi)源了LLaMA 2，擁有70億、130億、340億和700億四種參數(shù)，并且這一代終于允許商業(yè)化。

Llama 2 預(yù)訓(xùn)練模型接受了2萬(wàn)億個(gè)標(biāo)記的訓(xùn)練，上下文長(zhǎng)度是Llama 1的兩倍。其微調(diào)模型已經(jīng)接受了超過(guò)100 萬(wàn)個(gè)人類(lèi)注釋的訓(xùn)練，整體性能非常強(qiáng)悍。

目前，Llama 2也是整個(gè)生成式AI開(kāi)源界應(yīng)用最多的大模型之一。

開(kāi)源生成式AI聯(lián)盟主力軍——Meta

看到生成式AI的龐大場(chǎng)景化落地，Meta已經(jīng)將其列為重要發(fā)展賽道。

為了對(duì)抗OpenAI、谷歌為代表的閉源陣營(yíng)，去年12月，Meta聯(lián)合甲骨文、英特爾、AMD、IBM、索尼、戴爾等57家科技、學(xué)術(shù)研究等知名機(jī)構(gòu)組成了“AI聯(lián)盟”。

這個(gè)聯(lián)盟有6大目標(biāo)，其中重要一項(xiàng)便是要搭建開(kāi)源大模型生態(tài)，包括從研究、評(píng)估、硬件、安全、公眾參與等一整套流程。

事實(shí)上，Meta作為這個(gè)聯(lián)盟的主要發(fā)起者和“盟主”，在2023年，除了LLaMA，還開(kāi)源了一系列重要模型。

開(kāi)源文本生成音樂(lè)模型Audiocraft：這是一個(gè)混合模型，由MusicGen、AudioGen和EnCodec組合而成。用戶僅用文本就能生成鳥(niǎo)叫、汽車(chē)?yán)嚷暋⒛_步等背景音頻，或更復(fù)雜的音樂(lè)，適用于游戲開(kāi)發(fā)、社交、視頻配音等業(yè)務(wù)場(chǎng)景。

最大公開(kāi)多模態(tài)視頻數(shù)據(jù)集—Ego-Exo4D：該數(shù)據(jù)集收集了來(lái)自13個(gè)城市839名參與者的視頻,總時(shí)長(zhǎng)超過(guò)1400小時(shí),包含舞蹈、足球、籃球、攀巖、音樂(lè)、烹飪、自行車(chē)維修等8大類(lèi)，131個(gè)復(fù)雜場(chǎng)景動(dòng)作。這使得AI模型更好地理解人類(lèi)的行為，有助于開(kāi)發(fā)出更強(qiáng)大的多模態(tài)大模型。

開(kāi)源視覺(jué)模型DINOv2：采用了一種新的高性能計(jì)算機(jī)視覺(jué)模型的方法，無(wú)需微調(diào)具備自我監(jiān)督學(xué)習(xí)(SSL)，可以從任何圖像集合中學(xué)習(xí)。還可以學(xué)習(xí)當(dāng)前標(biāo)準(zhǔn)方法無(wú)法學(xué)習(xí)的特征，例如，深度估計(jì)。

可以預(yù)見(jiàn)，2024年，Meta將繼續(xù)揚(yáng)帆起航，開(kāi)源更多的重磅產(chǎn)品造福全球開(kāi)發(fā)者和企業(yè)。

本文素材來(lái)源Meta官網(wǎng)、扎克伯格is，如有侵權(quán)請(qǐng)聯(lián)系刪除

繼續(xù)閱讀：

未經(jīng)允許不得轉(zhuǎn)載：RPA中國(guó) | RPA全球生態(tài) | 數(shù)字化勞動(dòng)力 | RPA新聞 | 推動(dòng)中國(guó)RPA生態(tài)發(fā)展 | 流 > 官宣！Meta正在訓(xùn)練Llama 3，將繼續(xù)開(kāi)源