4月10日，Techcrunch消息，Meta在本周倫敦舉辦的一場活動中確定，下個月將正式發布Llama 3并且繼續開源。

Meta全球事務總裁Nick Clegg表示，我們希望在下個月，甚至更短的時間內，正式推出新一代基礎模型Llama 3。它將有很多個版本，而且功能也各不相同。

根據Meta的AI副總裁Joelle Pineau透露，Llama 3的參數大約只有1400億左右，將繼續保持高性能，低參數的風格。這對于中小企業和個人開發者來說幫助巨大，可以節省很多成本。

Llama系列模型時類ChatGPT開源模型的鼻祖，早在去年2月，ChatGPT火爆出圈時，全球多個國家、地區皆在嘗試開發類似的產品。雖然已經有一些開源產品，但在功能、能耗等方面與其相差甚遠。

同月，Meta重磅開源了類ChatGPT開源模型LLaMA。隨后，國內外不少科研機構、個人開發者在LLaMA基礎之上，開發了眾多知名開源項目。但LLaMA有一個致命缺點，無法商業化只能用于研究。

LLaMA與ChatGPT同樣是基于Transformers架構演變而來，共有70億、130億、330億和650億參數四種類型，接受了20種不同語言文本的訓練。

數據訓練方面，LLaMA使用公開可用的數據集進行訓練，其中包括開放數據平臺Common Crawl、英文文檔數據集C4、代碼平臺GitHub、維基百科、論文平臺ArXiv等，總體標記數據總量大約在1.4萬億個Tokens左右。

2023年7月，Meta在LLaMA基礎之上訓練、開源了LLaMA 2，擁有70億、130億、340億和700億四種參數。并且這一代終于允許商業化。

Llama 2 預訓練模型接受了2萬億個標記的訓練，上下文長度是Llama 1的兩倍。其微調模型已經接受了超過100 萬個人類注釋的訓練，整體性能非常強悍。

目前，Llama 2也是整個生成式AI開源界應用最多的大模型之一。

本文素材來源Techcrunch，如有侵權請聯系刪除

END

繼續閱讀：

未經允許不得轉載：RPA中國 | RPA全球生態 | 數字化勞動力 | RPA新聞 | 推動中國RPA生態發展 | 流 > Llama 3下月正式發布，繼續開源！