全球科技巨頭Meta在社交平臺開源了，3個專業代碼大語言模型Code Llama 70B、CodeLlama-70B-Python和CodeLlama-70B-Instruct。

據悉，這三款模型都是基于Meta的Llama 2開發而成，比去年發布的三款70億、130億、340億三款專業代碼模型參數更大，這也是截至目前參數最大、功能最強的純代碼模型之一。

就連Meta聯合創始人扎克伯格都為Code Llama 70B代碼模型站臺官宣，可見其性能以及Meta對其重視程度。

Github地址：https://github.com/facebookresearch/codellama?ref=maginative.com

模型權重下載地址：https://ai.meta.com/resources/models-and-libraries/llama-downloads/

由于Meta暫時沒有公布Code Llama 70B的論文，「AIGC開放社區」就用Meta曾經發布的Code Llama論文為大家介紹下。

論文下載地址：https://ai.meta.com/research/publications/code-llama-open-foundation-models-for-code/

Code Llama是基于目前最強開源大語言模型Llama 2開發而成，在代碼和文本數據上進行預訓練、微調，提升代碼生成和理解能力。

目前，一共有70億、130億、340億和700億四種參數。除了基礎模型之外，還有Python和Instruct兩種特殊微調模型，每個模型都使用了5000億tokens優質代碼數據進行訓練。

其中，70億和130億的 Code Llama模型采用了多任務目標，包括自回歸和因果填充預測方法。為了提升輸入擴展，研究人員進行了額外的微調步驟，將上下文長度從4,096tokens擴展到了100,000tokens。

Python是目前代碼生成方面最高效、應用最廣的編程語言之一，并且Python 和 PyTorch 在AI 社區中發揮著重要作用。

所以，Meta推出了針對Python的代碼模型。該模型在 1000億標記的優質Python代碼進行微調。

Code Llama - Instruct 則是 Code Llama 針對自然文本指令微調的模型，該模型支持自然文本輸入和輸出。

如果你想使用文本生成代碼，Meta建議使用該模型，因為Code Llama - Instruct已經過數據微調理解自然文本更好并且生成的代碼更符合開發人員要求。

資源消耗方面，70億參數模型可在單個GPU上運行。340億參數模型可返回最佳結果并提供更好的編程輔助，但資源消耗更大。所以，本次發布的700億參數模型，在AI算力方面也比前三個消耗更多。

根據Meta公布的消息，Code Llama 70B 在 HumanEval 基準測試中的準確率達到 53%，比 GPT-3.5 的 48.1% 表現更好，更接近OpenAI的GPT-4 67%，是目前性能最強的開源代碼模型之一。

此外，Code Llama 70B的多語言支持、子任務執行、內容安全方面，也是同類開源模型中最佳之一。

本文素材來源Code Llama論文，如有侵權請聯系刪除

繼續閱讀：

未經允許不得轉載：RPA中國 | RPA全球生態 | 數字化勞動力 | RPA新聞 | 推動中國RPA生態發展 | 流 > 700億參數，可商用！Meta開源3個最強代碼大模型