全球AI領導者英偉達（Nvidia）和著名開源大模型平臺Mistral.ai聯合開源了，企業(yè)級大模型Mistral NeMo 12B。（以下簡稱“MN 12B”）

據悉，MN 12B一共有基礎和指令微調兩種模型，支持128K上下文長度，能生成文本、代碼、摘要等，其性能比最新開源的Gemma 2更好。

基礎模型開源地址：https://huggingface.co/mistralai/Mistral-Nemo-Base-2407

指令微調模型：https://huggingface.co/mistralai/Mistral-Nemo-Instruct-2407

MN 12B在多輪對話、數學、常識推理、世界知識以及編碼方面表現出色，比谷歌開源的Gemma 2 9B、Meta開源的Llama 3 8B 性能更好。支持128K的上下文長度，能夠更連貫、更準確地處理大量復雜信息。

MN 12B以Apache 2.0許可證發(fā)布，允許企業(yè)、個人開發(fā)者進行商業(yè)化基礎訓練和微調。此外，模型采用FP8數據格式進行模型推理，極大減少了內存大小并加快了部署速度，同時沒有任何準確性的降低。這意味著模型可以更好地學習任務，更有效地處理多樣化的場景，使其非常適合企業(yè)級業(yè)務用例。

MN 12B作為NVIDIANIM推理微服務的一部分，使用了NVIDIA TensorRT-LLM引擎的優(yōu)化推理性能。這種容器化格式允許在任何地方輕松部署，為各種應用提供了增強的靈活性，模型可以在幾分鐘內部署在任何地方，無需耗費幾天的時間。

在多語言方面，MN 12B支持英語、中文、法語、德語、西班牙語、意大利語、葡萄牙語、日語、韓語、阿拉伯語等主流語言，在MMLU等多語言基準測試中超過了同類開源模型。

此外，MN 12B使用了一種基于Tiktoken的更高效分詞器Tekken。該分詞器經過100多種語言的訓練，比之前Mistral模型中使用的 SentencePiece 分詞器更有效地壓縮自然語言文本和源代碼。

尤其是在壓縮源代碼、中文、意大利語、法語、德語、西班牙語和俄語時，效率提升了大約30%。在壓縮韓語和阿拉伯語時效率相比之前，分別提升了2倍和3倍。

Mistral AI的創(chuàng)始人兼首席科學家Guillaume Lample表示，Mistral NeMo結合了Mistral AI在訓練數據方面的專長與NVIDIA優(yōu)化的硬件和軟件生態(tài)系統為各種應用場景提供了高性能。

本次與NVIDIA團隊的合作，借助其頂級的硬件和軟件，共同開發(fā)出了具有前所未有的準確度、靈活性、高效性的企業(yè)級大模型。

本文素材來源英偉達官網，如有侵權請聯系刪除

繼續(xù)閱讀：

未經允許不得轉載：RPA中國 | RPA全球生態(tài) | 數字化勞動力 | RPA新聞 | 推動中國RPA生態(tài)發(fā)展 | 流 > 英偉達、Mistral AI 開源企業(yè)級大模型，120億參數、可商用