3月28日，著名數(shù)據(jù)和AI平臺Databricks在官網(wǎng)正式開源大模型——DBRX。

DBRX是一個專家混合模型（MoE）有1320億參數(shù)，能生成文本/代碼、數(shù)學(xué)推理等，有基礎(chǔ)和微調(diào)兩種模型。

根據(jù)DBRX在MMLU、HumanEval和 GSM8K公布的測試數(shù)據(jù)顯示，不僅性能超過了LLaMA2-70B和馬斯克最近開源的Grok-1，推理效率比LLaMA2-70B快2倍，總參數(shù)卻只有Grok-1的三分之一，是一款功能強算力消耗低的大模型。

基礎(chǔ)模型：https://huggingface.co/databricks/dbrx-base

微調(diào)模型：https://huggingface.co/databricks/dbrx-instruct

Github：https://github.com/databricks/dbrx

在線demo：https://huggingface.co/spaces/databricks/dbrx-instruct

Databricks作為數(shù)據(jù)管理領(lǐng)域的超級獨角獸，為了抓住生成式AI的風(fēng)口，2023年6月26日曾以13億美元的天價，收購了大模型開源平臺MosaicML。

MosaicML曾在2023年5月5日發(fā)布了類ChatGPT開源大語言模型MPT-7B。（開源地址：https://huggingface.co/mosaicml/mpt-7b）該項目具備可商業(yè)化、高性能、算力消耗低、1T訓(xùn)練數(shù)據(jù)等技術(shù)優(yōu)勢。

MPT-7B只進行了大約10天的訓(xùn)練，零人工干預(yù)，訓(xùn)練成本僅用了20萬美元。性能卻打敗了LLaMA-7B、StablelM-7B 、Cerebras-13B等當時知名開源模型。

截至目前，MPT-7B的下載量已超過300萬次，而Databricks此次發(fā)布的DBRX在MPT-7B基礎(chǔ)之上進行了大幅度優(yōu)化并且將算力需求降低了4倍。

DBRX簡單介紹

DBRX是一款基于Transformer的MoE架構(gòu)大模型，1320億參數(shù)中的360億參數(shù)處于長期激活狀態(tài)。

這與其它開源的MoE類型模型如Mixtral、Grok-1相比，DBRX使用了數(shù)量更多的小專家模型。DBRX有16個專家并選擇4個，而Mixtral和Grok-1有8個專家并選擇了2個。

DBRX使用了12T的文本和代碼數(shù)據(jù)（支持中文），支持 32k上下文窗口，并在3072 個 英偉達的 H100 上進行了3個月的預(yù)訓(xùn)練。

DBRX除了與開源模型進行了對比之外，還與OpenAI的GPT系列、谷歌的Gemini以及Anthropic最新發(fā)布的Claude 3系列進行了同臺競技。

MMLU、HellaSwag、WinoGrande、HumanEval等綜合測試結(jié)果顯示，DBRX推理、數(shù)學(xué)解答、語言理解、代碼等能力超過了GPT-3.5，性能與谷歌的Gemini 1.0 Pro 性能差不多。

什么是專家混合模型

MoE模型全稱為Mixture of Experts，其核心原理是將一個龐大的神經(jīng)網(wǎng)絡(luò)分解為多個相對獨立的小型子網(wǎng)絡(luò)(即專家),每個專家負責(zé)處理輸入數(shù)據(jù)的某些方面。

這種架構(gòu)設(shè)計使得MoE模型能夠高效利用計算資源,避免對所有參數(shù)進行無謂的計算。主要包括門控制機制、專家網(wǎng)絡(luò)和聚合器三大模塊

門控機制：這是MoE模型的核心模塊，負責(zé)決定每個輸入應(yīng)該由哪個或哪幾個專家處理。

門控機制會根據(jù)輸入數(shù)據(jù)的特征分配權(quán)重給不同的專家，這個過程是動態(tài)的，意味著不同的輸入會根據(jù)其內(nèi)容被分配給最合適的專家處理。例如，Grok-1模型中只有大約25%的參數(shù)被實際使用或“激活”。

專家網(wǎng)絡(luò)：這些是模型中的子網(wǎng)絡(luò)，每個都有自己特定的參數(shù)配置。在傳統(tǒng)的MoE模型中，這些專家網(wǎng)絡(luò)可以是結(jié)構(gòu)相同但參數(shù)不同的多個神經(jīng)網(wǎng)絡(luò)。每個網(wǎng)絡(luò)都專注于模型任務(wù)的一個方面或輸入數(shù)據(jù)的一個子集。

聚合器：一旦各個專家給出了自己對于輸入的處理結(jié)果，聚合器則負責(zé)將這些結(jié)果綜合起來，形成最終的輸出。聚合的方式可以是簡單的加權(quán)和、投票機制或者更復(fù)雜的融合策略。

MoE是開發(fā)、訓(xùn)練超過千億參數(shù)大模型常用的架構(gòu)，例如，GPT-4、Palm 2等著名大模型使用的都是該架構(gòu)。

關(guān)于Databricks

Databricks創(chuàng)立于2013年，總部位于美國舊金山，在全球多個國家、地區(qū)設(shè)有辦事處。其企業(yè)客戶超過10000家，包括眾多財富500強企業(yè)。

Databricks主要提數(shù)據(jù)智能分析服務(wù)，幫助企業(yè)、個人用戶快速挖掘數(shù)據(jù)的商業(yè)價值。

本文素材來源Databricks官網(wǎng)，如有侵權(quán)請聯(lián)系刪除

繼續(xù)閱讀：

未經(jīng)允許不得轉(zhuǎn)載：RPA中國 | RPA全球生態(tài) | 數(shù)字化勞動力 | RPA新聞 | 推動中國RPA生態(tài)發(fā)展 | 流 > 1320億參數(shù)，性能超LLaMA2、Grok-1！開源大模型DBRX