12月6日，彭博消息，開源類ChatGPT平臺Mistral AI獲得4.5億歐元（近35億元）融資，估值近20億美元（142億元）。本次由英偉達、 Salesforce等投資。

Mistral AI的開源大語言模型Mistral 7B主打參數小、能耗低、性能強等特點，并且允許商業化。支持生成文本/代碼、數據微調、總結內容等，目前在github有4500顆星。

值得一提的是，Mistral AI曾在沒有發布任何產品的情況下，獲得1.13億美元種子輪融資，這也是歐洲科技史上最大的種子輪融資之一。

開源地址：https://github.com/mistralai/mistral-src

幫助文檔：https://docs.mistral.ai/

API接口：https://docs.mistral.ai/api

相比元宇宙，剛過完1歲生日的ChatGPT經受住了商業落地、用戶受眾等多重考驗，并且帶動了一大批科技公司參與到生成式AI變革中。

目前，主要分為閉源和開源兩大陣營。在Meta的Llama打響第一槍后，開源大語言模型領域涌現出了Writer、百川智能、Together.ai、Mistral AI等一大批優秀企業，同時獲得了資本市場的認可。這些廠商也堅信，開源才是大模型通向AGI的捷徑之一。

早在今年6月「AIGC開放社區」就介紹過Mistral AI，當時對其印象非常深刻。因為沒有發布任何產品，官網只有3句話：我們正在組建一支世界一流的技術團隊，來開發最好的生成式 AI 模型。

今年6月Mistral AI的官網內容

我們在歐洲開展業務，總部在法國巴黎。如果你在AI領域擁有豐富的研究、開發經驗，請聯系我們。

當時就憑這三句話，便融了1.13億美元種子輪融資，估值達到2.6億美元。通常這種企業要么蹭一波熱度拿完錢，隨便改改模型坐著等死；

要么就是掃地僧級別的技術大牛，一出手便名震天下。從本次融資結果來看，Mistral AI屬于后者確實有兩下子。

公開資料顯示，Mistral AI的三位聯合創始人Timothée Lacroix 、Guillaume Lample和Arthur Mensch來頭不小，擁有大廠履歷和知名項目的成功經驗同時也是大學校友。

Guillaume、Arthur、Timothee

Timothée和Guillaume曾在Meta的AI研究部門工作，并領導了LLaMA的開發，這也是類ChatGPT開源模型的鼻祖。Arthur曾在谷歌的 AI 研究實驗室DeepMind工作。

Mistral AI核心團隊

產品方面，Mistral AI在今年9月27日推出的Mistral 7B是目前最強開源大語言模型，在所有基準測試中均優于Llama 2 13B；在許多基準測試上優于或與Llama 1 34B相當；在代碼測試的表現與CodeLlama 7B相當。

為了使模型能以更快的速度、更小的能耗進行推理，Mistral AI分別使用了分組查詢注意力和滑動窗口注意力兩大機制。

分組查詢注意力是對標準注意力機制的一種改進，通過對查詢進行分組來減少計算復雜性。在 Transformer 模型中，注意力機制通常涉及查詢、鍵和值的三組向量。

在標準的自注意力機制中，每個查詢都會與所有的鍵進行匹配，這在序列很長時會導致巨大的計算負擔。

而分組查詢注意力通過將多個查詢合并成一個組來工作。然后，每個組的查詢向量只與一部分鍵向量進行交互，而不是與所有鍵向量交互，整體效率非常高效。

滑動窗口注意力是一種在序列處理任務中用來限制注意力機制的范圍并減少計算量的技術。在這種方法中，每個元素的注意力不是對整個序列計算，而是僅限于其附近的一個窗口內的元素。

Mistral 7B詳細介紹

通過這種方式，模型的每個部分只需要處理窗口內的信息，從而降低了每個注意力計算中涉及的元素數目。

這不僅減少了計算需求，還可以限制模型的上下文范圍，有助于模型關注局部信息。

本文素材來源Mistral AI官網、維基百科，如有侵權請聯系刪除

繼續閱讀：

未經允許不得轉載：RPA中國 | RPA全球生態 | 數字化勞動力 | RPA新聞 | 推動中國RPA生態發展 | 流 > 35億元！開源類ChatGPT平臺Mistral AI，再獲巨額融資