4月23日晚，微軟在官網開源了小參數的大語言模型——Phi-3-mini。

據悉，Phi-3-mini是微軟Phi家族的第4代，有預訓練和指令微調多種模型，參數只有38億訓練數據卻高達3.3T tokens，比很多數百億參數的模型訓練數據都要多，這也是其性能超強的主要原因之一。

Phi-3-mini對內存的占用極少，可以在 iPhone 14等同類手機中部署使用該模型。盡管受到移動硬件設備的限制，但每秒仍能生成12 個tokens數據。

值得一提的是，微軟在預訓練Phi-3-mini時使用了合成數據，能幫助大模型更好地理解語言架構、表達方式、文本語義理解、邏輯推理以及特定業務場景的專業術語等。

開源地址：https://huggingface.co/collections/microsoft/phi-3-6626e15e9585a200d2d761e3

Ollama地址：https://ollama.com/library/phi3

技術報告：https://arxiv.org/abs/2404.14219

2023年6月，微軟首次推出了專用于Python編碼的模型Phi-1，只有13億參數卻在編程領域擊敗了GPT-3.5等知名模型，這讓微軟看到小參數模型的廣闊發展空間。

隨后在Phi-1基礎之上，微軟推出了具備推理、文本生成、內容總結、起草郵件的大語言模型Phi-1.5，成為當時最強小參數模型之一。

2023年12月，微軟在Phi-1.5基礎之上開發了Phi-2，參數只有27億并且在沒有人類反饋強化學習和指令微調的情況下，擊敗了130億參數的Llama-2和70億參數的Mistral；在編碼和數學測試中，Phi-2的性能甚至超過了700億參數的Llama-2。

本次發布的Phi-3系列集合了之前三代所有的優秀技術特征，并使用了海量高質量數據集、創新的訓練、微調方法，使其成為目前最強的開源小參數模型。

Phi-3-mini架構簡單介紹

Phi-3-mini采用了transformer架構，支持4K和128K上下文窗口，也是同類小模型中第一個支持128K的開源產品。

高質量訓練數據集是Phi-3-mini性能超強的重要原因之一，微軟使用了3.3T tokens數據集包括：經過嚴格質量篩選的網絡公開文檔、精選的高質量教育數據和編程代碼；

通過合成數據創建的教科書式數據，例如，數學、編碼、常識推理、世界常識、心理科學等；

高質量聊天格式的監督數據，涵蓋各種主題以反映人類在不同方面的偏好，例如，遵循指令、真實性、誠實性等。

在訓練策略方面，為了幫助Phi-3-mini更好地吸收合成數據，微軟使用了迭代訓練策略：初始階段，Phi-3-mini使用了公開網絡數據，學會了基本的語法、語義和上下文理解；

迭代階段，將合成數據與網絡數據合并構建全新的訓練集，并對Phi-3-mini進行迭代訓練，進一步強化模型的理解和生成能力，并且進行多次重復訓練。

測試數據方面，Phi-3 Mini在MMLU、GSM-8K、MedQA、BigBench-Hard等知名基準測試平臺中，對語言理解、邏輯推理、機器翻譯、編碼等進行了綜合測試。

結果顯示，Phi-3-mini僅通過少量樣本提示，在語言理解、編碼、數學的性能超過了參數更大的模型，整體性能非常出色。

微軟表示，在未來幾周內還會發布70億參數的Phi-3-small和140億參數的Phi-3-medium兩款小模型。其中，Phi-3-medium的性能可媲美Mixtral 8x7B 和GPT-3.5，資源消耗卻更少。

本文素材來源微軟官網、Phi-3論文，如有侵權請聯系刪除

繼續閱讀：

未經允許不得轉載：RPA中國 | RPA全球生態 | 數字化勞動力 | RPA新聞 | 推動中國RPA生態發展 | 流 > 微軟開源最強小參數大模型—Phi-3 Mini