近日，微軟推出了一款名為Phi-3系列的小型AI模型，該模型在AI領域引起了廣泛關注。Phi-3系列中的Phi-3-mini模型，僅擁有3.8B參數，卻在多項基準測試中超越了擁有8B參數的Llama3模型。

　　微軟特別強調，經過4bit量化處理的Phi-3-mini能夠在iPhone14Pro和iPhone15使用的蘋果A16芯片上實現每秒12token的運行速度，這標志著手機上能本地運行的最佳開源模型已經達到了ChatGPT的水平。

　　微軟在技術報告中展示了Phi-3系列的多項優勢。除了Phi-3-mini之外，還有Phi-3-small和Phi-3-medium兩個版本，分別擁有7B和14B參數。Phi-3-small支持多語言，并使用了tiktoken分詞器以及增加了10%多語種數據。而Phi-3-medium在更多數據上進行了訓練，已在多數測試中超越了GPT-3.5和Mixtral8x7b MoE。

　　Phi-3系列的成功得益于其獨特的訓練方法。微軟團隊發現，僅僅增加參數量并不是提升模型性能的唯一途徑。他們通過精心設計訓練數據，特別是利用大型語言模型生成合成數據，并結合嚴格篩選的高質量數據，顯著提升了中小模型的性能。Phi-3系列的訓練數據量巨大，其中Phi-3-medium使用了高達4.8萬億token的數據，并通過獨特的指令微調和RLHF訓練，提高了模型的對話能力和安全性。

　　盡管如此，小型模型在存儲事實和知識方面仍有局限，這從TriviaQA測試的低分中可見一斑。微軟提出，通過聯網接入搜索引擎可以緩解這一問題。微軟研究院團隊表示，他們將繼續沿著小模型和數據工程的道路前進，并計劃增強小模型的多語言能力和安全性。

　　微軟的這一舉措在開源社區中引起了熱烈討論，許多網友認為這給OpenAI帶來了壓力，需要OpenAI盡快推出GPT-3.5的后繼產品以維持其在AI領域的領先地位。