12月13日，微軟在官方網站正式發布了，27億參數的大語言模型—Phi-2。

　　Phi-2是基于微軟的Phi-1.5開發而成，可自動生成文本/代碼、總結文本、數學推理等功能。

　　雖然Phi-2的參數很小，性能卻優于130億參數的Llama-2和70億參數的Mistral，以及谷歌最新發布的Gemini Nano2。

　　值得一提的是，Phi-2沒有進行過RLHF（人類反饋強化學習）和指令微調只是一個基礎模型，但在多個任務評測中，其性能可以媲美或超過25倍參數的模型。

　　目前，微軟已經開源了Phi-1.5和Phi-1，幫助開發者們深度研究和應用小參數模型。

　　Phi-1.5開源地址:https://huggingface.co/microsoft/phi-1_5

　　Phi-1開源地址:https://huggingface.co/microsoft/phi-1

　　Phi-1.5論文地址:https://arxiv.org/abs/2309.05463

　　目前，大模型界有一個很怪的現象，就是出的模型參數越來越大，幾百億參數只能算剛入門，上千億的比比皆是，有的模型甚至已經達到上萬億。

　　參數高的模型并非不好，而是要看應用場景。對于像微軟、OpenAI、百度、科大訊飛這樣的基礎模型服務商來說，參數越高覆蓋能力就越廣，例如，ChatGPT已經進化到多模態，除了生成文本，還能生成圖片聽懂聲音等。

　　Phi-2評測數據

　　但參數高的模型同樣也有很多缺點:過擬合，如果訓練數據較差會出現能力不升反降的現象;算力成本巨大，用戶每一次的提問都像是在“燃燒金錢”;預訓練時間長，每一次模型的迭代需要耗費大量訓練時間。

　　調優困難，高參數的模型擁有龐大且難控制的神經元，想進行部分功能調優和控制非常困難，最近變懶的GPT-4便是最好的案例。

　　所以，微軟開發Phi系列模型的主要目的是研究，小參數模型如何在保證功能的前提下，也能與大參數的模型相媲美甚至超越，這對于企業和應用者來說是一個雙贏的局面。

　　Phi-2簡單介紹

　　Phi-2和Phi-1.5一樣采用了24層的Transformer架構，每個頭的維度為64，并使用了旋轉嵌入等技術來提升模型性能。

　　Phi-2只是一個基礎模型，沒有進行過人類反饋強化學習和指令微調。但在文本生成、數學推理、代碼編程方面絲毫不比大參數的模型差，甚至比他們更好。

　　訓練數據和流程方面，Phi-2使用了1.4T超高質量的“教科書級”數據進行了預訓練，并非是網絡爬取的雜亂、黑箱數據。微軟表示，這也是小參數模型比大參數模型性能高的關鍵原因之一。

　　Phi-2在96個 A100GPU上一共訓練了14天。

　　Phi-2實驗數據

　　微軟在MMLU、BBH、PIQA、WinoGrande、ARC easy、Challenge、SIQA和GSM8k等主流測試平臺對Phi-2進行了測試。

　　數據顯示，在各種聚合基準上的測試超過了，Mistral -7B和Llama-2-13B。

　　值得一提的是，在多步推理測試任務中，例如，編碼和數學，Phi-2的性能超過了700億參數的Llama-2。