Llama3來了!

　　就在剛剛，Meta官網上新，官宣了Llama380億和700億參數版本。

　　并且推出即為開源SOTA:

　　Meta官方數據顯示，Llama38B和70B版本在各自參數規模上超越一眾對手。

　　8B模型在MMLU、GPQA、HumanEval等多項基準上均勝過Gemma7B和Mistral7B Instruct。

　　而70B模型則超越了閉源的當紅炸子雞Claude3Sonnet，和谷歌的Gemini Pro1.5打得有來有回。

　　Huggingface鏈接一出，開源社區再次沸騰。

　　眼尖的盲生們還第一時間發現了華點:

　　Meta更藏了一手4000億參數+的Llama3版本，不遜于Claude3超大杯Opus的那種!

　　AI寫作助手創企HyperWriteAI的CEO見此已忍不住感慨:

　　我們正在步入一個新世界，一個GPT-4級別的模型開源并且可以自由訪問的世界。

　　英偉達科學家Jim Fan則認為，還在訓練中的Llama3400B將成為開源大模型的分水嶺，改變很多學界研究和初創公司的發展方式。

　　全面取得SOTA，但8k窗口

　　更多技術細節，Meta在博客文章中給出。

　　架構層面，Llama3選擇了經典的僅解碼(decoder-only)式Transformer架構，采用包含128K token詞匯表的分詞器。

　　訓練數據上看，Llama3的訓練數據規模達到了15T tokens，全部來自于公開信息，其中5%為非英文數據，涵蓋30多種語言。

　　Llama3的數據量比Llama2的訓練數據多7倍，其中代碼比Llama2多4倍。

　　此外，為了提高 Llama3模型的推理效率，Meta AI還采用了分組查詢注意力 (GQA)機制，在8192個tokens的序列上訓練模型，并使用掩碼確保自注意力不會跨越文檔邊界。

　　結果，無論是8B還是70B版本，Llama3相較于近似規模的上一代Llama2，都取得了重大飛躍。

　　在迄今為止的8B和70B參數規模的模型中，Llama3都成為了新的SOTA模型。

　　在語言(MMLU)、知識(GPQA)、編程(HumanEval)、數學(GSM-8K、MATH)等能力上，Llama3幾乎全面領先于同等規模的其他模型。

　　除了這些常規的數據集，Meta AI還評估了Llama3在現實場景中的性能，并為此研發了一套高質量的測試數據集。

　　這個測試集包含了1800條數據，涵蓋代碼、推理、寫作、總結等12個關鍵用例，并針對開發團隊保密。

　　結果，Llama3不僅大幅超越Llama2，也戰勝了Claude3Sonnet、Mistral Medium和GPT-3.5這些知名模型。

　　而在AGIEval、BIG-Bench、ARC-Challenge這些更高階、更困難的數據集上，Llama3的表現同樣可圈可點。

　　8B版本在這些任務上超越了Mistral和Gemma，70B版本則戰勝了Gemini Pro和MoE架構的Mixtral，分別斬獲相應規模的SOTA。

　　不過美中不足的是，Llama3的上下文窗口只有8k，這與現在動輒幾十上百萬窗口的大模型相比，仿佛還停留在上一代(手動狗頭)。

　　但也不必過度擔憂，Matt Shumer就對此持樂觀態度，他表示相信在開源社區的努力下，窗口長度很快就會擴展上去。

　　Llama迎來官方網頁版

　　目前，Llama3兩種參數量的基礎和Instruct版本都已上線Hugging Face可供下載。

　　此外，微軟Azure、谷歌云、亞馬遜AWS、英偉達NIM等云服務平臺也將陸續上線Llama3。

　　同時，Meta還表示Llama3會得到英特爾、英偉達、AMD、高通等多家廠商提供的硬件平臺支持。

　　值得一提的是，此次與基礎模型一同發布的，還有基于Llama3的官方Web版本，名字就叫Meta AI。

　　目前該平臺有對話和繪畫兩大功能，只用對話的話無需注冊登錄、即開即用，使用繪畫功能則需要先登錄賬號。

　　不過，目前該平臺還不支持中文，也暫未上線文本上傳等功能。

　　代碼方面，該平臺也能夠運行一些簡單的Python程序，但似乎只能輸出文本，涉及到繪圖這樣的任務就無法運行了。

　　總得來看，這個網頁版本還比較初級，但也不妨期待一波后面的更新。

　　One More Thing

　　一個小插曲是，其實在Meta官宣前幾個小時，微軟的Azure市場已經偷跑了Llama38B Instruct版本的消息。

　　開源模型機器學習在線平臺Replicate上的Llama3價格表也被網友們第一時間扒拉了出來。

　　但很快，這些“小道消息”就都被404了。

　　好在烏龍完了，官方也沒拖著，關心開源大模型的小伙伴們，可以造作起來了(doge)。