劃重點:

　　1. Groq公司推出的大模型推理芯片，每秒500tokens的驚人速度超越了傳統GPU，挑戰谷歌TPU。

　　2. 該芯片由初創公司Groq研發，由谷歌TPU團隊原班人馬打造，推理速度提高10倍，成本降低十分之一，支持多種大模型。

　　3. Groq的目標是在三年內超越英偉達，采用自創的LPU方案，克服計算密度和內存帶寬瓶頸，實現18倍于云平臺速度的推理性能。

　　站長之家(ChinaZ.com)2月20日 消息:Groq公司推出的大模型推理芯片以每秒500tokens的速度引起轟動，超越了傳統GPU和谷歌TPU。該芯片由初創公司Groq研發，其團隊成員來自谷歌TPU，包括創始人兼CEO Jonathan Ross，曾設計實現第一代TPU芯片的核心元件。

　　Groq采用了全球首個LPU(Language Processing Unit)方案，旨在克服計算密度和內存帶寬的瓶頸，最終實現大模型推理性能比其他云平臺廠商快18倍。據介紹，英偉達GPU需要大約10到30焦耳才能生成響應中的tokens，而Groq僅需1到3焦耳，使得推理速度提高了10倍，成本降低十分之一，性價比提高了100倍。

　　Groq的芯片采用14nm制程，搭載了230MB大SRAM以保證內存帶寬，片上內存帶寬高達80TB/s。在算力方面，該芯片的整型(8位)運算速度為750TOPs，浮點(16位)運算速度為188TFLOPs�；�于自研的TSP架構，Groq利用機器學習工作負載的并行性對推理進行加速，并支持通過PyTorch、TensorFlow等標準機器學習框架進行推理。

　　Groq公司在演示中展示了其芯片的強大性能，支持Mixtral8x7B SMoE、Llama2的7B和70B等多種模型，并可直接體驗Demo。不僅如此，Groq還喊話各大公司，揚言在三年內超越英偉達。該公司的推理芯片在第三方網站上的售價為2萬多美元。

　　Groq公司以其創新的LPU方案和超越性能的大模型推理芯片，成為大模型推理領域令人矚目的新興力量，引領著技術的飛速發展。

　　Groq產品的特色亮點如下:

　　1. API訪問速度極快:Groq提供了API密鑰，可以訪問世界上最快的開源大型語言模型(LLM)推理速度。他們的實現在Anyscale的LLMPerf Leaderboard上展示了相較于云服務提供商高達18倍的推理性能。

　　2. 支持開源LLM模型:*Groq支持Llama2-70B和7B，這兩個由Meta AI創建的領先的開源基礎LLM模型。這些Groq實現使用4096的上下文長度。

　　3. 支持其他模型:*除了Llama系列外，Groq還支持Mixtral8x7B，由Mistral AI創建，可根據請求提供。其他模型如Mistral和CodeLlama也可根據特定客戶請求提供。

　　4. 免費試用期: 提供為期10天的免費試用期，可以根據請求進行刷新。在試用期間，用戶將獲得100萬免費令牌，并且API與OpenAI API完全兼容。

　　5. 價格保證: Groq保證以擊敗任何已發布的相應模型的百萬令牌價格。他們的定價相對較低，可以提供更具競爭力的服務。

　　6. 早期訪問計劃: Groq提供了Alpha版本的API的早期訪問計劃，免費供研究和開發目的使用。公共可用性計劃于2024年第二季度。

　　7. 高性能硬件支持: Groq引擎(LPU™ Inference Engine)在性能上優越，通過硬件支持實現了18倍于云服務提供商的LLM推理性能。

　　Groq產品以其出色的推理性能、對多種開源LLM模型的支持以及具有競爭力的價格政策等特色，成為一個引人注目的選擇。