Epoch AI 最近推出了一款互動模擬器，揭示了使用老舊顯卡 GTX580訓練 GPT-4的可能性，盡管成本高達現代硬件的十倍。

　　研究表明，訓練 GPT-4所需的浮點運算次數在1e25到1e26之間，且隨著模型規模的擴大，效率通常會降低。

　　使用 GTX580顯卡訓練 GPT-4的成本是現代硬件的十倍，效率較低。

　　模擬器可以分析不同 GPU 的性能差異，并支持復雜的多數據中心訓練模擬。

　　該研究旨在深入理解未來硬件需求，以支持大型 AI 模型的訓練。