英偉達最新大動作來了——通用具身智能體。

　　這則消息是由英偉達高級科學家Jim Fan透露，他表示：

　　我將和老隊友Yuke Zhu一起，在英偉達內部組建一個新研究小組——GEAR，通用具身智能體研究。

　　我們相信，在未來，每一臺移動的機器都將是自主的，機器人和模擬智能體將像iPhone一樣無處不在。

　　我們正在構建基礎智能體：一個具有通用能力的AI，可以在許多虛擬和現實的世界中學習如何熟練地行動。

　　Jim Fan還強調，2024年將是屬于機器人、游戲AI和模擬的一年。

　　而隨著這兩天英偉達市值暴漲，Jim Fan還補充了一條X說道：

　　我們有足夠的資金一次性解決機器人基礎模型、游戲基礎模型和生成式模擬。

　　我們團隊可能是全球最有錢的具身智能實驗室。

　　嗯，有錢，很壕。

　　相關成果展示

　　Jim Fan在發布這條職業履新消息之際，也順帶把英偉達此前在具身智能所做的相關工作盤點了一波。

　　例如被評為“2023年英偉達十大項目”之一的Eureka——

　　用GPT-4生成獎勵函數，教會機器人完成了三十多個復雜任務：比如，快速轉個筆，打開抽屜和柜子、拋球和接球。

　　使用GPU加速的物理模擬進行訓練，速度比實時快1000倍!

　　再如Voyager，把GPT-4放進《我的世界》——

　　在游戲中點亮科技樹的速度是此前方法的15.3倍，同時獲得的獨特物品是此前的3.3倍，探索范圍是2.3倍。

　　更關鍵的是，Voyager完全借助游戲畫面推理，一切操作與反饋通過文本和游戲的Javascript API進行。

　　它也是第 一個LLM驅動、能熟練玩《我的世界》的智能體。

　　除此之外，還包括斬獲了NeurIPS 2022*論文的MineDojo。

　　這項研究提出一個由3個智能體組成的“具身GPT-3”，可以感知無限世界并在其中行動。

　　MineDojo是一個將《我的世界》變成 AGI 研究游樂場的開放框架。

　　團隊收集了100000個 YouTube 視頻、Wiki頁面和Reddit帖子，用于訓練《我的世界》智能體。

　　還有像VIMA這樣的研究：*個帶有機械臂的多模態LLM，為機器人學習引入了“多模態提示”。

　　被黃仁勛帶火的具身智能

　　其實Jim Fan領隊搞通用具身智能體并不是非常意外的一件事情。

　　早在去年，黃仁勛便公開表達他對下一代人工智能的觀點：

　　這種新型的人工智能叫做具身智能(Embodied AI)，即能理解、推理和與物理世界互動的智能系統。

　　而從去年至今，無論是高校還是產業，具身智能相關的研究可謂是層出不窮。

　　最為典型的便是斯坦福大學的家務機器人，驚呆了一眾網友。

　　那么Jim Fan團隊將在今年再帶來什么成果，是值得期待一波了。