AI21發布了世界首個Mamba的生產級模型:Jamba。這個模型采用了開創性的SSM-Transformer架構，具有52B參數，其中12B在生成時處于活動狀態。Jamba結合了Joint Attention和Mamba技術，支持256K上下文長度。單個A10080GB最多可容納140K上下文。與Mixtral8x7B相比，長上下文的吞吐量提高了3倍。

　　Jamba代表了在模型設計上的一大創新。它結合了Mamba結構化狀態空間(SSM)技術和傳統的Transformer架構的元素，彌補了純SSM模型固有的局限。Mamba是一種結構化狀態空間模型(Structured State Space Model， SSM)，這是一種用于捕捉和處理數據隨時間變化的模型，特別適合處理序列數據，如文本或時間序列數據。SSM模型的一個關鍵優勢是其能夠高效地處理長序列數據，但它在處理復雜模式和依賴時可能不如其他模型強大。

　　而Transformer架構是近年來人工智能領域最為成功的模型之一，特別是在自然語言處理(NLP)任務中。它能夠非常有效地處理和理解語言數據，捕捉長距離的依賴關系，但處理長序列數據時會遇到計算效率和內存消耗的問題。

　　Jamba模型將Mamba的SSM技術和Transformer架構的元素結合起來，旨在發揮兩者的優勢，同時克服它們各自的局限。通過這種結合，Jamba不僅能夠高效處理長序列數據(這是Mamba的強項)，還能保持對復雜語言模式和依賴關系的高度理解(這是Transformer的優勢)。這意味著Jamba模型在處理需要理解大量文本和復雜依賴關系的任務時，既能保持高效率，又不會犧牲性能或精度。