微軟的研究團隊開發了一種名為 LLMLingua 的獨特粗細壓縮技術，旨在解決大型語言模型(LLMs)中長提示帶來的問題。LLMs 以其強大的泛化和推理能力顯著推動了人工智能(AI)領域的發展，展示了自然語言處理(NLP)、自然語言生成(NLG)、計算機視覺等方面的能力。然而，最新的發展，如上下文學習(ICL)和思維鏈(CoT)提示，導致了部署更長提示的需求，有時甚至超過數萬個標記。這在模型推理方面帶來了成本效益和計算效率的問題。

　　為了克服這些挑戰，微軟團隊引入了 LLMLingua，一種獨特的粗細壓縮技術。LLMLingua 的主要目標是減少處理長提示的費用，并加快模型推理速度。為此，LLMLingua 采用了以下幾種關鍵策略:

　　1. 預算控制器:設計了一個動態預算控制器，用于在原始提示的各個部分之間分配壓縮比例。這確保了即使在大比例壓縮下，提示的語義完整性也得到保留。

　　2. 標記級迭代壓縮算法:LLMLingua 集成了一種標記級迭代壓縮算法，通過捕捉壓縮元素之間的相互依賴關系，實現更復雜的壓縮，并保持關鍵提示信息。

　　3. 指令調整方法:團隊提出了一種基于指令調整的方法，用于解決語言模型之間的分布不一致問題。調整語言模型的分布可以提高用于快速壓縮的小型語言模型與預期 LLM 之間的兼容性。

　　團隊使用來自不同情境的四個數據集進行了分析和實驗，以驗證 LLMLingua 的實用性。這些數據集包括推理的 GSM8K 和 BBH，對話的 ShareGPT 以及摘要的 Arxiv-March23。結果顯示，該方法在每種情境下都實現了最先進的性能。結果甚至表明，LLMLingua 在犧牲很少性能的情況下允許高達20倍的壓縮。

　　實驗中使用的小型語言模型是 LLaMA-7B，閉合的 LLM 是 GPT-3.5-Turbo-0301。LLMLingua 在最大壓縮比例為20倍時優于先前的壓縮技術，保留了推理、摘要和話語技能，展現了彈性、經濟性、高效性和可恢復性。

　　LLMLingua 的有效性已經在一系列閉合 LLMs 和小型語言模型中得到觀察。在使用 GPT-2-small 時，LLMLingua 顯示出與較大模型相當的性能結果。它還在強大的 LLMs 上表現出色，超出了預期的快速結果。

　　LLMLingua 的可恢復性是一個值得注意的方面，當用于恢復壓縮提示時，GPT-4可以有效地從完整的九步 CoT 提示中檢索重要的推理信息，保持原始提示的意義和相似性。這個功能確保了可恢復性，即使在翻譯后也能保留關鍵信息，增加了 LLMLingua 的整體亮點。

　　，LLMLingua 為 LLM 應用程序中長提示所帶來的困難提供了全面的解決方案。該方法表現出色，并提供了一種改善 LLM 應用程序的效果和可負擔性的有用方式。