Meta公司最近推出了一款名為OPT2I的新框架，該框架利用大型語言模型(LLM)來提高SD 圖像從提示詞到圖像(T2I)的生成過程中的一致性。

　　OPT2I是一個優化框架，旨在提升T2I模型中的提示-圖像一致性。它的工作流程始于用戶輸入的提示詞，并通過迭代的方式生成修訂后的提示詞，目標是最大化一致性得分。

　　經過在兩個數據集MSCOCO和PartiPrompts上的廣泛驗證，研究顯示，OPT2I能夠顯著提高初始一致性得分，同時保持FID(一種評估生成圖像質量的指標)并增加生成數據與真實數據之間的召回率。

　　OPT2I框架由三個主要部分構成:預訓練的T2I模型、LLM以及一個自動提示-圖像一致性評分器。該框架通過迭代地利用提示-評分對的歷史記錄，提出修訂后的提示，從而生成更符合用戶意圖的圖像。

　　此外，作者們還探討了如何設計元提示(meta-prompt)，以及如何通過反饋調整LLM的探索-利用權衡，以進一步提升模型的性能。總的來說，OPT2I框架為提高T2I模型的提示-圖像一致性提供了一種新的有效方法。