瑞士初創公司Lakera最近發布了一款旨在保護企業免受大型語言模型(LLM)的惡意提示攻擊的API。這項舉措旨在解決LLMs在生成人類語言文本方面的卓越性能，但也可能受到惡意攻擊的問題，尤其是通過所謂的“prompt injection”技術。為了應對這一挑戰，Lakera已經成功籌集了1，000萬美元的融資，以支持他們的使命。

　　Lakera的方法包括開發名為“Gandalf”的互動游戲，允許用戶通過語言欺騙攻擊嘗試“黑客”LLM。這個游戲吸引了數百萬用戶，其中包括網絡安全社區的成員。通過分析用戶的互動，Lakera已經建立了一個“prompt injection”攻擊分類系統，將攻擊類型分為10個不同的類別。

　　這包括直接攻擊、越獄、繞過攻擊、多提示攻擊、角色扮演、模型復制、模糊化(令牌夾帶)、多語言攻擊和意外上下文泄露。這些攻擊類型被轉化成統計結構，以幫助企業保護自己免受安全漏洞。

　　除了防止“prompt injection”攻擊，Lakera還專注于其他安全問題。他們致力于防止私人或機密數據不慎泄露到公共領域，以及過濾內容，確保LLMs不提供不適宜兒童的信息。此外，他們還處理LLM引發的誤導或事實錯誤。這種綜合性的方法使Lakera成為了安全、安全性和數據隱私的一個綜合解決方案。

　　尤其重要的是，Lakera的API的推出是在歐洲聯盟即將頒布的AI法規背景下進行的。這些法規將在未來一兩年內出臺，其中有一項重要的法規要求LLM提供商遵守法律規定，識別潛在風險并采取適當的措施。Lakera的創始人還擔任法規咨詢委員會的顧問，他們積極參與制定技術規則，以幫助政策制定者更好地了解這些規定對實際開發人員的影響。

　　總之，Lakera的API推出為企業提供了一個全面的解決方案，以保護他們免受LLM的惡意攻擊。這是一個迫切需要的安全領域，特別是在LLMs在商業應用中廣泛使用的情況下。通過將攻擊轉化為統計結構，Lakera有望在這一領域發揮重要作用，并確保企業可以安全地利用LLM的強大功能。