上周二，「AIGC開放社區」為大家介紹了融資1億美元的生成式AI平臺Writer。該企業能在短短3年時間獲得1.26億美元總融資成為ChatGPT的主要競爭對手之一，與其精湛的技術密不可分，同時充分證明其模型有成功的應用案例并獲得資本、用戶的認可。

　　目前，Writer在huggingface上開源了其使用的大語言模型Palmyra，有8個型號分別是small、base、20b-chat、Instruct-20b、med-20b等，可商用、支持數據微調。

　　Palmyra的技術亮點包括:參數小功能強，對于沒有算力資源的中小企業、個人開發者很有幫助;接受過商業寫作、營銷數據訓練，主要面向企業用戶;企業級數據安全，內置多重安全護欄;

　　除了生成文本之外，還能提取視頻、PDF、音頻的內容摘要;支持數據微調，企業可打造獨屬于自己的“ChatGPT”助手等。

　　下面「AIGC開放社區」為大家介紹Palmyra的幾個特色型號

　　InstructPalmyra-20b

　　這是一款基于Palmyra-20b基礎模型構建的指令調優模型，支持高級自然語言處理和量身定制需求。

　　InstructPalmyra-20b模型在大約70，000條指令-回應記錄的廣泛數據集上，進行了精細的訓練。這些記錄由Writer專業的語言建模和微調技術團隊生成。

　　InstructPalmyra-20b擁有出色的處理復雜指令并生成準確、符合上下文的回應能力。這使其成為開發虛擬助手、客戶支持、內容生成等廣泛應用的理想模型。

　　此外，模型的全面訓練使其能夠在不同的條件和上下文下適應并表現良好，進一步擴大了其潛在的場景應用案例。

　　Palmyra-med-20b

　　Palmyra-Med是Writer專為滿足醫療保健行業需求而構建的模型，并基于醫療數據進行了指令微調。

　　Palmyra-Med在領先的生物醫學問答PubMedQA的測試中獲得了最高分，準確率高達81.1%，優于GPT-4和經過醫學訓練的人類測試者。

　　可提供翻譯專業醫療術語、提取醫療筆記摘要、分析海量醫療數據、自動生成醫療見解等功能。

　　Palmyra Large20B

　　Palmyra-Large是Writer構建的因果解碼器模型，該模型在由Palmyra-Index-Data增強，并在高質量語料庫中的8000億數據上進行了訓練。

　　Palmyra Large在模型預訓練過程中使用了因果語言建模(CLM)目標。與 GPT-3類似，因此，其利用自監督因果語言建模的目標進行了預訓練。

　　該模型運行效率非常快，資源消耗卻很少，適用于醫療、營銷、市場、IT、設計、人力資源等業務場景，打造量身定制的AI助手。

　　性能評測

　　Palmyra在斯坦福HELM上獲得了最高分，超過Falcon40B 、LLaMA-30B等知名開源模型。HELM是斯坦福大學基礎模型研究中心的一項基準測試平臺知名度非常高。

　　Palmyra在多項重要測試中排名第一，在大規模多任務語言理解(MMLU)上得分為60.9% ，在BoolQ上得分為89.6%，在NaturalQuestions上得分為79.0%。

　　Palmyra在另外兩項關鍵測試中排名第二，上下文問答得分為49.7% ，TruthfulQA得分為61.6%，整體性能非常強悍。

　　總之，Palmyra非常值得那些希望將大語言模型實現商業化的開發者們，研究其模型架構和功能借鑒其成功經驗。