本文來自于微信公眾號 AIGC開放社區(ID:AIGCOPEN)，作者:AIGC開放社區。

　　10月17日，微軟在官網宣布，現在可以在AzureOpenAI公共預覽版中對GPT-3.5-Turbo、Babbage-002和Davinci-002模型進行數據微調。

　　使得開發人員通過自己的數據集，便能打造獨一無二的ChatGPT。例如，通過海量醫療數據進行微調，構建專注醫療領域的ChatGPT助手，可詢問與醫療相關的病歷、專業術語、治療方案等內容。

　　目前，全球各行業積累了幾年甚至幾十年的巨量優質數據，如何高效利用、查詢這些數據成為一大難題。

　　通過自有數據微調打造的AI助手可有效解決這一痛點，同時提升內容的準確性、安全性，是組織實現降本增效的利器。

　　什么是數據微調

　　大模型數據微調(Fine-tuning)是一種遷移學習方法，用于深度學習和機器學習。通常數據微調是基于一個預訓練好的模型(例如，GPT-3.5-Turbo)作為基石，然后在特定的任務數據集(例如，法律、醫療、營銷)上進行額外的訓練，使模型能生成特定業務領域的內容。

　　例如，你想訓練一個模型來回答法律相關的問題，首先在大量的通用文本數據上進行預訓練，然后在醫學問答數據集上進行微調。

　　簡單來說，微調功能就是讓ChatGPT，完全按照你的數據來生成內容。

　　需要注意的是，即便你有高質量的數據集，但選擇的微調模型性能很差，生成的內容也不會很理想。

　　而微軟提供基于OpenAI的GPT-3.5-Turbo，是一個經過全球數百萬開發者驗證的高性能成熟模型。

　　Azure OpenAI新功能

　　Babbage-002和Davinci-002是微軟最新推出的GPT-3基礎模型，可生成文本、代碼等，沒有接受過遵循指令的訓練。但在微調、托管服務費用方面更便宜。

　　Babbage-002取代了已棄用的Ada和Babbage 模型， Davinci-002則取代了Curie和 Davinci。

　　GPT-3.5-Turbo是OpenAI性能最成熟模型之一，支持多輪深度對話、創建微調數據集、訓練和部署等一站式開發服務。

　　Azure OpenAI微調功能演示

　　上傳數據:微軟在Azure OpenAI內置了數據過濾功能，當檢測到用戶上傳的數據集包含非法、歧視等有害信息時，會自動刪除這些內容。以下是上傳數據集代碼示例。

　　預訓練:使用指定模型、訓練和驗證數據，并設置相應的參數。開發者可將Azure OpenAI Studio用于簡單的GUI，或者使用微軟的REST API或OpenAI Python SDK。

　　開始啟動微調功能。

　　完成微調后，將返回評估指標，例如，訓練和驗證損失等參數。

　　目前，微軟提供數據微調托管服務，用戶無需擔心任何算力資源問題，只需要選擇時間即可。

　　收費標準:Babbage-002為34美元/小時;Davinci-002為68美元/小時;GPT-3.5-Turbo為102美元/小時。

　　3)Azure OpenAI 服務中的推理托管:當用戶完成微調后，就可以使用模型生成專屬內容了。

　　如果你沒有足夠的算力資源平臺來支撐模型的日常輸出，微軟同樣提供了托管服務。

　　收費標準:Babbage-002托管每小時1.7美元，Davinci-002每小時1.7美元，GPT-35-Turbo，每小時7美元。