OpenA對(duì)GPT-3.5 開放微調(diào) API，允許 AI開發(fā)人員通過專門的數(shù)據(jù)在專門的任務(wù)上實(shí)現(xiàn)更高的性能。OpenAI聲稱，最終的定制模型在某些特定任務(wù)上可以匹配或超過GPT-4的能力。也就是說(shuō)，每個(gè)企業(yè)或個(gè)人將擁有自己的專屬OpenAI。

OpenAI 的大語(yǔ)言模型 ChatGPT 已經(jīng)在大量文本上進(jìn)行了預(yù)訓(xùn)練，而微調(diào)可以讓其更適合特定的應(yīng)用場(chǎng)景。微調(diào)的步驟包括：準(zhǔn)備和上傳數(shù)據(jù)；訓(xùn)練新的微調(diào)模型；評(píng)估結(jié)果，并在需要時(shí)繼續(xù)迭代；微調(diào)結(jié)束后使用模型。

在準(zhǔn)備數(shù)據(jù)階段，OpenAI對(duì)數(shù)據(jù)集以及內(nèi)容格式有一定的要求。首先要求數(shù)據(jù)集為JSONL 格式，數(shù)據(jù)格式如下：

如果是對(duì)話式聊天格式，且預(yù)訓(xùn)練模型為 gpt-3.5-turbo、babbage-002 和 davinci-002也可以按照下面的數(shù)據(jù)格式進(jìn)行微調(diào)。

準(zhǔn)備好數(shù)據(jù)集之后，需要將數(shù)據(jù)集切分成訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集。而每條訓(xùn)練數(shù)據(jù)的大小也受到基礎(chǔ)模型的限制。對(duì)于 gpt-3.5-turbo-0125，每個(gè)訓(xùn)練樣本限制為 16385 個(gè)Token；對(duì)于 gpt-3.5-turbo-0613，每個(gè)訓(xùn)練樣本限制為 4096個(gè) Token。超過最大長(zhǎng)度限制的部分將被截?cái)唷?/p>

在進(jìn)行微調(diào)之前，可以先使用數(shù)據(jù)集格式驗(yàn)證工具對(duì)數(shù)據(jù)集進(jìn)行檢查，以驗(yàn)證數(shù)據(jù)集中的每個(gè)對(duì)話是否都符合微調(diào)接口所要求的格式；還可以通過一些輕量級(jí)分析，提前識(shí)別數(shù)據(jù)集中存在的問題，例如缺少系統(tǒng)/用戶消息等，并提供對(duì)消息數(shù)和Token數(shù)的統(tǒng)計(jì)分析，用來(lái)估算微調(diào)成本。

下面將通過使用 Fine-Tuning UI、CLI命令和 API的方式來(lái)介紹 OpenAl的微調(diào)。

1.使用Fine-Tuning Ul 微調(diào)

OpenAl 支持通過 Fine-Tuning UI進(jìn)行大語(yǔ)言模型的微調(diào)。如果要進(jìn)入 OpenAI 的微調(diào)Web 頁(yè)面，需要打開相應(yīng)的頁(yè)面（https://platform.openai.com/finetune），在左側(cè)的導(dǎo)航欄單擊"Fine-tuning"即可，如以下圖所示。

在 Fine-tuning 頁(yè)面中，左側(cè)展示可微調(diào)的所有任務(wù)，右側(cè)展示選中任務(wù)的詳細(xì)信息單擊“+Create”按鈕就可以創(chuàng)建微調(diào)任務(wù)，如下圖所示。在創(chuàng)建微調(diào)任務(wù)的頁(yè)面，完成微調(diào)任務(wù)的創(chuàng)建需要如下幾個(gè)步驟：

• 
  

  選擇基礎(chǔ)大模型：OpenAI提供的基礎(chǔ)模型有 babbage-002、davinci-002、gpt-3.5-turbo-0125、gpt-3.5-turbo-0613 和 gpt-3.5-turbo-1106。添加訓(xùn)練數(shù)據(jù)集：可以上傳或者選擇一個(gè)已經(jīng)存在的json1文件。添加驗(yàn)證數(shù)據(jù)集：可以上傳或者選擇一個(gè)已經(jīng)存在的.jsonl 文件。設(shè)置模型后綴：給輸出的模型添加一個(gè)自定義的后綴。

• 設(shè)置隨機(jī)種子：隨機(jī)種子用來(lái)控制任務(wù)的可重復(fù)性。如果未設(shè)置種子，則會(huì)自動(dòng)生成一個(gè)。

• 配置超參數(shù)：超參數(shù)需要設(shè)置批大小、學(xué)習(xí)率和訓(xùn)練周期，默認(rèn)值都是 auto。

• 創(chuàng)建微調(diào)任務(wù)：完成上面的步驟后，單擊“Create”即可完成訓(xùn)練任務(wù)的創(chuàng)建。

• 評(píng)估微調(diào)結(jié)果：通過監(jiān)控微調(diào)過程，確定使用模型，還是重新迭代。

• 使用微調(diào)模型：完成微調(diào)之后，就可以使用微調(diào)模型了。

2.使用CLI 命令微調(diào)

OpenAI提供了命令行工具，可以幫助我們快速處理數(shù)據(jù)集、操作文件、創(chuàng)建微調(diào)任務(wù)和使用模型等，下面介紹一些常用的命令行工具。

使用命令行工具需要先安裝 openai庫(kù)，代碼如下：

pip3 install --upgrade openai

在需要運(yùn)行的環(huán)境（Linux、macOs）中，配置 OpenAl 的 api key，代碼如下：

export OPEN_API_KEY="自己的api key"

使用幫助工具查看 tools 和 api 分別支持的相關(guān)命令，代碼如下：* *

openai tools-h或openai tools --help  openai api -h或openai api --help

從幫助工具的查看結(jié)果可以發(fā)現(xiàn)，命令行工具支持圖像、音頻、文件和模型等，具體使用方法見表：

使用 prepare data 進(jìn)行數(shù)據(jù)的準(zhǔn)備，參數(shù) -f用于指定本地的數(shù)據(jù)，代碼如下：* *

openai tools fine_tunes.prepare_data -f ./tmp/data.txt

準(zhǔn)備數(shù)據(jù)的過程，會(huì)對(duì)本地?cái)?shù)據(jù)進(jìn)行分析和處理，最終生成一個(gè)新的JSONL格式的文件，如下圖所示。

使用 fles.create 方法將數(shù)據(jù)上傳到 OpenAI服務(wù)器，參數(shù)-p用于指定文件的用途（purpose），如fine-tune、answers 和search，代碼如下：* *

openai api files.create -f ./training_data.jsonl -p fine-tune

創(chuàng)建微調(diào)任務(wù)，參數(shù) -t用于指定訓(xùn)練數(shù)據(jù)集，--model用于指定基礎(chǔ)模型，代碼如下：

openai api fine_tunes.create -t 訓(xùn)練文件ID --model 選擇的基礎(chǔ)模型

查看所有微調(diào)任務(wù)及其狀態(tài)信息，代碼如下：

 openai api fine_tunes.list

根據(jù)任務(wù)ID，查看微調(diào)任務(wù)的詳細(xì)信息，代碼如下：

  openai api fine_tunes.get -i 微調(diào)任務(wù)ID

當(dāng)微調(diào)任務(wù)結(jié)束并完成模型評(píng)估后，就可以使用微調(diào)后的模型了，代碼如下：

 openai api completions.create -m 模型名稱 -p 提示詞

還可以添加更多參數(shù)來(lái)控制文本的生成，如最大生成長(zhǎng)度、溫度和生成數(shù)量等，代碼如下：* *

 openai api completions.create -m 模型名稱-p 提示詞 --max-tokens 100 --temperature 0.7 --n 1

通過上述示例可以看出，使用 OpenAI的 CLI命令工具，用戶可以很方便地創(chuàng)建微調(diào)任務(wù)，包括準(zhǔn)備和上傳數(shù)據(jù)集文件、創(chuàng)建微調(diào)任務(wù)、檢查任務(wù)狀態(tài)和使用模型等。

3.使用API微調(diào)

對(duì)于大多數(shù)開發(fā)者而言，使用 Fime-Tuning Ul和 CLI命令微調(diào)僅用于測(cè)試。在實(shí)際的生產(chǎn)環(huán)境中，需要通過編程實(shí)現(xiàn)微調(diào)。為此，OpenAI提供了相關(guān)的 API。先初始化 OpenAI的客戶端，配置自己的 api key，代碼如下：* *

from openai import OpenAI

api key = "填寫自己申請(qǐng)的 OpenAI的 api key" client = OpenAI（api key=api key）

假設(shè)已經(jīng)準(zhǔn)備好微調(diào)的數(shù)據(jù)集為 mydata.jsonl文件，將 mydata.json 文件上傳到 OpenAI服務(wù)器，并指定目的是fine-tune，代碼如下：

data_file_path ="mydata.jsonl" client.files.create（file=open（data_file_path, "rb"）, purpose="fine-tune"）

根據(jù)數(shù)據(jù)集返回的文件ID，基于基礎(chǔ)模型 gpt-3.5-turbo 創(chuàng)建一個(gè)微調(diào)任務(wù)，代碼如下：

file_id ="file-xxx" client.fine_tuning.jobs.create（training_file=file_id, model="gpt-3.5-turbo", suffix="2024-07-10"）

可以對(duì)微調(diào)任務(wù)進(jìn)行列出、查詢和取消等一系列操作，代碼如下：

client.fine_tuning.jobs.list（limit=5） fine_tuning_job_id = "ftiob-xxx" client.fine_tuning.jobs.retrieve（fine_tuning_job_id） client.fine_tuning.jobs.cancel（fine_tuning_job_id） client.fine_tuning.jobs.list_events（fine_tuning_job_id=fine_tuning_job_id, limit=5）

微調(diào)和評(píng)估結(jié)束后，就可以使用微調(diào)出的模型了，代碼如下：

model = "ft:gpt-3.5-turbo:demo:suffix:2024-07-10" completion = client.chat.completions.create（     model=model,     messages=[         {"role": "system", "content": "你是一個(gè)虛擬助手。"},         {"role": "assistant", "content": "您好。"},         {"role": "user", "content": "您好。"}     ] ）

本節(jié)介紹了 3種用于 ChatGPT 微調(diào)的方法：Fine-Tuning UI、CLI命令和 API。雖然這三種方法可以滿足大部分需求，但它們僅依賴于 ChatGPT。本節(jié)內(nèi)容不僅適用于大多數(shù)場(chǎng)景，還可以作為了解和使用 ChatGPT的基礎(chǔ)。然而，為了滿足更多更復(fù)雜的使用場(chǎng)景，接下來(lái)我們將探討一些其他的微調(diào)最佳實(shí)踐。這些實(shí)踐將幫助你更靈活地利用大語(yǔ)言模型。以實(shí)現(xiàn)更出色的性能和更廣泛的應(yīng)用。

注：本文節(jié)選自機(jī)械工業(yè)出版社出版的《Python大模型應(yīng)用開發(fā)：核心技術(shù)與項(xiàng)目實(shí)戰(zhàn)》，略有改動(dòng)，以紙質(zhì)書出版為準(zhǔn)。

編輯推薦

（1）打通完整Python開發(fā)鏈條：系統(tǒng)梳理大模型應(yīng)用開發(fā)全流程，涵蓋分詞、詞嵌入、向量數(shù)據(jù)庫(kù)、提示詞工程、模型微調(diào)與部署等關(guān)鍵技術(shù)，幫助開發(fā)者構(gòu)建成體系的技能框架。

（2）主流工具一網(wǎng)打盡：聚焦Hugging Face、LangChain、RAG等當(dāng)前最熱門的大模型開發(fā)框架，講解其原理與實(shí)操方法，配合可運(yùn)行的代碼與實(shí)戰(zhàn)案例，快速上手、易于應(yīng)用。

（3）項(xiàng)目實(shí)戰(zhàn)導(dǎo)向，深度挖掘數(shù)字人場(chǎng)景：通過多個(gè)數(shù)字人電商項(xiàng)目實(shí)戰(zhàn)，完整展示智能系統(tǒng)構(gòu)建方式，貼近熱門應(yīng)用場(chǎng)景，增強(qiáng)實(shí)戰(zhàn)價(jià)值與可落地性。

（4）內(nèi)容循序漸進(jìn)，初學(xué)與進(jìn)階開發(fā)者友好：全書由淺入深、結(jié)構(gòu)清晰，從基礎(chǔ)認(rèn)知到高級(jí)實(shí)戰(zhàn)，兼顧知識(shí)體系構(gòu)建與動(dòng)手能力提升，既適合AI開發(fā)初學(xué)者，也能幫助有經(jīng)驗(yàn)的工程師補(bǔ)齊短板。

（5）作者技術(shù)實(shí)力深厚，經(jīng)驗(yàn)提煉與代碼實(shí)操雙助力：作者傾力總結(jié)多年AI架構(gòu)實(shí)戰(zhàn)經(jīng)驗(yàn)，結(jié)合真實(shí)項(xiàng)目中的痛點(diǎn)問題，提供一線開發(fā)技巧與工程化思維，幫助開發(fā)者在實(shí)踐中掌握大模型開發(fā)的“術(shù)”與“道”。

編輯推薦

（1）體系完整，循序漸進(jìn)：從零基礎(chǔ)認(rèn)知到核心原理，再到開發(fā)、部署與運(yùn)維，全流程掌握智能體的全棧知識(shí)體系。

（2）案例驅(qū)動(dòng)，實(shí)操為王：融合GPTs、LangChain、LlamaIndex等熱門技術(shù)，配套“即插即用”示例代碼與真實(shí)行業(yè)案例，快速落地。

（3）應(yīng)用廣泛，價(jià)值突顯：覆蓋教育、科研、醫(yī)療、設(shè)計(jì)、零售等場(chǎng)景，既能助新手入門，也能為開發(fā)者和創(chuàng)業(yè)者提供創(chuàng)新思路與商業(yè)機(jī)會(huì)。

今日互動(dòng)

大模型時(shí)代，程序員的職業(yè)發(fā)展面臨哪些轉(zhuǎn)變？

在留言區(qū)參與互動(dòng)，我們將選取3名幸運(yùn)讀者各獲得贈(zèng)書1本（上面兩本，2選1），截止時(shí)間為2025年10月17日。（參與要求：2025年10月14日之前已關(guān)注“Ai學(xué)習(xí)的章北?！惫娞?hào)）