ChatGPT整體技術(shù)方案是基于 GPT-3.5 大規(guī)模語言模型通過人工反饋強化學(xué)習(xí)來微調(diào)模型，讓模型一方面學(xué)習(xí)人的指令，另一方面學(xué)習(xí)回答的好不好。

核心提升了什么？

ChatGPT在對話場景核心提升了以下三方面：

1）更好的理解用戶的提問，提升模型和人類意圖的一致性，同時具備連續(xù)多輪對話能力。

2）大幅提升結(jié)果的準(zhǔn)確性，主要表現(xiàn)在回答的更加的全面，同時可以承認錯誤、發(fā)現(xiàn)無法回答的問題。

3）具備識別非法和偏見的機制，針對不合理提問提示并拒絕回答。

ChatGPT的提升主要涉及以下三方面技術(shù)：

1）性能強大的預(yù)訓(xùn)練語言模型GPT3.5，使得模型具備了博學(xué)的基礎(chǔ)。

2）webGPT等工作驗證了監(jiān)督學(xué)習(xí)信號可大幅提升模型準(zhǔn)確性。

3）InstructGPT等工作引入強化學(xué)習(xí)驗證了對齊模型和用戶意圖的能力。

整體技術(shù)流程

ChatGPT的訓(xùn)練過程分為微調(diào)GPT3.5模型、訓(xùn)練回報模型、強化學(xué)習(xí)來增強微調(diào)模型三步：

第一步：微調(diào)GPT3.5模型。讓GPT 3.5在對話場景初步具備理解人類的的意圖，從用戶的prompt集合中采樣，人工標(biāo)注prompt對應(yīng)的答案，然后將標(biāo)注好的prompt和對應(yīng)的答案去Fine-tune GPT3.5，經(jīng)過微調(diào)的模型具備了一定理解人類意圖的能力。

第二步：訓(xùn)練回報模型。第一步微調(diào)的模型顯然不夠好，至少他不知道自己答的好不好，這一步通過人工標(biāo)注數(shù)據(jù)訓(xùn)練一個回報模型，讓回報模型來幫助評估回答的好不好。具體做法是采樣用戶提交的prompt，先通過第一步微調(diào)的模型生成n個不同的答案，比如A、B、C、D。接下來人工對A、B、C、D按照相關(guān)性、有害性等標(biāo)準(zhǔn)標(biāo)準(zhǔn)并進行綜合打分。有了這個人工標(biāo)準(zhǔn)數(shù)據(jù)，采取pair-wise 損失函數(shù)來訓(xùn)練回報模型RM。這一步實現(xiàn)了模型判別答案的好壞。

第三步：強化學(xué)習(xí)來增強微調(diào)模型。使用第一步微調(diào)GPT3.5模型初始化PPO模型，采樣一批和前面用戶提交prompt不同的集合，使用PPO模型生成答案，使用第二步回報模型對答案打分。通過產(chǎn)生的策略梯度去更新PPO模型。這一步利用強化學(xué)習(xí)來鼓勵PPO模型生成更符合RM模型判別高質(zhì)量的答案。

通過第二和第三步的迭代訓(xùn)練并相互促進，使得PPO模型能力越來越強。

主要涉及的技術(shù)細節(jié)

1） GPT3.5理解能力提升

ChatGPT是在GPT3.5模型技術(shù)上進行微調(diào)的，這里對GPT-3.5在GPT3基礎(chǔ)上做的工作進行梳理，官方列舉了以下GPT-3.5系列幾個型號：

code-davinci-002 是一個基礎(chǔ)模型,對于純代碼補全任務(wù)。這也是ChatGPT具備超強代碼生成能力的原因。

text-davinci-002 是在code-davinci-002基礎(chǔ)上訓(xùn)練的InstructGPT模型，訓(xùn)練策略是instructGPT+FeedRM。

text-davinci-003 是基于text-davinci-002模型的增強版本，訓(xùn)練策略是instructGPT+PPO。

根據(jù)如下圖官方發(fā)布的模型時間線和文檔，我們可以了解到ChatGPT是在text-davinci-003 基礎(chǔ)上微調(diào)而來，這也是ChatGPT模型性能如此強大的核心要素。因為GPT-3.5系列模型是在2021年第四季度之前的文本和代碼樣本上訓(xùn)練，所以我們體驗ChatGPT時候同樣無法回答訓(xùn)練樣本日期之后的問題。

2） 監(jiān)督信號提升效果顯著

GPT3之前在預(yù)訓(xùn)練+微調(diào)已經(jīng)是NLP任務(wù)中標(biāo)準(zhǔn)范式，GPT3模型的訓(xùn)練是純自監(jiān)督學(xué)習(xí)并以API的形式發(fā)布，用戶不具備微調(diào)的能力，官方也是主打預(yù)訓(xùn)練+提示學(xué)習(xí)的能力。Prompt方法本質(zhì)是挖掘語言模型本身具備的知識，恰當(dāng)?shù)奶崾救ゼぐl(fā)語言模型的補全能力。監(jiān)督信號微調(diào)可以理解為改變了語言模型的理解能力，InstructGPT的工作可以理解為對GPT3-SFT做了數(shù)據(jù)增強提升，使得模型在理解人類指令方面更出色。但這并不影響監(jiān)督信號對最終效果的價值。

在InstructGPT的工作中，我們可以看到GPT3-SFT和InstructGPT在毒性、幻覺、理解客戶能力上，監(jiān)督學(xué)習(xí)微調(diào)已經(jīng)和強化學(xué)習(xí)對比有很大的競爭力，甚至在幻覺角度比基于強化學(xué)習(xí)的InstructGPT提升很明顯。

3） 人類反饋強化微調(diào)效果

ChatGPT通過人類反饋強化學(xué)習(xí)（RLHF）來讓模型理解人類的指令。人類反饋強化學(xué)習(xí)（RLHF）是DeepMind早期提出的，使用少量的人類反饋來解決現(xiàn)代RL任務(wù)。RLHF的思想在很多工作中都有體現(xiàn)，例如OpenAI的webGPT、DeepMind中Sparrow等都通過人類的反饋進一步提升大模型的效果。

RLHF整個訓(xùn)練過程如下圖所示：

目標(biāo)是實現(xiàn)后空翻的任務(wù)，智能體Agent在環(huán)境中隨機行動，每隔一段時間，兩個行為的視頻片段給一個人，人判斷兩個視頻哪個更接近目標(biāo)。通過人的反饋數(shù)據(jù)，學(xué)習(xí)一個最能解釋人類判斷的獎勵模型Reward Model，然后使用RL來學(xué)習(xí)如何實現(xiàn)目標(biāo)。隨著人類繼續(xù)提供模型無法判斷時候的反饋，實現(xiàn)了進一步完善它對目標(biāo)的理解。智能體Agent從人類反饋中學(xué)習(xí)最終在許多環(huán)境中有時甚至是超過人類的表現(xiàn)。

行動驅(qū)動的大語言模型

盡管學(xué)術(shù)界一直無法真正定義AGI，今年大型語言模型（LLM）的表現(xiàn)讓我們對通用人工智能有了期待，通過OpenAI的ChatGPT、Google的PaLM、DeepMind的Sparrow取得的成功，人工智能的未來應(yīng)該是行動驅(qū)動的，一個行動驅(qū)動的LLM看起來很像AGI，如下圖所示:

模型的行為就像一個智能體Agent選擇行動。在中間，我們有開箱即用的基礎(chǔ)模型LLM。用戶通過Prompt詢問模型結(jié)果。

左邊是外部可利用的資源，這些可以是任何將文本作為輸入并提供文本作為輸出的函數(shù)，包括搜索、數(shù)據(jù)庫、代碼解釋器和與人聊天等，它可以增強模型的能力。

右邊是我們有任務(wù)導(dǎo)向的訓(xùn)練，如instruction tuning、RLHF等。instruction tuning相對好實現(xiàn)，RLHF需要調(diào)整PPO算法相對較難。整體上RL利用使用日志等專有數(shù)據(jù)，通過創(chuàng)建強大的反饋回路，訓(xùn)練模型使其更加符合任務(wù)需求并迭代優(yōu)化。