5，ChatGPT的未來改進(jìn)方向

5.1 減少人類反饋的RLAIF

2020年底，OpenAI前研究副總裁Dario Amodei帶著10名員工創(chuàng)辦了一個人工智能公司Anthropic。Anthropic 的創(chuàng)始團(tuán)隊成員，大多為 OpenAI 的早期及核心員工，參與過OpenAI的GPT-3、多模態(tài)神經(jīng)元、人類偏好的強(qiáng)化學(xué)習(xí)等。

2022年12月，Anthropic再次發(fā)表論文《Constitutional AI: Harmlessness from AI Feedback》介紹人工智能模型Claude。（arxiv.org/pdf/2212.0807）

CAI模型訓(xùn)練過程

Claude 和 ChatGPT 都依賴于強(qiáng)化學(xué)習(xí)(RL)來訓(xùn)練偏好（preference）模型。CAI（Constitutional AI）也是建立在RLHF的基礎(chǔ)之上，不同之處在于，CAI的排序過程使用模型（而非人類）對所有生成的輸出結(jié)果提供一個初始排序結(jié)果。

CAI用人工智能反饋來代替人類對表達(dá)無害性的偏好，即RLAIF，人工智能根據(jù)一套constitution原則來評價回復(fù)內(nèi)容。

5.2 補(bǔ)足數(shù)理短板

ChatGPT雖然對話能力強(qiáng)，但是在數(shù)理計算對話中容易出現(xiàn)一本正經(jīng)胡說八道的情況。

計算機(jī)學(xué)家Stephen Wolfram 為這一問題提出了解決方案。Stephen Wolfram 創(chuàng)造了的 Wolfram 語言和計算知識搜索引擎 Wolfram | Alpha，其后臺通過Mathematica實現(xiàn)。

ChatGPT與Wolfram | Alpha結(jié)合處理梳理問題

在這一結(jié)合體系中，ChatGPT 可以像人類使用 Wolfram|Alpha 一樣，與 Wolfram|Alpha “對話”，Wolfram|Alpha 則會用其符號翻譯能力將從 ChatGPT 獲得的自然語言表達(dá)“翻譯”為對應(yīng)的符號化計算語言。在過去，學(xué)術(shù)界在 ChatGPT 使用的這類 “統(tǒng)計方法” 和 Wolfram|Alpha 的 “符號方法” 上一直存在路線分歧。但如今 ChatGPT 和 Wolfram|Alpha 的互補(bǔ)，給NLP領(lǐng)域提供了更上一層樓的可能。

ChatGPT 不必生成這樣的代碼，只需生成常規(guī)自然語言，然后使用 Wolfram|Alpha 翻譯成精確的 Wolfram Language，再由底層的Mathematica進(jìn)行計算。

5.3 ChatGPT的小型化

雖然ChatGPT很強(qiáng)大，但其模型大小和使用成本也讓很多人望而卻步。

有三類模型壓縮（model compression）可以降低模型的大小和成本。

第一種方法是量化（quantization），即降低單個權(quán)重的數(shù)值表示的精度。比如Tansformer從FP32降到INT8對其精度影響不大。

第二種模型壓縮方法是剪枝（pruning），即刪除網(wǎng)絡(luò)元素，包括從單個權(quán)重（非結(jié)構(gòu)化剪枝）到更高粒度的組件如權(quán)重矩陣的通道。這種方法在視覺和較小規(guī)模的語言模型中有效。

第三種模型壓縮方法是稀疏化。例如奧地利科學(xué)技術(shù)研究所 (ISTA)提出的SparseGPT （arxiv.org/pdf/2301.0077）可以將 GPT 系列模型單次剪枝到 50% 的稀疏性，而無需任何重新訓(xùn)練。對 GPT-175B 模型，只需要使用單個 GPU 在幾個小時內(nèi)就能實現(xiàn)這種剪枝。

SparseGPT 壓縮流程

6 ChatGPT的產(chǎn)業(yè)未來與投資機(jī)會

6.1 AIGC

說到ChaGPT不得不提AIGC。

AIGC即利用人工智能技術(shù)來生成內(nèi)容。與此前Web1.0、Web2.0時代的UGC（用戶生產(chǎn)內(nèi)容）和PGC（專業(yè)生產(chǎn)內(nèi)容）相比，代表人工智能構(gòu)思內(nèi)容的AIGC，是新一輪內(nèi)容生產(chǎn)方式變革，而且AIGC內(nèi)容在Web3.0時代也將出現(xiàn)指數(shù)級增長。

ChatGPT 模型的出現(xiàn)對于文字/語音模態(tài)的 AIGC 應(yīng)用具有重要意義，會對AI產(chǎn)業(yè)上下游產(chǎn)生重大影響。

6.2 受益場景

從下游相關(guān)受益應(yīng)用來看，包括但不限于無代碼編程、小說生成、對話類搜索引擎、語音陪伴、語音工作助手、對話虛擬人、人工智能客服、機(jī)器翻譯、芯片設(shè)計等。從上游增加需求來看，包括算力芯片、數(shù)據(jù)標(biāo)注、自然語言處理（NLP)等。

大模型呈爆發(fā)態(tài)勢（更多的參數(shù)/更大的算力芯片需求）

隨著算法技術(shù)和算力技術(shù)的不斷進(jìn)步，ChatGPT也會進(jìn)一步走向更先進(jìn)功能更強(qiáng)的版本，在越來越多的領(lǐng)域進(jìn)行應(yīng)用，為人類生成更多更美好的對話和內(nèi)容