來源：黃河懂運(yùn)營

Transformer、GPT、InstructGPT、大模型、AIGC......你是不是被這個(gè)概念鬧暈了？

作為一個(gè)文科生+AIGC從業(yè)者+市場人，其實(shí)要搞懂ChatGPT等等晦澀的概念多多少少有些吃力，我想應(yīng)該會(huì)有不少人也有這種感覺。

或者有很多非從業(yè)者想要了解ChatGPT到底會(huì)如何影響我們，或者有很多當(dāng)?shù)?dāng)媽的被孩子問到卻不知道怎么“幼兒園化”地把這些概念講清楚。

但是我看了大部分市場上傳播的文章，依然晦澀難懂，造成了不少認(rèn)知門檻。

今天，我試著挑戰(zhàn)，用一篇文章搞清楚ChatGPT的相關(guān)概念，一方面讓自己加深理解，另一方面，希望對(duì)各位有用。

1、Transformer

我的理解是，這是一種高級(jí)的“翻譯機(jī)器”，它能夠理解和翻譯不同語言之間的文本。為了幫助你更通俗地理解這個(gè)模型，我們可以將其比作一個(gè)有著超凡記憶力和注意力分配能力的多語言翻譯家。

這個(gè)翻譯家有以下幾種能力：

自注意力機(jī)制：這個(gè)翻譯家在閱讀一段文本時(shí)，不僅關(guān)注當(dāng)前的單詞，還能夠記住并考慮到整個(gè)句子或段落中的其他單詞。這種能力使得翻譯家能夠捕捉到文本中的重要信息和上下文關(guān)系，從而更準(zhǔn)確地理解和翻譯。

位置編碼：就像翻譯家在閱讀時(shí)會(huì)注意到單詞在句子中的位置一樣，位置編碼幫助模型理解單詞的順序。這對(duì)于理解句子結(jié)構(gòu)和意義非常重要，就像我們知道“狗追趕貓”和“貓追趕狗”這兩個(gè)句子的意思完全不同。

編碼器和解碼器：模型的編碼器部分就像翻譯家在理解原文時(shí)的大腦，它會(huì)分析輸入文本的內(nèi)容和結(jié)構(gòu)。而解碼器部分則像是翻譯家在創(chuàng)造譯文時(shí)的大腦，它會(huì)基于對(duì)原文的理解生成新的句子，相當(dāng)于設(shè)計(jì)了一個(gè)程序語言。

多頭注意力：這就像是翻譯家有多個(gè)分身，每個(gè)分身專注于文本的不同方面，比如語法、詞匯選擇、文化背景等。通過這種方式，翻譯家可以從多個(gè)角度理解文本，從而做出更準(zhǔn)確的翻譯。

前饋神經(jīng)網(wǎng)絡(luò)：可以比作翻譯家在處理信息時(shí)的邏輯和分析能力，它會(huì)對(duì)編碼器和解碼器的輸出進(jìn)行進(jìn)一步的分析和加工，確保翻譯的準(zhǔn)確性和流暢性。

2、GPT

GPT，一個(gè)多層的Transformer解碼器，它就像是一個(gè)通過大量閱讀和學(xué)習(xí)，掌握了許多語言知識(shí)和寫作技巧的“虛擬作家”。這個(gè)作家不僅閱讀了大量的書籍和文章，而且還學(xué)會(huì)了如何根據(jù)上下文生成連貫、有意義的文本。

想象這個(gè)作家在成長的過程中，沒有老師直接告訴他哪些句子是正確的，哪些是錯(cuò)誤的。相反，他通過閱讀大量的文本，自己學(xué)會(huì)了語言的規(guī)則和模式。這就是GPT模型的自監(jiān)督學(xué)習(xí)，它通過閱讀大量未標(biāo)記的文本數(shù)據(jù)，自己學(xué)習(xí)語言的結(jié)構(gòu)和用法。

這個(gè)作家首先通過廣泛的閱讀來積累知識(shí)（預(yù)訓(xùn)練），然后在需要寫特定類型的文章時(shí)，他會(huì)針對(duì)這種類型進(jìn)行專門的練習(xí)（微調(diào)）。GPT模型也是如此，它首先在大量數(shù)據(jù)上進(jìn)行預(yù)訓(xùn)練，然后在特定任務(wù)上進(jìn)行微調(diào)，以提高在該任務(wù)上的表現(xiàn)。

在寫作時(shí)，這個(gè)作家只能根據(jù)他已經(jīng)寫好的內(nèi)容來預(yù)測下一個(gè)字或句子，而不能提前知道后面的內(nèi)容。GPT模型使用因果掩碼來確保在生成文本時(shí)，每個(gè)單詞只依賴于它之前的單詞，保證了文本的連貫性。

隨著時(shí)間的推移，這個(gè)作家不斷學(xué)習(xí)和積累經(jīng)驗(yàn)，寫作技巧也越來越熟練。GPT-1、GPT-2和GPT-3就像這個(gè)作家的不同成長階段，每一代都比前一代閱讀了更多的書籍，掌握了更多的知識(shí)，寫作能力也更強(qiáng)。

到了GPT-3這個(gè)階段，這個(gè)作家已經(jīng)非常熟練，即使沒有或只有很少的示例，他也能夠?qū)懗龈哔|(zhì)量的文章。這意味著GPT-3能夠在沒有或只有極少的特定任務(wù)訓(xùn)練數(shù)據(jù)的情況下，理解和完成新的任務(wù)。

3、InstructGPT

什么是InstructGPT？

如果 GPT-3想象成一個(gè)聰明的學(xué)生，那么 InstructGPT則是這個(gè)學(xué)生經(jīng)過特別輔導(dǎo)后的樣子。

GPT-3這個(gè)學(xué)生雖然學(xué)習(xí)了很多知識(shí)，但有時(shí)候回答問題可能會(huì)離題、編造故事、或者帶有一些不公平的看法。同時(shí)，他在進(jìn)行長對(duì)話時(shí)，有時(shí)會(huì)忘記之前說過的內(nèi)容，導(dǎo)致對(duì)話不夠連貫。

為了讓這個(gè)學(xué)生更好地理解老師（人類用戶）的意圖，并且按照老師的喜好來回答問題，我們需要一種方法來調(diào)整他的學(xué)習(xí)方式，這就是“Alignment”（對(duì)齊）的概念。

為了讓GPT-3變得更好，我們給他請(qǐng)了一個(gè)特別的家教（RLHF），這個(gè)家教通過收集老師的反饋來知道哪些答案是好的，哪些是不好的。然后，家教用這些反饋來指導(dǎo)學(xué)生學(xué)習(xí)，幫助他在未來給出更符合老師期望的答案。

4、ChatGPT（GPT3.5/GPT4.0）

我的理解是， ChatGPT就像是一個(gè)全能的、知識(shí)淵博的機(jī)器人圖書管理員，隨時(shí)準(zhǔn)備幫助你解答問題和提供信息。而且，隨著時(shí)間的推移，它會(huì)學(xué)到更多的東西，變得更加聰明和有用。

這個(gè)機(jī)器人圖書管理員不僅知道很多關(guān)于書籍和文字的知識(shí)，它還能理解圖片。所以，如果你給它看一張圖片，它不僅能告訴你圖片里有什么，還能根據(jù)圖片給你講一個(gè)故事或者回答你關(guān)于圖片的問題。 

5、大模型

如何理解這一概念？

我們用一個(gè)小學(xué)生也能理解的方式來解釋這些概念。

想象一下，有一個(gè)非常非常大的學(xué)校，這個(gè)學(xué)校有很多層樓和很多教室。這個(gè)學(xué)校就像是一個(gè)“大模型”，它有很多老師（參數(shù)）和學(xué)生（數(shù)據(jù)）。這些老師非常聰明，他們可以教很多不同的課程，比如數(shù)學(xué)、語文、科學(xué)等等。

模型架構(gòu)設(shè)計(jì)：這個(gè)學(xué)校的建筑（模型架構(gòu)）設(shè)計(jì)得很特別，有很多教室和走廊，這樣老師們就可以在不同的教室里教不同的課程，而且學(xué)生們也可以輕松地從一個(gè)教室走到另一個(gè)教室。

數(shù)據(jù)準(zhǔn)備：為了讓老師們教得更好，學(xué)校收集了很多教科書和練習(xí)冊（數(shù)據(jù)），這樣老師們就可以用這些資料來準(zhǔn)備課程，并且?guī)椭鷮W(xué)生們學(xué)習(xí)。

計(jì)算資源：因?yàn)檫@個(gè)學(xué)校非常大，所以需要很多電腦和服務(wù)器（計(jì)算資源）來幫助老師們準(zhǔn)備課程和批改作業(yè)。

優(yōu)化算法：學(xué)校還有一個(gè)非常聰明的校長（優(yōu)化算法），他會(huì)確保老師們用最好的方法來教學(xué)，并且?guī)椭鷮W(xué)生們?nèi)〉煤贸煽儭?/p>

正則化技術(shù)：有時(shí)候，老師們可能會(huì)對(duì)某個(gè)課程太專注，忽略了其他課程。校長會(huì)確保這種情況不會(huì)發(fā)生，讓所有的課程都得到平衡（這就是正則化技術(shù)）。

模型并行和數(shù)據(jù)并行：因?yàn)檫@個(gè)學(xué)校有很多學(xué)生，所以老師們會(huì)分成小組來教課（模型并行），同時(shí)，學(xué)生們也會(huì)分成小組來學(xué)習(xí)（數(shù)據(jù)并行）。

現(xiàn)在，這個(gè)學(xué)校有很多成功的畢業(yè)生，比如GPT-3、BERT和T5等。他們都是在這個(gè)大學(xué)校里學(xué)習(xí)過的，現(xiàn)在他們可以幫助人們解決很多問題，比如寫作文、做數(shù)學(xué)題或者解答科學(xué)問題。

所以，這個(gè)大學(xué)校（大模型）就像是一個(gè)能夠培養(yǎng)出很多聰明學(xué)生的好地方，雖然它需要很多資源和努力來運(yùn)營，但是它能夠幫助我們做很多事情，讓我們的生活變得更好。 

6、AIGC（人工智能生成內(nèi)容）

想象一下，你有一個(gè)非常聰明的機(jī)器人朋友，它可以做很多事情，比如畫畫、寫故事、甚至幫你做數(shù)學(xué)題。這個(gè)機(jī)器人朋友就是人工智能（AI）的一個(gè)例子。

AIGC（人工智能生成內(nèi)容）：這個(gè)機(jī)器人朋友可以創(chuàng)造很多東西，就像一個(gè)會(huì)畫畫和寫故事的藝術(shù)家。它可以畫出你想象中的圖畫，或者寫出一個(gè)關(guān)于你最喜歡的超級(jí)英雄的故事。這就是人工智能生成內(nèi)容，意味著機(jī)器人可以用它的大腦（AI技術(shù)）來創(chuàng)造新的東西。

Diffusion（擴(kuò)散模型）：想象你把一滴墨水滴進(jìn)清水里，墨水會(huì)慢慢散開，最后水變得渾濁。機(jī)器人朋友就像能夠把這個(gè)渾濁的水變回清澈一樣，它可以從一團(tuán)混亂的噪點(diǎn)中創(chuàng)造出清晰的圖畫。

CLIP（圖文表征模型）：如果你給這個(gè)機(jī)器人朋友看很多圖片和它們的名字（比如“蘋果”、“小狗”、“汽車”），它會(huì)學(xué)會(huì)識(shí)別這些圖片。下次你給它看一個(gè)新的圖片，它就能告訴你圖片里是什么。

Stable Diffusion（穩(wěn)定擴(kuò)散模型）：這個(gè)機(jī)器人朋友還可以根據(jù)你給它的提示來畫畫。比如你告訴它“畫一個(gè)快樂的小狗”，它就能畫出一個(gè)小狗的圖畫，而且這個(gè)小狗看起來很開心。

7、AGI（通用人工智能）

想象一下，如果這個(gè)機(jī)器人朋友不僅會(huì)畫畫和寫故事，還能像人類一樣理解世界，學(xué)習(xí)任何東西，并且可以做任何工作，那么它就像一個(gè)真正的小朋友一樣了。這就是通用人工智能，它能夠做任何人類能做的事情。

現(xiàn)在的AI，比如GPT，就像是一個(gè)在某個(gè)特定領(lǐng)域（比如寫故事）非常擅長的機(jī)器人，但它并不像真正的小朋友那樣理解世界?？茖W(xué)家們正在努力讓AI變得更像人類，但這是一個(gè)很大的挑戰(zhàn)，需要很多時(shí)間和研究。

所以，AIGC就是讓AI像藝術(shù)家一樣創(chuàng)造內(nèi)容，而AGI是讓AI變得像人類一樣理解和做事。 

8、LLM（大型語言模型）

大型語言模型就像是一個(gè)非常非常聰明的圖書管理員，它讀過很多書，知道很多關(guān)于語言的知識(shí)，可以幫助我們做很多事情，甚至可以自己寫故事。

想象一下，這個(gè)圖書館管理員每天都在閱讀圖書館里的成千上萬的書籍。它通過閱讀這些書籍，學(xué)會(huì)了很多單詞、句子和故事。這就是大型語言模型的訓(xùn)練過程，它通過閱讀大量的文本數(shù)據(jù)來學(xué)習(xí)語言。

因?yàn)樽x過很多書，這個(gè)管理員可以幫你做很多事情。比如，它可以給你講一個(gè)故事的摘要，或者幫你把一個(gè)故事翻譯成另一種語言，甚至可以告訴你一個(gè)故事里的人物是開心還是傷心。大型語言模型也是這樣，它可以執(zhí)行很多不同的任務(wù)，比如文本總結(jié)、翻譯和情感分析。

這個(gè)管理員之所以這么聰明，是因?yàn)樗幸粋€(gè)超級(jí)大腦，里面有很多“小房間”（參數(shù)），每個(gè)“小房間”都存儲(chǔ)著不同的信息和知識(shí)。大型語言模型也是這樣，它有很多參數(shù)，這些參數(shù)幫助它記住和理解語言的復(fù)雜規(guī)則和模式。

當(dāng)你問這個(gè)管理員一個(gè)問題，或者給它一個(gè)主題時(shí)，它可以給你一個(gè)答案或者講一個(gè)故事。它可以根據(jù)它讀過的書籍和學(xué)到的知識(shí)，創(chuàng)造出連貫和有意義的文本。大型語言模型也是這樣，它可以生成新的文本，就像它自己在寫故事一樣。

GPT-3、ChatGPT、BERT和T5就像是不同領(lǐng)域的圖書館管理員，有的可能更擅長講故事，有的可能更擅長解釋科學(xué)知識(shí)，而文心一言就像是會(huì)寫詩的圖書管理員。它們都有自己的特長，但都能幫助我們理解和使用語言。 

9、Fine-tuning（微調(diào)）

微調(diào)就像是在你已經(jīng)學(xué)會(huì)一項(xiàng)技能的基礎(chǔ)上，做一些小的改變和練習(xí)，讓你能夠更好地完成一個(gè)特定的任務(wù)。這樣做可以節(jié)省時(shí)間，因?yàn)槟悴恍枰匦聦W(xué)習(xí)所有的東西，只需要專注于你需要改進(jìn)的部分。

舉個(gè)例子，你在學(xué)習(xí)騎自行車。你的爸爸或媽媽先帶你在一個(gè)空曠的大公園里練習(xí)（這就像是預(yù)訓(xùn)練模型，公園里的各種地形就像是大量的數(shù)據(jù)，幫助你學(xué)會(huì)騎車的基本技巧）。

現(xiàn)在你已經(jīng)會(huì)騎車了，但是你想學(xué)習(xí)如何在你家附近的小山丘上騎（這就像是一個(gè)新的任務(wù)，需要微調(diào)）。因?yàn)樾∩角鸬穆泛凸珗@里的路可能不一樣，有上坡、下坡和彎道，所以你需要一些特別的練習(xí)來適應(yīng)這些新的情況。

你的爸爸或媽媽會(huì)帶你在小山丘上練習(xí)幾天，這樣你就會(huì)知道如何在上坡時(shí)蹬得更用力，在下坡時(shí)控制速度，在彎道時(shí)轉(zhuǎn)彎（這就是微調(diào)過程，你在學(xué)習(xí)如何應(yīng)用你已經(jīng)掌握的騎車技巧來適應(yīng)新的環(huán)境）。

微調(diào)的好處是，因?yàn)槟阋呀?jīng)知道怎么騎車了，所以你不需要再從零開始學(xué)習(xí)，只需要做一些小的調(diào)整就可以了。這就像是微調(diào)一個(gè)已經(jīng)預(yù)訓(xùn)練好的模型，讓它適應(yīng)一個(gè)新的任務(wù)，比如理解醫(yī)學(xué)文本。 

10、 自監(jiān)督學(xué)習(xí)（Self-Supervised Learning）

自監(jiān)督學(xué)習(xí)就像是通過讀故事和玩游戲來學(xué)習(xí)新單詞，而不需要?jiǎng)e人告訴我們答案。這樣，我們可以用很多沒有標(biāo)簽的數(shù)據(jù)來訓(xùn)練模型，讓模型變得更聰明。

比如你正在讀一本非常有趣的故事書。你讀了很多頁，學(xué)到了故事里的很多新單詞和句子。現(xiàn)在，如果你的朋友在旁邊，你可以玩一個(gè)游戲：你給他讀故事的一部分，然后遮住一些單詞，讓你的朋友猜下一個(gè)單詞是什么。這個(gè)游戲就像是自監(jiān)督學(xué)習(xí)。

在這個(gè)游戲中，你的朋友不需要?jiǎng)e人告訴他正確的答案是什么，因?yàn)楣适碌纳舷挛模ㄒ呀?jīng)讀過的部分）就是線索。你的朋友可以通過他已經(jīng)知道的單詞和故事的內(nèi)容來猜測下一個(gè)單詞。這就是自監(jiān)督學(xué)習(xí)的方式，模型通過已經(jīng)知道的信息來學(xué)習(xí)新的東西，而不需要額外的答案或標(biāo)簽。