出品 | 微果醬

作者 | 陳出木&zhou大紅

科技圈上一次這么“瘋狂”，還要回到2007年1月9日。蘋果聯(lián)合創(chuàng)始人兼CEO的史蒂夫·喬布斯（Steve Jobs）在舊金山Moscone中心發(fā)布第一代iPhone，標志著智能手機時代的來臨，也加速了移動互聯(lián)網(wǎng)時代的騰飛。

而今天，曾經(jīng)掀起科技海嘯的ChatGPT推出迭代產(chǎn)品——GPT-4，會否再一次改變世界

“超級網(wǎng)紅”GPT-4亮相

今天凌晨一點，OpenAI的首席執(zhí)行官Sam Altman在社交媒體上發(fā)文，官宣推出“GPT-4”（openai.com/research/gpt-4）：

一石激起千層浪。

國外，華爾街日報、紐約時報等各大媒體聞風而動，BBC用上的標題是《OpenAI announces ChatGPT successor GPT-4》，直接將GPT-4稱為ChatGPT的“繼任者”。

國內(nèi)同樣大受震動，各家媒體爭相報道。一時之間，““未來”似乎真的已來。

這種科技應用熱浪已經(jīng)很久沒看到過了，甚至頗有2007年喬布斯發(fā)布會的激動既視感。

彼時，喬布斯在臺上向人們講解為什么要花499美元買iPhone。盡管他語氣平靜，但臺下掌聲雷動，媒體們也像今天這般蜂擁跟進。而直到現(xiàn)在，16年后，互聯(lián)網(wǎng)上仍然持續(xù)銘記并懷念著那場劃時代的發(fā)布會。

因為正如喬布斯所說，“蘋果要重新定義手機。”那天之后，我們逐漸用上智能機，正式步入了移動互聯(lián)網(wǎng)時代。

當前很難斷定GPT-4是否能像iPhone那般改變世界，畢竟連“ChatGPT之父”Sam Altman也表示，其仍有缺陷。但毋庸置疑的是，它正在加速這種改變。

以下是Open AI關于GPT-4新能力的介紹：

圖源：GPT-4官網(wǎng)

GPT-4的新功能一覽

根據(jù)GPT-4的官網(wǎng)消息，相比GPT-3.5，GPT-4的能力將在任務復雜性達到足夠的閾值時顯現(xiàn)出來，會更可靠、更具創(chuàng)造力，并且能夠處理更細微的指令。

相當于說，問題越難，GPT-4越能一展身手，而普通交談上，GPT-4和GPT-3.5差異不大。這個結論是基于，OpenAI讓兩個模型在各種為人類設計的模擬考試上進行的實驗。

此外，GPT-4優(yōu)于現(xiàn)有的大型語言模型及大多數(shù)SOTA模型。且在測試的 26 種語言的24種中，GPT-4優(yōu)于GPT-3.5和其他大語言模型（Chinchilla、PaLM）的英語語言性能。

根據(jù)官方技術文檔，GPT-4的新功能具體包括：

1.Visual inputs（視覺輸入）

GPT-4可以接受文本和圖像的prompt（javascript語言中的一個方法，主要用于顯示提示對話框），這與純文本設置并行，允許用戶指定任何視覺或語言任務。

具體來說，當用戶給定由穿插的文本和圖像組成的輸入，GPT-4可以生成文本輸出，包括了自然語言、代碼等。換言之，輸入帶有文本和照片的文檔、圖表或屏幕截圖，GPT-4已經(jīng)可以表現(xiàn)出與純文本輸入類似的功能。

此外，它還可以通過為純文本語言模型開發(fā)的測試時間技術來增強，包括少量鏡頭和思維鏈prompt。

舉個例子，當你問GPT-4：“這張照片有什么好笑的？逐一描述。”面對問題中同時出現(xiàn)了文本和圖片的情況，GPT-4識別之后，絲毫不慌地給出三個理由。

再來個圖文并茂的物理題，GPT-4不僅成功跨語種，讀懂法語題目并給出了完整解答過程。

GPT-4還能站在人類角度理解到圖片的不同尋常之處。

甚至對于更加具有主觀創(chuàng)造性的“梗圖”和漫畫，GPT-4也能說出個一二三四。

User：你能解釋一下這個迷因嗎？（圖中文字翻譯：有時我只是從太空看地球的照片，想象這一切是多么美好）

 

GPT-4：這是一個笑話，它結合了兩個無關的東西——來自太空的地球圖片和雞塊。其文字表明，下圖是一張來自太空的地球圖片，而這張圖片實際上是雞塊，被排列成模糊的世界地圖。其中的幽默來自于文本和圖像的意外并置。文本設定了一個宏偉的地球形象的期望，但這個形象實際上是世俗和愚蠢的。

在Open AI發(fā)布的GPT-4開發(fā)者直播視頻中，開發(fā)人員還演示了利用GPT-4，將他筆記本上的草圖圖像創(chuàng)建了一個網(wǎng)站。

盡管官方表示，圖像輸入仍然是一個研究預覽，無法公開。但無疑，這樣的人工智能程度是足以令人心驚的。

而開發(fā)者還不斷發(fā)現(xiàn)GPT-4能處理的新的任務，并計劃很快發(fā)布進一步的分析和評估數(shù)據(jù)，并對測試時間技術的影響進行徹底調(diào)查。

2.Steerability（可操縱性）

OpenAI一直致力于定義AI行為的各個方面，其中一項就是可操縱性。

官方表示，開發(fā)人員（以及很快的ChatGPT用戶）可以通過在“系統(tǒng)”消息中描述方向來設定他們的AI風格和任務，而不像傳統(tǒng)的ChatGPT，具有固定的冗長語調(diào)和風格。

這一個功能的意思是，系統(tǒng)消息允許API用戶在一定范圍內(nèi)自定義用戶體驗，即是用戶可以在系統(tǒng)中設定GPT-4的角色，并在這個基礎上進行AI問答，而GPT-4的回答將基于這個設定展開。

在官方示例中，使用者在system（系統(tǒng)）設定GPT-4是“一個總以蘇格拉底式風格回應的導師，永遠不會給學生答案，但總是試著提出正確的問題......”可以看到，在隨后的對話中，GPT-4遵守著這一設定，不斷提出問題引導使用者。

3.將事實與錯誤陳述的對抗性選擇區(qū)分開的能力

盡管GPT-4強大如斯，但其實局限性與早期GPT模型相似。最重要的是，它仍然不完全可靠（它“幻覺”了事實并犯了推理錯誤），只是相比此前模型已經(jīng)減少了“幻覺”，在內(nèi)部對抗性真實性評估中，GPT-4的得分比GPT-3.5高40%。

GPT-4在TruthfulQA等外部基準上取得進展。比如在測試模型將事實與一組錯誤陳述區(qū)分開來的能力，GPT-4僅略優(yōu)于GPT-3.5。但經(jīng)過RLHF（reinforcement learning from human feedback，強化學習人類反饋）訓練后，差距就明顯起來了。

在官方示例中，GPT-4開始拒絕選擇常見的說法（你不能教老狗新的技巧），但它仍可能錯過一些微妙的細節(jié)（埃爾維斯·普雷斯利不是演員的兒子）。

根據(jù)一些近期的博客文章，OpenAI的目標是使構建的人工智能系統(tǒng)具有合理的默認行為，以反映廣泛的用戶價值觀。

但官方也承認，GPT-4通常缺乏對絕大多數(shù)數(shù)據(jù)中斷（2021年9月）后發(fā)生的事件的了解，也沒有從中吸取經(jīng)驗教訓，有時會犯一些簡單的推理錯誤，或者輕信用戶的虛假陳述。

這便是有趣之處，基礎預訓練模型經(jīng)過高度校準（其對答案的預測置信度通常與正確的概率相匹配），但通過OpenAI目前的后訓練（post-training）過程，校準減少了。

4.安全性能提高

GPT-4與此前的模型具有類似的風險，例如生成有害建議、錯誤代碼或不準確的信息，再加上新功能帶來的新風險，都有可能為其未來埋下重雷。

所以，OpenAI通過預培訓數(shù)據(jù)的選擇和過濾、評估和專家參與、模型安全改進以及監(jiān)控和執(zhí)行，來提高GPT-4的安全性能，并在RLHF訓練期間加入了額外的安全獎勵信號。團隊收集了多樣化數(shù)據(jù)集，在允許和不允許的類別上應用安全獎勵信號（有正值或負值），以減少有害輸出和防止拒絕有效請求。

這些措施改善了GPT-4的安全性能。與GPT-3.5相比，模型對不允許內(nèi)容的請求響應傾向降低82%，對敏感請求（如醫(yī)療建議和自我傷害）的響應符合政策的頻率提高29%。

5.使用RLHF微調(diào)模型行為

與此前的GPT模型一樣，GPT-4基礎模型被訓練為預測文檔中的下一個單詞，并使用公開可用的數(shù)據(jù)（如互聯(lián)網(wǎng)數(shù)據(jù)）以及我們許可的數(shù)據(jù)進行訓練。所以，這個數(shù)據(jù)集包括了數(shù)學問題的正確答案和錯誤答案、弱推理和強推理、自相矛盾和一致的陳述等。

這就導致模型的響應可能與用戶的意圖相去甚遠。為了緩解這種情況，OpenAI使用RLHF來微調(diào)模型的行為。但GPT-4的能力似乎主要來自預訓練過程。RLHF不會提高甚至降低考試成績。但模型的控制來自后訓練過程，基礎模型甚至需要及時的工程設計來回答問題。

6.構建可預測擴展的深度學習堆棧

GPT-4官方強調(diào)了這個新項目的重點之一，是構建了一個可預測擴展的深度學習堆棧，因為廣泛的特定模型調(diào)整對于GPT-4這樣的大型訓練不可行。

研發(fā)團隊開發(fā)的基礎設施和優(yōu)化在多種規(guī)模下都有可預測的行為。為了驗證這種可擴展性，他們通過使用相同方法但計算量少10000倍的模型中進行外推，提前準確預測GPT-4在內(nèi)部代碼庫（不是訓練集的一部分）的最終損失。

從GPT-4更新的這六項能力里，我們可以在一定程度上看到人工智能的發(fā)展水平。

OpenAI表示公司內(nèi)部也在使用GPT-4，所以也關注大型語言模型在內(nèi)容生成、銷售和編程等方面的應用效果，并將使用GPT-4輔助人們評估AI輸出，這也是OpenAI對其策略的第二階段。

GPT-4會改變世界嗎？

GPT-4這一波來勢洶洶，壓力給到了碰巧計劃明天發(fā)布文心一言的百度。

但如果細究GPT-4會否改變世界，卻很難一言以蔽之。

誠然，GPT-4的推出可以在一定程度上標志著人工智能水平的進一步拔高?？梢灶A見，在其完全開放之后對各個行業(yè)的沖擊，因為連圖文都能夠進行解讀的AI，必然能夠輸出更加細膩的內(nèi)容。

這顯然會讓世界范圍內(nèi)追趕ChatGPT的友商再次虎軀一震，于是“站隊”也提前到來，是接入還是硬剛——

GPT-4正式官宣后，微軟也確認新的Bing正在GPT-4上運行，「這是我們?yōu)樗阉鞫ㄖ频摹埂?/p>

而 GPT-4的上新，距離2月8日微軟發(fā)布由ChatGPT和GPT-3.5提供支持的全新搜索引擎必應（Bing）和Edge瀏覽器，僅僅過去了一個月多。

為了保住自己的行業(yè)老大哥地位，谷歌在AI方面也沒閑著。

2月7日，谷歌官宣其基于2021年5月推出的大語言模型LaMDA而打造的一代對話AI系統(tǒng)Bard；

谷歌正在為開發(fā)人員提供其最先進的人工智能語言模型之一：PaLM。這家搜索巨頭正在為 PaLM 推出一個 API以及一些人工智能企業(yè)工具，據(jù)稱這將幫助企業(yè)“從簡單的自然語言提示中生成文本、圖像、代碼、視頻、音頻等。”

3月14日，谷歌開放AI語言模型PaLM API，企業(yè)和開發(fā)人員將能夠在該系統(tǒng)的基礎上構建自定義聊天機器人等。

除了推出 PaLM API 外，谷歌還在其 Vertex AI 平臺中擴大對生成 AI 的支持；并推出了一個名為Generative AI App Builder的新平臺，該平臺“允許開發(fā)人員快速發(fā)布新體驗，包括機器人、聊天界面、自定義搜索引擎、數(shù)字助理等。

而在3月16日（也就是明天），百度的大模型新項目文心一言（ERNIE Bot），也將迎來正式揭曉的時刻。盡管還不知道它長什么樣子、具備怎樣的“超能力”，鋪墊了一個多月也吊足了大家的胃口。

但話又說回來，OpenAI發(fā)布的這篇“Technical Report”，說是技術報告，不如說是產(chǎn)品廣告+免責聲明。畢竟官方無時無刻不在強調(diào)，GPT-4仍有局限、缺陷和風險。有AI專家直言，“是一次推廣特征更為明顯的廣告行為”。

GPT-4是站在巨人的肩膀上，用此前的技術積累完成迭代，其整體技術相比此前，并沒有非常里程碑式的突破，只能說均有優(yōu)化。

更值得注意的是，OpenAI還在官宣GPT-4的內(nèi)容最后表示，正在開源OpenAI Evals，該軟件框架系用于創(chuàng)建和運行評估GPT-4等模型的基準，支持編寫新的類來實現(xiàn)自定義的評估邏輯，廣邀用戶體驗。

如此看來，GPT-4推出的最大意義或許不在于具體如何改變世界，更在于加快科技發(fā)展的進程，向世人展示人工智能的更多可能性，以及為OpenAI打了一波成功廣告。