很可惜 T 。T 您現(xiàn)在還不是作者身份，不能自主發(fā)稿哦～
如有投稿需求，請把文章發(fā)送到郵箱tougao@appcpx.com，一經(jīng)錄用會(huì)有專人和您聯(lián)系
咨詢?nèi)绾纬蔀榇河鹱髡哒埪?lián)系：鳥哥筆記小羽毛（ngbjxym）
消滅大模型幻覺，它是最大的利器。
作者|文昌龍
編輯|楊舟
“未來我們得到的內(nèi)容可能是AI生產(chǎn)的東西占主導(dǎo)，這些東西又成為新的語料喂給AI，然后AI又會(huì)加工AI生產(chǎn)的東西，不斷反復(fù)。這就會(huì)出現(xiàn)‘遞歸效應(yīng)’，出現(xiàn)尼采講的‘永恒循環(huán)’。”
中國人民大學(xué)新聞學(xué)院教授劉海龍?jiān)诓稍L中指出，AI帶來的信息傳播負(fù)面效應(yīng)日益顯現(xiàn)。這一現(xiàn)象并非難以察覺，越來越多的人已開始感受到AI對信息傳播的顛覆性影響。
隨著AI信息循環(huán)的加劇，信息傳播的失真也愈發(fā)嚴(yán)重。打破這一惡性循環(huán)，一個(gè)解決思路是，牢牢把控源內(nèi)容。換句話說，打破AI大模型“幻覺”鏈條的關(guān)鍵，在于保證訓(xùn)練數(shù)據(jù)的質(zhì)量與權(quán)威性。
根據(jù)公開信息，大型語言模型（LLM）數(shù)據(jù)集可以簡單的概括為通用預(yù)訓(xùn)練語料庫和特定領(lǐng)域預(yù)訓(xùn)練語料庫，前者的來源也就是網(wǎng)頁、語言文本、書籍、學(xué)術(shù)資料、代碼、平行語料庫、社交媒體和百科全書。
其中，百科作為訓(xùn)練數(shù)據(jù)集的核心組成部分，已經(jīng)成為AIGC時(shí)代數(shù)據(jù)權(quán)威性的關(guān)鍵。
維基百科與百度百科等平臺已經(jīng)意識到這一點(diǎn)，并紛紛采取措施，確保數(shù)據(jù)的可信度與權(quán)威性。作為全球詞條數(shù)量最多的中文百科全書，百度百科近期也有了進(jìn)一步的舉措。
12月27日，在百度百科在和中國科協(xié)、中國科學(xué)院大學(xué)聯(lián)合舉辦的史記2024·科學(xué)百科100詞發(fā)布會(huì)上，發(fā)布了「繁星計(jì)劃」，將AI與知識內(nèi)容的融合推向了新的高度。這一舉措并非簡單地像維基百科排斥AI，因?yàn)锳I本身也具備創(chuàng)造力，更像是在AI與權(quán)威之間架起了一座橋梁。
毫無疑問，在不廣為注意的領(lǐng)域，百科的內(nèi)容保衛(wèi)戰(zhàn)已經(jīng)拉開帷幕。
百科的重要性在于，它是AI是否生成幻覺的訓(xùn)練數(shù)據(jù)集源頭之一。
大模型訓(xùn)練數(shù)據(jù)集，是指用來訓(xùn)練大型人工智能模型（如GPT、文心一言等大語言模型）的大量數(shù)據(jù)集合，對大模型的性能和表現(xiàn)至關(guān)重要。
打個(gè)比方，如果將大模型比作一個(gè)學(xué)生，那么訓(xùn)練數(shù)據(jù)集便是教材與練習(xí)題。教材的質(zhì)量與練習(xí)題的數(shù)量和種類，直接決定了學(xué)生的學(xué)習(xí)效果與知識掌握程度。一個(gè)優(yōu)質(zhì)的訓(xùn)練數(shù)據(jù)集，能夠幫助大模型這個(gè)“學(xué)生”走得更遠(yuǎn)，提供更有價(jià)值的服務(wù)。
大模型的訓(xùn)練數(shù)據(jù)集來源廣泛，因此質(zhì)量參差不齊，優(yōu)質(zhì)數(shù)據(jù)源往往需要付出不小的代價(jià)。
以O(shè)penAI為例，2024年5月22日，OpenAI宣布與新聞集團(tuán)達(dá)成多年期協(xié)議，獲得其主要新聞和信息出版物的當(dāng)前與存檔內(nèi)容，包括《華爾街日報(bào)》《巴倫周刊》《紐約郵報(bào)》《泰晤士報(bào)》《太陽報(bào)》等十余家知名媒體。
這一切背后，OpenAI支付了不小的代價(jià)。根據(jù)外媒報(bào)道，該交易為期五年，交易金額可能超過2.5億美元（約合人民幣18.1億元）。
OpenAI也提到了這筆交易的原因，“最終目標(biāo)是讓人們能夠根據(jù)可靠的信息和新聞來源做出明智的選擇。”
當(dāng)然，如果其他大模型機(jī)構(gòu)不像OpenAI那樣財(cái)力雄厚，那么最常見的選擇便是單單使用一些通用的預(yù)訓(xùn)練語料庫和特定領(lǐng)域的語料庫，其中百科語料庫尤為普遍。
最常見的百科語料庫包括維基百科和百度百科，它們以免費(fèi)、開源、多語言支持和高文本價(jià)值為特點(diǎn)。這些知識經(jīng)過人工精心整理，準(zhǔn)確性較高，能夠幫助模型建立對各類事物的基本認(rèn)知，如歷史事件、科學(xué)概念等。
由于這些百科內(nèi)容易于獲取，機(jī)構(gòu)通常會(huì)選擇特定語言的百科數(shù)據(jù)進(jìn)行爬取和過濾，作為預(yù)訓(xùn)練語料庫的一部分。因此，它們在預(yù)訓(xùn)練語料庫中的出現(xiàn)頻率較高，是大語言模型（LLMs）知識庫的基礎(chǔ)。
今年年初，斯坦福大學(xué)的研究人員發(fā)布了WikiChat，宣稱這是首個(gè)幾乎不產(chǎn)生幻覺的聊天機(jī)器人，他們的信心來源于基于維基百科的知識進(jìn)行訓(xùn)練。
然而，隨著AI進(jìn)程的加速，百科也不能再百分百保證其準(zhǔn)確性。即使是知名平臺，依然存在信息錯(cuò)誤或不完整的情況。
可見，要解決大模型幻覺的問題，必須保證其訓(xùn)練數(shù)據(jù)集的質(zhì)量和權(quán)威性。尤其是在百科類內(nèi)容中，內(nèi)容的準(zhǔn)確性和專業(yè)性是大模型穩(wěn)定輸出的基礎(chǔ)。
目前，維基百科為應(yīng)對人工智能生成內(nèi)容帶來的挑戰(zhàn)，推出了維基人工智能清理項(xiàng)目（WikiProject AI Cleanup），并強(qiáng)調(diào)內(nèi)容的可驗(yàn)證性：要求編輯在文章歷史中注明是否使用了大型語言模型（LLM）。
作為百科的另一極，百度百科早在2006年就開始為百度搜索引擎提供知識源。公開資料顯示，截至2024年12月，百度百科已經(jīng)收錄了超2860萬個(gè)詞條，參與詞條編輯的網(wǎng)友超過795萬人，幾乎涵蓋了所有已知的知識領(lǐng)域。
百度百科擁有一支專家團(tuán)隊(duì)，用來確保所有內(nèi)容的準(zhǔn)確性與權(quán)威性。畢竟，在AI幻覺出現(xiàn)之前，虛假信息和利用百科進(jìn)行商業(yè)宣傳的行為已影響了百科產(chǎn)品的公共性與中立性。
回顧過去，百度百科在提升內(nèi)容專業(yè)性方面做出了努力，包括組建更專業(yè)的編輯團(tuán)隊(duì)、加強(qiáng)內(nèi)容審核力度，以及與行業(yè)機(jī)構(gòu)合作等。
例如，2009年，百度百科推出了權(quán)威共建專項(xiàng)活動(dòng)，聯(lián)合各行業(yè)專家和機(jī)構(gòu)，共同構(gòu)建專業(yè)品類詞條；2014年，在衛(wèi)健委的指導(dǎo)下，百度百科聯(lián)合打造了“權(quán)威醫(yī)學(xué)科普傳播網(wǎng)絡(luò)平臺”；2015年，百度百科與中國科協(xié)達(dá)成合作，共同完善科學(xué)類科普詞條的準(zhǔn)確性。
專家團(tuán)隊(duì)的參與有效抵消了大眾編輯帶來的非專業(yè)性問題，但如今進(jìn)入AIGC時(shí)代，百度百科在權(quán)威性樹立上拿出更多砝碼。
從外部信息來看，為了進(jìn)一步提升百度百科的權(quán)威性，百度的策略是“以AI規(guī)范AI”。即在依賴人工編輯和專家審核的基礎(chǔ)上，結(jié)合AI技術(shù)，通過智能體等手段，進(jìn)一步提升內(nèi)容的準(zhǔn)確性和智能化水平。
核心動(dòng)作之一是這次的“繁星計(jì)劃”，該計(jì)劃可概括為四大特色：專業(yè)標(biāo)識、編輯特權(quán)、技術(shù)共享和精準(zhǔn)流量。
以“專業(yè)標(biāo)識”為例，當(dāng)用戶在百度搜索時(shí)，專家的個(gè)人詞條會(huì)以專門標(biāo)識的形式展示，彰顯其權(quán)威性。在信息泛濫的時(shí)代，百度百科通過識別真正的專家和優(yōu)質(zhì)內(nèi)容，給予專業(yè)標(biāo)識，幫助大眾分辨真假。
過去，百度通過參考資料來定義知識，這雖然精準(zhǔn)，卻也誤傷了不少專業(yè)內(nèi)容，許多專業(yè)人士想要參與，但由于工具不便、門檻過高，常常被排除在外。如今，百度去除了這些繁瑣的流程，為專家提供了編輯特權(quán)，降低了參與的門檻。
通過“繁星計(jì)劃”，百度百科還將整合百度的AI技術(shù)，包括文心智能體平臺等，通過智能體和數(shù)字人技術(shù)，幫助專家免費(fèi)制作數(shù)字分身，既降低成本，又提高產(chǎn)量，使科普變得更加容易和權(quán)威。
此外，百度百科還將立足于百度搜索，提供億級的精準(zhǔn)流量分發(fā)，助力知識的全民普惠。據(jù)透露，“繁星計(jì)劃”將覆蓋 10 萬個(gè)權(quán)威專家，覆蓋超100萬知識內(nèi)容。有關(guān)人士表示，這或許是業(yè)內(nèi)規(guī)模最大的 AI 科普計(jì)劃。
百度百科正在利用AI技術(shù)架起與權(quán)威之間的一道橋梁，試圖為解決AI幻覺問題、樹立權(quán)威科普提供一種解決方案。
一個(gè)現(xiàn)象是，百度百科頻繁被國內(nèi)媒體作為資料來源引用，既表明其權(quán)威性已廣泛認(rèn)可，更重要的是，這種權(quán)威性逐漸被潛移默化地接受，成為了百度的一張核心底牌。
一方面，作為簡體中文互聯(lián)網(wǎng)體量最大、用戶最廣泛的搜索引擎，百度是大多數(shù)網(wǎng)民查找信息的首選平臺。百度搜索對百度百科賦予了更高的權(quán)重，使得其內(nèi)容更易被用戶找到，逐步培養(yǎng)了用戶的依賴習(xí)慣。另一方面，百度百科作為一款精準(zhǔn)總結(jié)信息的產(chǎn)品，其權(quán)威性始終有保障。
因此，百度百科的內(nèi)容權(quán)威性正逐漸成為百度搜索的核心護(hù)城河，不僅有效消除AI幻覺，也增強(qiáng)了其在激烈競爭中的優(yōu)勢。
這種權(quán)威性的塑造并非一蹴而就，而是經(jīng)過長期的戰(zhàn)略規(guī)劃與持續(xù)打磨。從時(shí)間軌跡來看，無論處于何種內(nèi)容時(shí)代，百度百科始終堅(jiān)守權(quán)威性門檻，并在不同階段不斷強(qiáng)化這一特質(zhì)。
回顧百度百科的發(fā)展歷程，可劃分為三個(gè)具有標(biāo)志性的階段：
1.0階段：處于移動(dòng)互聯(lián)網(wǎng)尚未普及的圖文時(shí)代，百度百科通過廣泛的知識收集與整理，為百度搜索提供大量可靠的知識內(nèi)容，成為用戶信賴的知識源，奠定了其權(quán)威性基礎(chǔ)。
2.0階段：隨著移動(dòng)互聯(lián)網(wǎng)的興起，百度百科進(jìn)入視頻化時(shí)代。以秒懂百科等創(chuàng)新功能為標(biāo)志，視頻形式極大豐富了知識的呈現(xiàn)方式，使其能夠以更直觀、生動(dòng)的方式觸達(dá)用戶，進(jìn)一步提升了其權(quán)威性。
3.0階段：在AI技術(shù)的浪潮下，百度百科結(jié)合文心大模型等百度AI技術(shù)體系，融入智能體和數(shù)字人等先進(jìn)技術(shù)，實(shí)現(xiàn)知識生產(chǎn)與傳播的智能化升級。
近期推出的繁星計(jì)劃便是這一階段的重要成果，通過AI優(yōu)化知識服務(wù)，提升了百度百科的權(quán)威性，并為百度搜索提供了更強(qiáng)的支持。
未來，隨著百度百科AI化進(jìn)程的不斷深入，它將不僅僅是一個(gè)知識平臺，還將成為推動(dòng)知識生態(tài)發(fā)展的智能工具。隨著內(nèi)容權(quán)威性的進(jìn)一步增強(qiáng)，特別是在AI技術(shù)的深度融合下，百度百科或?qū)⑦M(jìn)入新的發(fā)展階段。
本文為作者獨(dú)立觀點(diǎn)，不代表鳥哥筆記立場，未經(jīng)允許不得轉(zhuǎn)載。
《鳥哥筆記版權(quán)及免責(zé)申明》 如對文章、圖片、字體等版權(quán)有疑問，請點(diǎn)擊 反饋舉報(bào)
我們致力于提供一個(gè)高質(zhì)量內(nèi)容的交流平臺。為落實(shí)國家互聯(lián)網(wǎng)信息辦公室“依法管網(wǎng)、依法辦網(wǎng)、依法上網(wǎng)”的要求，為完善跟帖評論自律管理，為了保護(hù)用戶創(chuàng)造的內(nèi)容、維護(hù)開放、真實(shí)、專業(yè)的平臺氛圍，我們團(tuán)隊(duì)將依據(jù)本公約中的條款對注冊用戶和發(fā)布在本平臺的內(nèi)容進(jìn)行管理。平臺鼓勵(lì)用戶創(chuàng)作、發(fā)布優(yōu)質(zhì)內(nèi)容，同時(shí)也將采取必要措施管理違法、侵權(quán)或有其他不良影響的網(wǎng)絡(luò)信息。
一、根據(jù)《網(wǎng)絡(luò)信息內(nèi)容生態(tài)治理規(guī)定》《中華人民共和國未成年人保護(hù)法》等法律法規(guī)，對以下違法、不良信息或存在危害的行為進(jìn)行處理。
1. 違反法律法規(guī)的信息，主要表現(xiàn)為：
1)反對憲法所確定的基本原則；
2)危害國家安全，泄露國家秘密，顛覆國家政權(quán)，破壞國家統(tǒng)一，損害國家榮譽(yù)和利益；
3)侮辱、濫用英烈形象，歪曲、丑化、褻瀆、否定英雄烈士事跡和精神，以侮辱、誹謗或者其他方式侵害英雄烈士的姓名、肖像、名譽(yù)、榮譽(yù)；
4)宣揚(yáng)恐怖主義、極端主義或者煽動(dòng)實(shí)施恐怖活動(dòng)、極端主義活動(dòng)；
5)煽動(dòng)民族仇恨、民族歧視，破壞民族團(tuán)結(jié)；
6)破壞國家宗教政策，宣揚(yáng)邪教和封建迷信；
7)散布謠言，擾亂社會(huì)秩序，破壞社會(huì)穩(wěn)定；
8)宣揚(yáng)淫穢、色情、賭博、暴力、兇殺、恐怖或者教唆犯罪；
9)煽動(dòng)非法集會(huì)、結(jié)社、游行、示威、聚眾擾亂社會(huì)秩序；
10)侮辱或者誹謗他人，侵害他人名譽(yù)、隱私和其他合法權(quán)益；
11)通過網(wǎng)絡(luò)以文字、圖片、音視頻等形式，對未成年人實(shí)施侮辱、誹謗、威脅或者惡意損害未成年人形象進(jìn)行網(wǎng)絡(luò)欺凌的；
12)危害未成年人身心健康的；
13)含有法律、行政法規(guī)禁止的其他內(nèi)容；
2. 不友善：不尊重用戶及其所貢獻(xiàn)內(nèi)容的信息或行為。主要表現(xiàn)為：
1)輕蔑：貶低、輕視他人及其勞動(dòng)成果；
2)誹謗：捏造、散布虛假事實(shí)，損害他人名譽(yù)；
3)嘲諷：以比喻、夸張、侮辱性的手法對他人或其行為進(jìn)行揭露或描述，以此來激怒他人；
4)挑釁：以不友好的方式激怒他人，意圖使對方對自己的言論作出回應(yīng)，蓄意制造事端；
5)羞辱：貶低他人的能力、行為、生理或身份特征，讓對方難堪；
6)謾罵：以不文明的語言對他人進(jìn)行負(fù)面評價(jià)；
7)歧視：煽動(dòng)人群歧視、地域歧視等，針對他人的民族、種族、宗教、性取向、性別、年齡、地域、生理特征等身份或者歸類的攻擊；
8)威脅：許諾以不良的后果來迫使他人服從自己的意志；
3. 發(fā)布垃圾廣告信息：以推廣曝光為目的，發(fā)布影響用戶體驗(yàn)、擾亂本網(wǎng)站秩序的內(nèi)容，或進(jìn)行相關(guān)行為。主要表現(xiàn)為：
1)多次發(fā)布包含售賣產(chǎn)品、提供服務(wù)、宣傳推廣內(nèi)容的垃圾廣告。包括但不限于以下幾種形式：
2)單個(gè)帳號多次發(fā)布包含垃圾廣告的內(nèi)容；
3)多個(gè)廣告帳號互相配合發(fā)布、傳播包含垃圾廣告的內(nèi)容；
4)多次發(fā)布包含欺騙性外鏈的內(nèi)容，如未注明的淘寶客鏈接、跳轉(zhuǎn)網(wǎng)站等，誘騙用戶點(diǎn)擊鏈接
5)發(fā)布大量包含推廣鏈接、產(chǎn)品、品牌等內(nèi)容獲取搜索引擎中的不正當(dāng)曝光；
6)購買或出售帳號之間虛假地互動(dòng)，發(fā)布干擾網(wǎng)站秩序的推廣內(nèi)容及相關(guān)交易。
7)發(fā)布包含欺騙性的惡意營銷內(nèi)容，如通過偽造經(jīng)歷、冒充他人等方式進(jìn)行惡意營銷；
8)使用特殊符號、圖片等方式規(guī)避垃圾廣告內(nèi)容審核的廣告內(nèi)容。
4. 色情低俗信息，主要表現(xiàn)為：
1)包含自己或他人性經(jīng)驗(yàn)的細(xì)節(jié)描述或露骨的感受描述；
2)涉及色情段子、兩性笑話的低俗內(nèi)容；
3)配圖、頭圖中包含庸俗或挑逗性圖片的內(nèi)容；
4)帶有性暗示、性挑逗等易使人產(chǎn)生性聯(lián)想；
5)展現(xiàn)血腥、驚悚、殘忍等致人身心不適；
6)炒作緋聞、丑聞、劣跡等；
7)宣揚(yáng)低俗、庸俗、媚俗內(nèi)容。
5. 不實(shí)信息，主要表現(xiàn)為：
1)可能存在事實(shí)性錯(cuò)誤或者造謠等內(nèi)容；
2)存在事實(shí)夸大、偽造虛假經(jīng)歷等誤導(dǎo)他人的內(nèi)容；
3)偽造身份、冒充他人，通過頭像、用戶名等個(gè)人信息暗示自己具有特定身份，或與特定機(jī)構(gòu)或個(gè)人存在關(guān)聯(lián)。
6. 傳播封建迷信，主要表現(xiàn)為：
1)找人算命、測字、占卜、解夢、化解厄運(yùn)、使用迷信方式治?。?br /> 2)求推薦算命看相大師；
3)針對具體風(fēng)水等問題進(jìn)行求助或咨詢；
4)問自己或他人的八字、六爻、星盤、手相、面相、五行缺失，包括通過占卜方法問婚姻、前程、運(yùn)勢，東西寵物丟了能不能找回、取名改名等；
7. 文章標(biāo)題黨，主要表現(xiàn)為：
1)以各種夸張、獵奇、不合常理的表現(xiàn)手法等行為來誘導(dǎo)用戶；
2)內(nèi)容與標(biāo)題之間存在嚴(yán)重不實(shí)或者原意扭曲；
3)使用夸張標(biāo)題，內(nèi)容與標(biāo)題嚴(yán)重不符的。
8.「飯圈」亂象行為，主要表現(xiàn)為：
1)誘導(dǎo)未成年人應(yīng)援集資、高額消費(fèi)、投票打榜
2)粉絲互撕謾罵、拉踩引戰(zhàn)、造謠攻擊、人肉搜索、侵犯隱私
3)鼓動(dòng)「飯圈」粉絲攀比炫富、奢靡享樂等行為
4)以號召粉絲、雇用網(wǎng)絡(luò)水軍、「養(yǎng)號」形式刷量控評等行為
5)通過「蹭熱點(diǎn)」、制造話題等形式干擾輿論，影響傳播秩序
9. 其他危害行為或內(nèi)容，主要表現(xiàn)為：
1)可能引發(fā)未成年人模仿不安全行為和違反社會(huì)公德行為、誘導(dǎo)未成年人不良嗜好影響未成年人身心健康的；
2)不當(dāng)評述自然災(zāi)害、重大事故等災(zāi)難的；
3)美化、粉飾侵略戰(zhàn)爭行為的；
4)法律、行政法規(guī)禁止，或可能對網(wǎng)絡(luò)生態(tài)造成不良影響的其他內(nèi)容。
二、違規(guī)處罰
本網(wǎng)站通過主動(dòng)發(fā)現(xiàn)和接受用戶舉報(bào)兩種方式收集違規(guī)行為信息。所有有意的降低內(nèi)容質(zhì)量、傷害平臺氛圍及欺凌未成年人或危害未成年人身心健康的行為都是不能容忍的。
當(dāng)一個(gè)用戶發(fā)布違規(guī)內(nèi)容時(shí)，本網(wǎng)站將依據(jù)相關(guān)用戶違規(guī)情節(jié)嚴(yán)重程度，對帳號進(jìn)行禁言 1 天、7 天、15 天直至永久禁言或封停賬號的處罰。當(dāng)涉及欺凌未成年人、危害未成年人身心健康、通過作弊手段注冊、使用帳號，或者濫用多個(gè)帳號發(fā)布違規(guī)內(nèi)容時(shí)，本網(wǎng)站將加重處罰。
三、申訴
隨著平臺管理經(jīng)驗(yàn)的不斷豐富，本網(wǎng)站出于維護(hù)本網(wǎng)站氛圍和秩序的目的，將不斷完善本公約。
如果本網(wǎng)站用戶對本網(wǎng)站基于本公約規(guī)定做出的處理有異議，可以通過「建議反饋」功能向本網(wǎng)站進(jìn)行反饋。
(規(guī)則的最終解釋權(quán)歸屬本網(wǎng)站所有)