很可惜 T 。T 您現(xiàn)在還不是作者身份,不能自主發(fā)稿哦~
如有投稿需求,請把文章發(fā)送到郵箱tougao@appcpx.com,一經(jīng)錄用會有專人和您聯(lián)系
咨詢?nèi)绾纬蔀榇河鹱髡哒埪?lián)系:鳥哥筆記小羽毛(ngbjxym)
這個數(shù)據(jù)為王的時代,我們?nèi)狈Φ牟皇菙?shù)據(jù)、工具、算法,而是數(shù)據(jù)思維。
最近在學(xué)習(xí)「數(shù)據(jù)分析思維」,這里總結(jié)了12個常見數(shù)據(jù)分析的理論/悖論,分享給你。
1、辛普森悖論
2、大數(shù)定律
3、小數(shù)陷阱
4、墨菲定律
5、幸存者偏差
6、帕累托法則
7、馬太效應(yīng)
8、正太分布
9、拉普拉斯分布
10、德克薩斯神槍手謬誤
11、因果倒置
12、柏克松悖論
讓數(shù)據(jù),給你一雙看透本質(zhì)的眼睛。
辛普森悖論是指,在分組比較中都占優(yōu)勢的一方,在總評中有時反而是失勢的一方。
比如這個表中,兩分球和三分球投中率都比球員A高的球員 B,整體的命中率反比球員A低。
也就是說,“質(zhì)”(命中率)與“量”(投球數(shù))是兩個維度的數(shù)據(jù),如果全部合并成“質(zhì)”(命中率)這個維度的數(shù)據(jù),那就會出錯。
大數(shù)定律是指,當(dāng)隨機事件發(fā)生的次數(shù)足夠多時,發(fā)生的頻率才會趨近于預(yù)期的概率。
隨機拋硬幣,出現(xiàn)正面和反面的概率均為 50%,也就是一半正面一半反面。
但如果你拋10次,可能7次正面3次反面,或者8次正面2次反面,并不是5次正面5次反面。
只有你當(dāng)你拋幾千次、幾萬次時,正面和反面的概率,才趨近于50%。
小數(shù)陷阱,也叫賭徒謬誤,比如去賭場玩俄羅斯輪盤,連續(xù) 10 次開小了,你心里可能會覺得連續(xù) 10 次小了,下一次開大的概率更高一些,然后就去押大。這是典型的“賭徒謬誤”,是錯誤的。
每次開大還是開小,是獨立且隨機的,并不是前面都是“大”,后面開“小”的概率就會高。
大數(shù)定律里面,最重要的是“大數(shù)”,也就是說你得出現(xiàn)足夠多的次數(shù),才能夠趨近于它的期望概率。一般的賭徒都沒有賭到足夠多的時候就已經(jīng)輸成窮光蛋了。
賭場其實是在利用大數(shù)定律賺錢,一般的賭博機都會被設(shè)計成為 51% 比 49% 的這種預(yù)期概率,賭場其實只贏 2%,而你卻會輸 100%。
總之你越不希望某件事情發(fā)生,這件事情往往就會發(fā)生,怕什么來什么。這就是墨菲定律。
緊急趕時間,恰好每個路口都遇到紅燈。
上班時工作較少,下班時恰好來活。
不打車時街上到處都是空出租車,但等你需要打車時發(fā)現(xiàn)全是滿員的。
...
其實墨菲定律不是一個數(shù)學(xué)規(guī)律,而是一種選擇性記憶的心理學(xué)現(xiàn)象。
順利的事情,不會令人記憶深刻,只有那些讓人感到憤怒、挫敗和痛苦的記憶,最難磨滅。
如果用數(shù)據(jù)分析的思維去看墨菲定律,這是一個期望值的問題,是我們對于好事情和壞事情的期望值差異造成的。
幸存者偏差是指,當(dāng)取得資訊的渠道僅來自幸存者時,我們得出的結(jié)論可能會與實際情況存在巨大偏差。
幸存者偏差這個概念來源于二戰(zhàn)時期,戰(zhàn)爭中,戰(zhàn)機機身上幾乎所有地方都可能中彈,因此需要用統(tǒng)計學(xué)研究戰(zhàn)機被擊中的部位,從而確定哪個部分需要額外加強裝甲。
人們對返航的戰(zhàn)機進行彈痕分析后發(fā)現(xiàn),飛機機翼和尾部被打穿的彈孔較多,由此得出應(yīng)該是加強機翼的裝甲防護會更好。
但對返航的飛機樣本來說,其實是說明即使機翼中彈,飛機也有很大的幾率能夠返航。對于那些彈孔不多的部位來說(比如駕駛艙、油箱和機尾),當(dāng)這些部位中彈的時候,飛機很可能連飛回來的機會都沒有了,而這并沒有統(tǒng)計出來,這就是所謂的“看不見的彈痕最為致命”。
最后事實也證明,加強彈孔較少部位的裝甲防護是正確的。
帕累托法則,也叫做二八法則,簡單來說,就是 20% 的人占了 80% 的資源,剩下 80% 的人分最后 20% 的資源。這個法則誕生于帕累托的花園。有一天帕累托偶然發(fā)現(xiàn),自己園子里絕大部分的豌豆是由園子里極少部分豌豆莢產(chǎn)生。
這樣的規(guī)律其實無處不在。
語言中常用詞只有500-1000個,剩余的更多詞匯使用很少。
20%的員工,為公司做出了80%的業(yè)績。
20%的人,掌握了全世界80%以上的財富。
...
那么這種現(xiàn)象是怎么產(chǎn)生的呢?
病毒、樹種和語言其實都有一個共性——傳播性。比如在亞馬遜雨林里,兩株植物長在了一塊,那么每天這兩株植物就要為陽光和土壤中的養(yǎng)分去競爭。如果其中一株能比另外一株植物每天稍微長快一點,那么它就能長得更高,從而獲得更多的陽光、吸收更多的養(yǎng)分。如果每天都有這些額外的能量,這株植物就更加有能力把種子給傳播出去,然后復(fù)制這種模式。一直持續(xù)下去,這種植物就會積累出得天獨厚的優(yōu)勢。
開始的微妙的優(yōu)勢會隨著時間逐步加強,最后就能占領(lǐng)絕對優(yōu)勢,就像滾雪球一樣,越滾越大。
馬太效應(yīng)是指,大者恒大,贏家通吃。馬太效應(yīng)來源于圣經(jīng)《新約·馬太福音》,文中是這樣描述的:“ 凡有的,還要加給他,叫他多余。沒有的,連他所有的也要奪過來 ”。
比如電商平臺,用戶越多,入駐的商家就越多;商家越多,提供的商品越豐富,用戶就越多。原來屬于小電商平臺的用戶和商家,都都會逐步來來到大的電商平臺。
馬太效應(yīng)告訴我們,我們身處的世界是贏者通吃的世界,開始時細微優(yōu)勢最終將帶來無窮多的回報。反之,最初的細微劣勢也將導(dǎo)致最終一無所有。
正態(tài)分布也叫高斯分布,就是你在課本里曾經(jīng)學(xué)過的那個兩頭低、中間高然后左右軸對稱的鐘形曲線。
學(xué)術(shù)上是這么來定義正態(tài)分布的:“如果一個量是由許多微小的獨立隨機因素影響的結(jié)果,那么就可以認為這個量具有正態(tài)分布”。聽完這個定義,是不是有點懵,拿個示例來說。
比如我們知道中國人的平均身高大概是 1 米 7,那么實際上我們隨機找 100 個人,把每個區(qū)間的身高累個計數(shù)畫出來一個直方圖,它就會是一個正態(tài)曲線。
拉普拉斯分布,是一個“凸”字形的塔尖兒曲線,從左到右,斜率先緩慢增大再快速增大,到達最高點后變?yōu)樨撝道^續(xù)先快速減小,最后再緩慢地減小,所以有點像“往里邊凹陷的金字塔”。
對比正態(tài)分布圖像,我們可以看到拉普拉斯分布圖像是尖峰厚尾的,塔尖上的那些,就是我們看到的稀缺資源。
比如說房價,理論上房價應(yīng)該和人的身高一樣,在某一個地區(qū)有一個均價,并且整體的房價和身高是一樣呈正態(tài)分布。但為什么在某一個區(qū)域可能就隔了一條街,房價卻翻了好幾倍,而且數(shù)量也不少?
在信息透明和市場競爭的情況下,房價、工資、股票都會符合一個特點:越塔尖的個體越具有資源吸附能力。
先有彈孔,還是先有靶子。
當(dāng)年在美國西部得克薩斯州發(fā)現(xiàn)一個神槍手,他經(jīng)常在各地的民居的墻上練習(xí)射擊,幾乎他所有的彈孔都集中在十環(huán)左右這個中心的區(qū)域。他已經(jīng)成為了神話,人們一直在尋找他。
但是當(dāng)人們真的找到了這個神槍手后,發(fā)現(xiàn)他自己打槍其實一點都不準,也不敢跟其他人去決斗。
那他墻上的這些靶子和槍手點是怎么形成的呢?原來他是先朝墻上開很多槍,然后在彈孔最密集的地方畫上了十環(huán)的靶子,再把散布在其它地方的彈孔用原來的泥土補起來。這樣看上去,他每個地方打的靶子都很準確,因為先有彈孔,再有靶子。
這就是德克薩斯神槍手謬誤。
在我們?nèi)粘I町?dāng)中也很容易出現(xiàn)這種情況,當(dāng)你看到一個數(shù)據(jù)散點報告的時候,你一定要看清背后所蘊含的實際數(shù)據(jù)是不是涵蓋了所有的數(shù)據(jù),還是只給你看了最有這種數(shù)據(jù)規(guī)律的數(shù)據(jù)。前者就像先有靶子來瞄準再去射擊,后者就好比先射擊完最后再畫上靶子,這樣結(jié)果會完全不同。
典型的因果倒置就是,天亮了雞就開始打鳴,但是我們不能說是因為雞打鳴導(dǎo)致了天亮。
但是實際的應(yīng)用當(dāng)中,我們往往會忽略這個邏輯。
比如,我們在一些醫(yī)學(xué)統(tǒng)計上會看到說不吃早飯會導(dǎo)致人肥胖,甚至還有大量的統(tǒng)計數(shù)據(jù)表明這些肥胖的人都沒有吃早飯。
問題是,數(shù)據(jù)的確是同步發(fā)生的,但是不代表這些數(shù)據(jù)之間有因果關(guān)系。而且有可能會出現(xiàn)因果倒置——肥胖的人胖所以早上不餓,所以他不吃早飯。而比較瘦的人自身代謝比較快,晚上消耗多,早上就會比較餓,所以他要吃早飯。
伯克松悖論是指,當(dāng)不同個體被納入研究樣本的機會不同時,研究樣本中的兩個變量 X 和 Y 表現(xiàn)出統(tǒng)計相關(guān),而總體中 X 和 Y 卻不存在這種相關(guān)性。聽上去是不是有點拗口?沒關(guān)系,我們看個例子。
比如“海軍與平民死亡率”的例子。在 1898 年“美西戰(zhàn)爭” 期間,美國海軍的死亡率是 9%,而同期紐約市市民的死亡率為 16%。后來海軍征兵部門就拿這個數(shù)據(jù)跟大家講,待在部隊里其實比大家待在家中更加安全。
這邏輯肯定是錯誤的,但錯誤不在具體數(shù)據(jù),而是這兩組數(shù)據(jù)其實沒有什么可比性。
因為海軍的主要是年輕人,他們身強體壯、不會出現(xiàn)太多身體疾??;而紐約市民里面包含了新出生的嬰兒、老年人、病人等等,這些人無論放在哪里,他的死亡率都會高于普通人。
這是數(shù)據(jù)分析中非常常見的幾個理論,也能用來解釋生活中諸多現(xiàn)象。
數(shù)據(jù),給你一雙看透本質(zhì)的眼睛。
學(xué)完這12個理論,恭喜你,又多了一個看清世界的思維。
-END-
本文為作者獨立觀點,不代表鳥哥筆記立場,未經(jīng)允許不得轉(zhuǎn)載。
《鳥哥筆記版權(quán)及免責(zé)申明》 如對文章、圖片、字體等版權(quán)有疑問,請點擊 反饋舉報
我們致力于提供一個高質(zhì)量內(nèi)容的交流平臺。為落實國家互聯(lián)網(wǎng)信息辦公室“依法管網(wǎng)、依法辦網(wǎng)、依法上網(wǎng)”的要求,為完善跟帖評論自律管理,為了保護用戶創(chuàng)造的內(nèi)容、維護開放、真實、專業(yè)的平臺氛圍,我們團隊將依據(jù)本公約中的條款對注冊用戶和發(fā)布在本平臺的內(nèi)容進行管理。平臺鼓勵用戶創(chuàng)作、發(fā)布優(yōu)質(zhì)內(nèi)容,同時也將采取必要措施管理違法、侵權(quán)或有其他不良影響的網(wǎng)絡(luò)信息。
一、根據(jù)《網(wǎng)絡(luò)信息內(nèi)容生態(tài)治理規(guī)定》《中華人民共和國未成年人保護法》等法律法規(guī),對以下違法、不良信息或存在危害的行為進行處理。
1. 違反法律法規(guī)的信息,主要表現(xiàn)為:
1)反對憲法所確定的基本原則;
2)危害國家安全,泄露國家秘密,顛覆國家政權(quán),破壞國家統(tǒng)一,損害國家榮譽和利益;
3)侮辱、濫用英烈形象,歪曲、丑化、褻瀆、否定英雄烈士事跡和精神,以侮辱、誹謗或者其他方式侵害英雄烈士的姓名、肖像、名譽、榮譽;
4)宣揚恐怖主義、極端主義或者煽動實施恐怖活動、極端主義活動;
5)煽動民族仇恨、民族歧視,破壞民族團結(jié);
6)破壞國家宗教政策,宣揚邪教和封建迷信;
7)散布謠言,擾亂社會秩序,破壞社會穩(wěn)定;
8)宣揚淫穢、色情、賭博、暴力、兇殺、恐怖或者教唆犯罪;
9)煽動非法集會、結(jié)社、游行、示威、聚眾擾亂社會秩序;
10)侮辱或者誹謗他人,侵害他人名譽、隱私和其他合法權(quán)益;
11)通過網(wǎng)絡(luò)以文字、圖片、音視頻等形式,對未成年人實施侮辱、誹謗、威脅或者惡意損害未成年人形象進行網(wǎng)絡(luò)欺凌的;
12)危害未成年人身心健康的;
13)含有法律、行政法規(guī)禁止的其他內(nèi)容;
2. 不友善:不尊重用戶及其所貢獻內(nèi)容的信息或行為。主要表現(xiàn)為:
1)輕蔑:貶低、輕視他人及其勞動成果;
2)誹謗:捏造、散布虛假事實,損害他人名譽;
3)嘲諷:以比喻、夸張、侮辱性的手法對他人或其行為進行揭露或描述,以此來激怒他人;
4)挑釁:以不友好的方式激怒他人,意圖使對方對自己的言論作出回應(yīng),蓄意制造事端;
5)羞辱:貶低他人的能力、行為、生理或身份特征,讓對方難堪;
6)謾罵:以不文明的語言對他人進行負面評價;
7)歧視:煽動人群歧視、地域歧視等,針對他人的民族、種族、宗教、性取向、性別、年齡、地域、生理特征等身份或者歸類的攻擊;
8)威脅:許諾以不良的后果來迫使他人服從自己的意志;
3. 發(fā)布垃圾廣告信息:以推廣曝光為目的,發(fā)布影響用戶體驗、擾亂本網(wǎng)站秩序的內(nèi)容,或進行相關(guān)行為。主要表現(xiàn)為:
1)多次發(fā)布包含售賣產(chǎn)品、提供服務(wù)、宣傳推廣內(nèi)容的垃圾廣告。包括但不限于以下幾種形式:
2)單個帳號多次發(fā)布包含垃圾廣告的內(nèi)容;
3)多個廣告帳號互相配合發(fā)布、傳播包含垃圾廣告的內(nèi)容;
4)多次發(fā)布包含欺騙性外鏈的內(nèi)容,如未注明的淘寶客鏈接、跳轉(zhuǎn)網(wǎng)站等,誘騙用戶點擊鏈接
5)發(fā)布大量包含推廣鏈接、產(chǎn)品、品牌等內(nèi)容獲取搜索引擎中的不正當(dāng)曝光;
6)購買或出售帳號之間虛假地互動,發(fā)布干擾網(wǎng)站秩序的推廣內(nèi)容及相關(guān)交易。
7)發(fā)布包含欺騙性的惡意營銷內(nèi)容,如通過偽造經(jīng)歷、冒充他人等方式進行惡意營銷;
8)使用特殊符號、圖片等方式規(guī)避垃圾廣告內(nèi)容審核的廣告內(nèi)容。
4. 色情低俗信息,主要表現(xiàn)為:
1)包含自己或他人性經(jīng)驗的細節(jié)描述或露骨的感受描述;
2)涉及色情段子、兩性笑話的低俗內(nèi)容;
3)配圖、頭圖中包含庸俗或挑逗性圖片的內(nèi)容;
4)帶有性暗示、性挑逗等易使人產(chǎn)生性聯(lián)想;
5)展現(xiàn)血腥、驚悚、殘忍等致人身心不適;
6)炒作緋聞、丑聞、劣跡等;
7)宣揚低俗、庸俗、媚俗內(nèi)容。
5. 不實信息,主要表現(xiàn)為:
1)可能存在事實性錯誤或者造謠等內(nèi)容;
2)存在事實夸大、偽造虛假經(jīng)歷等誤導(dǎo)他人的內(nèi)容;
3)偽造身份、冒充他人,通過頭像、用戶名等個人信息暗示自己具有特定身份,或與特定機構(gòu)或個人存在關(guān)聯(lián)。
6. 傳播封建迷信,主要表現(xiàn)為:
1)找人算命、測字、占卜、解夢、化解厄運、使用迷信方式治病;
2)求推薦算命看相大師;
3)針對具體風(fēng)水等問題進行求助或咨詢;
4)問自己或他人的八字、六爻、星盤、手相、面相、五行缺失,包括通過占卜方法問婚姻、前程、運勢,東西寵物丟了能不能找回、取名改名等;
7. 文章標(biāo)題黨,主要表現(xiàn)為:
1)以各種夸張、獵奇、不合常理的表現(xiàn)手法等行為來誘導(dǎo)用戶;
2)內(nèi)容與標(biāo)題之間存在嚴重不實或者原意扭曲;
3)使用夸張標(biāo)題,內(nèi)容與標(biāo)題嚴重不符的。
8.「飯圈」亂象行為,主要表現(xiàn)為:
1)誘導(dǎo)未成年人應(yīng)援集資、高額消費、投票打榜
2)粉絲互撕謾罵、拉踩引戰(zhàn)、造謠攻擊、人肉搜索、侵犯隱私
3)鼓動「飯圈」粉絲攀比炫富、奢靡享樂等行為
4)以號召粉絲、雇用網(wǎng)絡(luò)水軍、「養(yǎng)號」形式刷量控評等行為
5)通過「蹭熱點」、制造話題等形式干擾輿論,影響傳播秩序
9. 其他危害行為或內(nèi)容,主要表現(xiàn)為:
1)可能引發(fā)未成年人模仿不安全行為和違反社會公德行為、誘導(dǎo)未成年人不良嗜好影響未成年人身心健康的;
2)不當(dāng)評述自然災(zāi)害、重大事故等災(zāi)難的;
3)美化、粉飾侵略戰(zhàn)爭行為的;
4)法律、行政法規(guī)禁止,或可能對網(wǎng)絡(luò)生態(tài)造成不良影響的其他內(nèi)容。
二、違規(guī)處罰
本網(wǎng)站通過主動發(fā)現(xiàn)和接受用戶舉報兩種方式收集違規(guī)行為信息。所有有意的降低內(nèi)容質(zhì)量、傷害平臺氛圍及欺凌未成年人或危害未成年人身心健康的行為都是不能容忍的。
當(dāng)一個用戶發(fā)布違規(guī)內(nèi)容時,本網(wǎng)站將依據(jù)相關(guān)用戶違規(guī)情節(jié)嚴重程度,對帳號進行禁言 1 天、7 天、15 天直至永久禁言或封停賬號的處罰。當(dāng)涉及欺凌未成年人、危害未成年人身心健康、通過作弊手段注冊、使用帳號,或者濫用多個帳號發(fā)布違規(guī)內(nèi)容時,本網(wǎng)站將加重處罰。
三、申訴
隨著平臺管理經(jīng)驗的不斷豐富,本網(wǎng)站出于維護本網(wǎng)站氛圍和秩序的目的,將不斷完善本公約。
如果本網(wǎng)站用戶對本網(wǎng)站基于本公約規(guī)定做出的處理有異議,可以通過「建議反饋」功能向本網(wǎng)站進行反饋。
(規(guī)則的最終解釋權(quán)歸屬本網(wǎng)站所有)