很可惜 T 。T 您現(xiàn)在還不是作者身份，不能自主發(fā)稿哦～
如有投稿需求，請把文章發(fā)送到郵箱tougao@appcpx.com，一經(jīng)錄用會有專人和您聯(lián)系
咨詢?nèi)绾纬蔀榇河鹱髡哒埪?lián)系：鳥哥筆記小羽毛（ngbjxym）
在互聯(lián)網(wǎng)公司的產(chǎn)品設(shè)計(jì)場景中，我們經(jīng)常會遇到多個(gè)設(shè)計(jì)方案的選擇。A/B測試比較產(chǎn)品的不同相關(guān)功能設(shè)計(jì)中哪個(gè)會導(dǎo)致更好效果。在A/B測試中，隨機(jī)選擇的一組用戶顯示產(chǎn)品的版本A，而另一組隨機(jī)選擇的用戶顯示版本B。然后比較測試結(jié)果以確定哪個(gè)版本的性能更好。A/B測試通常用于優(yōu)化網(wǎng)站、應(yīng)用程序和其他產(chǎn)品，以獲得最大的效率。
例如，App或網(wǎng)頁端某個(gè)頁面的某個(gè)按鈕的顏色是用藍(lán)色還是紅色，是放在左邊還是右邊？傳統(tǒng)的解決方案通常是某位負(fù)責(zé)人拍板決定，但是從概率上，是很難保證傳統(tǒng)的選擇策略每次都是有效的，而ABTest顯然是一種更加科學(xué)的方法，AB實(shí)驗(yàn)其實(shí)是對實(shí)驗(yàn)組A與對照組B做出的某種假設(shè)，計(jì)算兩組差異是否存在統(tǒng)計(jì)意義上的顯著性，最終根據(jù)顯著結(jié)果做出判斷。
舉個(gè)例子，就是在一個(gè)功能點(diǎn)上現(xiàn)提出了兩個(gè)方案，在評審中兩種方案都各有支持者，比如某個(gè)頁面的某個(gè)按鈕的顏色是用藍(lán)色還是紅色，讓一部分用戶在進(jìn)入到頁面時(shí)網(wǎng)頁呈現(xiàn)出來是藍(lán)色按鈕，另一部分用戶在進(jìn)入到頁面時(shí)網(wǎng)頁呈現(xiàn)出來是紅色按鈕，然后通過日志記錄用戶的使用情況，并通過結(jié)構(gòu)化的日志數(shù)據(jù)分析相關(guān)指標(biāo)，如點(diǎn)擊率、轉(zhuǎn)化是否成功等，從而對收集到的數(shù)據(jù)進(jìn)行檢驗(yàn)，看不同方案之間是否有顯著性，并計(jì)算出哪個(gè)方案更符合預(yù)期設(shè)計(jì)目標(biāo)，并最終將全部流量切換至符合目標(biāo)的方案。
步驟1：提出問題 (試驗(yàn)?zāi)康?；
猜想或假設(shè) (實(shí)驗(yàn)假設(shè))；
這個(gè)假設(shè)應(yīng)該包括你想要改變什么，以及你猜測實(shí)驗(yàn)的方案有什么效果。
步驟2：設(shè)計(jì)實(shí)驗(yàn) (試驗(yàn)設(shè)計(jì))；
進(jìn)行實(shí)驗(yàn) (數(shù)據(jù)采集)；
AB測試的樣本需要滿足：隨機(jī)與同質(zhì)。
步驟3：分析數(shù)據(jù) (數(shù)據(jù)分析)；
得出結(jié)論 (報(bào)告呈現(xiàn))；
在通過檢驗(yàn)后我們得到了方案之間是否具有顯著差異性，還可以通過對各個(gè)方 案的數(shù)值進(jìn)行統(tǒng)計(jì)，來查看哪個(gè)方案帶來的效果更好。
本文主要是針對步驟3來介紹一下AB測試的檢驗(yàn)方法，常見的包括獨(dú)立樣本T檢驗(yàn)、單因素方差分析、卡方檢驗(yàn)等等。
獨(dú)立樣本T檢驗(yàn)用于檢驗(yàn)兩分組數(shù)據(jù)是否存在顯著性差異。
舉例：某電商平臺，想提升用戶客單價(jià)，運(yùn)營部門做了兩套方案：A、B激勵(lì)方案，想小規(guī)模投放優(yōu)惠給用戶，測試下效果。
輸出結(jié)果：獨(dú)立樣本T檢驗(yàn)結(jié)果P值為0.000***≤0.05，因此統(tǒng)計(jì)結(jié)果顯著，說明方案B、方案A在客單價(jià)上存在顯著差異，其中，由兩個(gè)方案的客單價(jià)均值柱形圖可以看出，方案A效果比方案B好。
單因素方差分析用于檢驗(yàn)不同分組數(shù)據(jù)是否存在顯著性差異。
舉例：某電商平臺，想提升用戶客單價(jià)，運(yùn)營部門做了四套方案：A、B、C、D激勵(lì)方案，想小規(guī)模投放優(yōu)惠給用戶，測試下效果。
輸出結(jié)果：單因素方差分析結(jié)果P值為0.000***≤0.05，因此統(tǒng)計(jì)結(jié)果顯著，說明不同的方案在客單價(jià)上存在顯著差異，其中，由各個(gè)方案的客單價(jià)均值折線圖可以看出，方案C效果最好，其次是方案A。
卡方檢驗(yàn)用于檢驗(yàn)兩分組變量是否存在顯著性差異。
舉例：某互聯(lián)網(wǎng)公司，想要推廣活動(dòng)，設(shè)計(jì)部門做了兩套網(wǎng)頁營銷方案A和B，哪個(gè)更有利于用戶當(dāng)天是否點(diǎn)擊活動(dòng)廣告（0：未點(diǎn)擊，1：點(diǎn)擊）
輸出結(jié)果：顯著性P值為0.005***，水平上呈現(xiàn)顯著性，拒絕原假設(shè)，因此對于方案和是否點(diǎn)擊數(shù)據(jù)存在顯著性差異，并且方案A的點(diǎn)擊率為130/500，方案B的點(diǎn)擊率是171/500，說明方案B的轉(zhuǎn)化率比方案A高。
在用以上方法來做ABtest時(shí)，需要滿足一個(gè)要求，兩組用戶是同質(zhì)的，也就是用戶屬性是類似的。否則當(dāng)兩個(gè)用戶群的量存在差異時(shí)，我們無法確定是策略變動(dòng)導(dǎo)致，還是用戶自身的原因。理想情況下，根據(jù)大數(shù)定理，只要是隨機(jī)分組，在用戶規(guī)模足夠大的情況下，其他因素對結(jié)果的影響的平均效應(yīng)是一致的，默認(rèn)AB兩組用戶肯定是均勻分布的。但是實(shí)際應(yīng)用中，很多應(yīng)用場景的AB test能獲得的樣本比較少。比如想只在某個(gè)城市測試一個(gè)新的功能，或者產(chǎn)品本身用戶較少，往往短期內(nèi)能觸達(dá)的在線用戶有限，這種情況下兩批樣本用戶本身屬性差異有很大概率會很明顯。
最傳統(tǒng)的方法是將選中的幾群同質(zhì)用戶（在用戶屬性上保持一致，例如城市，年齡等等），分別在幾群同質(zhì)有用戶中按照隨機(jī)的原則抽取部分樣本到A組方案和B組方案）。AB測試需要切分流量到不同方案，如果不能正確切分，使得分到不同方案的用戶群體特征分布一致，那么測試將沒有任何意義。
但是我們AB測試中，觸達(dá)的在線用戶有限，并不是全部用戶都能觸及到，就算是對其不同方案組樣本進(jìn)行均衡抽樣，但也有可能會存在觸達(dá)到功能的兩批用戶不同質(zhì)，可以用去除混雜因素（用戶屬性數(shù)據(jù)）影響的方法來做這個(gè)方案對比的檢驗(yàn)。根據(jù)方案的個(gè)數(shù)及結(jié)果變量為定量還是定類變量，推薦了以下幾個(gè)方法，但是以下的方法具有一些自身的限制，需要根據(jù)要求來使用。
在實(shí)際工作中，再怎樣細(xì)致的分層抽樣方案也不能保證實(shí)驗(yàn)組和對照組完全相似，把分層抽樣方法的思路推演到極致，就產(chǎn)生了匹配的思想。既然擔(dān)心實(shí)驗(yàn)組和對照組異質(zhì)性，那么我們干脆對每一個(gè)實(shí)驗(yàn)組中的個(gè)體，在對照組中匹配一個(gè)與它很相似的個(gè)體，這樣構(gòu)造出來的對照組就與實(shí)驗(yàn)組非常接近了。
傾向得分匹配分組回歸用于比較實(shí)驗(yàn)組與控制組的結(jié)果變量是否存在差異，它的原理是根據(jù)各個(gè)樣本的傾向得分的距離來進(jìn)行樣本匹配，以每一個(gè)實(shí)驗(yàn)組為基準(zhǔn)，在控制組內(nèi)去尋找干擾變量盡可能相似的樣本，以為了減少數(shù)據(jù)偏差和混雜因素的干擾。
案例：某電商平臺，想提升用戶客單價(jià)，運(yùn)營部門做了兩套方案：A、B激勵(lì)方案，想小規(guī)模投放優(yōu)惠給用戶，測試下效果。由于兩個(gè)方案的關(guān)系是獨(dú)立的，將方案A改為實(shí)驗(yàn)組（值為1），將方案B改為對照組（值為0）。其中方案A的響應(yīng)人數(shù)有233個(gè)，方案B的響應(yīng)人數(shù)有767個(gè)。
分析結(jié)果：
由上表可知，四個(gè)混雜變量在匹配前后標(biāo)準(zhǔn)化偏差減少 100%，并且都是”匹配前“T 檢驗(yàn)有顯著性(P<0.05)，但”匹配后“ T 檢驗(yàn)沒有顯著性(P>0.05)，說明匹配效果極好。
上一步我們證明了匹配效果比較好，我們就可以繼續(xù)用匹配后的樣本來檢驗(yàn)。所以主要是看匹配后的由 ATT 效應(yīng)結(jié)果可知，匹配后數(shù)據(jù)的顯著性 P 值為 0.000，呈現(xiàn)顯著性，拒絕原假設(shè)，方案A和方案B在客單價(jià)存在顯著性差異，其中實(shí)驗(yàn)組的客單價(jià)遠(yuǎn)遠(yuǎn)高于控制組，也即方案A的客單價(jià)遠(yuǎn)遠(yuǎn)高于方案B。
分層卡方是在卡方檢驗(yàn)基礎(chǔ)上，進(jìn)一步考慮分層項(xiàng)的干擾（混雜因素）。但是分層卡方檢驗(yàn)有較多的限制： 1、參與分析的混雜變量只允許有1個(gè)
僅支持 2×2×k 表格的數(shù)據(jù)結(jié)構(gòu)（即卡方檢驗(yàn)的兩個(gè)分類變量均只允許有 2 個(gè)分類水平，混雜因素 Z 的 k 個(gè)水平是指任意水平，不做限制）。
舉例：某互聯(lián)網(wǎng)公司，想要推廣活動(dòng)，設(shè)計(jì)部門做了兩套網(wǎng)頁營銷方案，哪個(gè)更有利于用戶當(dāng)天是否點(diǎn)擊活動(dòng)廣告（0：未點(diǎn)擊，1：點(diǎn)擊）
輸出結(jié)果：
比值比齊性檢驗(yàn)的顯著性P值為0.970，不存在顯著性，說明混雜因素各分類之間同質(zhì)，并不存在混雜作用。單獨(dú)進(jìn)行分析，我們可以看到在女性中，方案2更受歡迎；在男性中，也是方案2更受歡迎。所以不管是男性還是女性，都是方案2更受歡迎。這也反映了性別并不存在并不對差異性結(jié)論存在影響。
在當(dāng)比值比齊性認(rèn)為混雜因素是的確起到干擾作用的時(shí)候，CMH條件獨(dú)立性檢驗(yàn)可以排除混雜因素得到卡方檢驗(yàn)結(jié)果，顯著性P值為0.000***，存在顯著性，說明去除混雜因素影響后，是否點(diǎn)擊和方案之間存在顯著差異，即方案2總是比方案1更受歡迎。
協(xié)方差分析方法，可以排除在實(shí)驗(yàn)設(shè)計(jì)階段無法人為掌控的因素對結(jié)果造成的影響。在統(tǒng)計(jì)分析階段，將這些難以控制的隨機(jī)變量作為協(xié)變量，在扣除協(xié)變量的影響后，再對修正的主效應(yīng)進(jìn)行方差分析，達(dá)到準(zhǔn)確的分析評價(jià)控制變量對觀察變量影響的目的。
本文為作者獨(dú)立觀點(diǎn)，不代表鳥哥筆記立場，未經(jīng)允許不得轉(zhuǎn)載。
《鳥哥筆記版權(quán)及免責(zé)申明》 如對文章、圖片、字體等版權(quán)有疑問，請點(diǎn)擊 反饋舉報(bào)
我們致力于提供一個(gè)高質(zhì)量內(nèi)容的交流平臺。為落實(shí)國家互聯(lián)網(wǎng)信息辦公室“依法管網(wǎng)、依法辦網(wǎng)、依法上網(wǎng)”的要求，為完善跟帖評論自律管理，為了保護(hù)用戶創(chuàng)造的內(nèi)容、維護(hù)開放、真實(shí)、專業(yè)的平臺氛圍，我們團(tuán)隊(duì)將依據(jù)本公約中的條款對注冊用戶和發(fā)布在本平臺的內(nèi)容進(jìn)行管理。平臺鼓勵(lì)用戶創(chuàng)作、發(fā)布優(yōu)質(zhì)內(nèi)容，同時(shí)也將采取必要措施管理違法、侵權(quán)或有其他不良影響的網(wǎng)絡(luò)信息。
一、根據(jù)《網(wǎng)絡(luò)信息內(nèi)容生態(tài)治理規(guī)定》《中華人民共和國未成年人保護(hù)法》等法律法規(guī)，對以下違法、不良信息或存在危害的行為進(jìn)行處理。
1. 違反法律法規(guī)的信息，主要表現(xiàn)為：
1)反對憲法所確定的基本原則；
2)危害國家安全，泄露國家秘密，顛覆國家政權(quán)，破壞國家統(tǒng)一，損害國家榮譽(yù)和利益；
3)侮辱、濫用英烈形象，歪曲、丑化、褻瀆、否定英雄烈士事跡和精神，以侮辱、誹謗或者其他方式侵害英雄烈士的姓名、肖像、名譽(yù)、榮譽(yù)；
4)宣揚(yáng)恐怖主義、極端主義或者煽動(dòng)實(shí)施恐怖活動(dòng)、極端主義活動(dòng)；
5)煽動(dòng)民族仇恨、民族歧視，破壞民族團(tuán)結(jié)；
6)破壞國家宗教政策，宣揚(yáng)邪教和封建迷信；
7)散布謠言，擾亂社會秩序，破壞社會穩(wěn)定；
8)宣揚(yáng)淫穢、色情、賭博、暴力、兇殺、恐怖或者教唆犯罪；
9)煽動(dòng)非法集會、結(jié)社、游行、示威、聚眾擾亂社會秩序；
10)侮辱或者誹謗他人，侵害他人名譽(yù)、隱私和其他合法權(quán)益；
11)通過網(wǎng)絡(luò)以文字、圖片、音視頻等形式，對未成年人實(shí)施侮辱、誹謗、威脅或者惡意損害未成年人形象進(jìn)行網(wǎng)絡(luò)欺凌的；
12)危害未成年人身心健康的；
13)含有法律、行政法規(guī)禁止的其他內(nèi)容；
2. 不友善：不尊重用戶及其所貢獻(xiàn)內(nèi)容的信息或行為。主要表現(xiàn)為：
1)輕蔑：貶低、輕視他人及其勞動(dòng)成果；
2)誹謗：捏造、散布虛假事實(shí)，損害他人名譽(yù)；
3)嘲諷：以比喻、夸張、侮辱性的手法對他人或其行為進(jìn)行揭露或描述，以此來激怒他人；
4)挑釁：以不友好的方式激怒他人，意圖使對方對自己的言論作出回應(yīng)，蓄意制造事端；
5)羞辱：貶低他人的能力、行為、生理或身份特征，讓對方難堪；
6)謾罵：以不文明的語言對他人進(jìn)行負(fù)面評價(jià)；
7)歧視：煽動(dòng)人群歧視、地域歧視等，針對他人的民族、種族、宗教、性取向、性別、年齡、地域、生理特征等身份或者歸類的攻擊；
8)威脅：許諾以不良的后果來迫使他人服從自己的意志；
3. 發(fā)布垃圾廣告信息：以推廣曝光為目的，發(fā)布影響用戶體驗(yàn)、擾亂本網(wǎng)站秩序的內(nèi)容，或進(jìn)行相關(guān)行為。主要表現(xiàn)為：
1)多次發(fā)布包含售賣產(chǎn)品、提供服務(wù)、宣傳推廣內(nèi)容的垃圾廣告。包括但不限于以下幾種形式：
2)單個(gè)帳號多次發(fā)布包含垃圾廣告的內(nèi)容；
3)多個(gè)廣告帳號互相配合發(fā)布、傳播包含垃圾廣告的內(nèi)容；
4)多次發(fā)布包含欺騙性外鏈的內(nèi)容，如未注明的淘寶客鏈接、跳轉(zhuǎn)網(wǎng)站等，誘騙用戶點(diǎn)擊鏈接
5)發(fā)布大量包含推廣鏈接、產(chǎn)品、品牌等內(nèi)容獲取搜索引擎中的不正當(dāng)曝光；
6)購買或出售帳號之間虛假地互動(dòng)，發(fā)布干擾網(wǎng)站秩序的推廣內(nèi)容及相關(guān)交易。
7)發(fā)布包含欺騙性的惡意營銷內(nèi)容，如通過偽造經(jīng)歷、冒充他人等方式進(jìn)行惡意營銷；
8)使用特殊符號、圖片等方式規(guī)避垃圾廣告內(nèi)容審核的廣告內(nèi)容。
4. 色情低俗信息，主要表現(xiàn)為：
1)包含自己或他人性經(jīng)驗(yàn)的細(xì)節(jié)描述或露骨的感受描述；
2)涉及色情段子、兩性笑話的低俗內(nèi)容；
3)配圖、頭圖中包含庸俗或挑逗性圖片的內(nèi)容；
4)帶有性暗示、性挑逗等易使人產(chǎn)生性聯(lián)想；
5)展現(xiàn)血腥、驚悚、殘忍等致人身心不適；
6)炒作緋聞、丑聞、劣跡等；
7)宣揚(yáng)低俗、庸俗、媚俗內(nèi)容。
5. 不實(shí)信息，主要表現(xiàn)為：
1)可能存在事實(shí)性錯(cuò)誤或者造謠等內(nèi)容；
2)存在事實(shí)夸大、偽造虛假經(jīng)歷等誤導(dǎo)他人的內(nèi)容；
3)偽造身份、冒充他人，通過頭像、用戶名等個(gè)人信息暗示自己具有特定身份，或與特定機(jī)構(gòu)或個(gè)人存在關(guān)聯(lián)。
6. 傳播封建迷信，主要表現(xiàn)為：
1)找人算命、測字、占卜、解夢、化解厄運(yùn)、使用迷信方式治病；
2)求推薦算命看相大師；
3)針對具體風(fēng)水等問題進(jìn)行求助或咨詢；
4)問自己或他人的八字、六爻、星盤、手相、面相、五行缺失，包括通過占卜方法問婚姻、前程、運(yùn)勢，東西寵物丟了能不能找回、取名改名等；
7. 文章標(biāo)題黨，主要表現(xiàn)為：
1)以各種夸張、獵奇、不合常理的表現(xiàn)手法等行為來誘導(dǎo)用戶；
2)內(nèi)容與標(biāo)題之間存在嚴(yán)重不實(shí)或者原意扭曲；
3)使用夸張標(biāo)題，內(nèi)容與標(biāo)題嚴(yán)重不符的。
8.「飯圈」亂象行為，主要表現(xiàn)為：
1)誘導(dǎo)未成年人應(yīng)援集資、高額消費(fèi)、投票打榜
2)粉絲互撕謾罵、拉踩引戰(zhàn)、造謠攻擊、人肉搜索、侵犯隱私
3)鼓動(dòng)「飯圈」粉絲攀比炫富、奢靡享樂等行為
4)以號召粉絲、雇用網(wǎng)絡(luò)水軍、「養(yǎng)號」形式刷量控評等行為
5)通過「蹭熱點(diǎn)」、制造話題等形式干擾輿論，影響傳播秩序
9. 其他危害行為或內(nèi)容，主要表現(xiàn)為：
1)可能引發(fā)未成年人模仿不安全行為和違反社會公德行為、誘導(dǎo)未成年人不良嗜好影響未成年人身心健康的；
2)不當(dāng)評述自然災(zāi)害、重大事故等災(zāi)難的；
3)美化、粉飾侵略戰(zhàn)爭行為的；
4)法律、行政法規(guī)禁止，或可能對網(wǎng)絡(luò)生態(tài)造成不良影響的其他內(nèi)容。
二、違規(guī)處罰
本網(wǎng)站通過主動(dòng)發(fā)現(xiàn)和接受用戶舉報(bào)兩種方式收集違規(guī)行為信息。所有有意的降低內(nèi)容質(zhì)量、傷害平臺氛圍及欺凌未成年人或危害未成年人身心健康的行為都是不能容忍的。
當(dāng)一個(gè)用戶發(fā)布違規(guī)內(nèi)容時(shí)，本網(wǎng)站將依據(jù)相關(guān)用戶違規(guī)情節(jié)嚴(yán)重程度，對帳號進(jìn)行禁言 1 天、7 天、15 天直至永久禁言或封停賬號的處罰。當(dāng)涉及欺凌未成年人、危害未成年人身心健康、通過作弊手段注冊、使用帳號，或者濫用多個(gè)帳號發(fā)布違規(guī)內(nèi)容時(shí)，本網(wǎng)站將加重處罰。
三、申訴
隨著平臺管理經(jīng)驗(yàn)的不斷豐富，本網(wǎng)站出于維護(hù)本網(wǎng)站氛圍和秩序的目的，將不斷完善本公約。
如果本網(wǎng)站用戶對本網(wǎng)站基于本公約規(guī)定做出的處理有異議，可以通過「建議反饋」功能向本網(wǎng)站進(jìn)行反饋。
(規(guī)則的最終解釋權(quán)歸屬本網(wǎng)站所有)