本文旨在分享一些自己的實戰(zhàn)和分析經(jīng)驗，供大家參考，并與大家一起交流成長。

我先從個人認為最重要的AB Test實戰(zhàn)開始分享，而分享過程中涉及到重要且無法展開的，未來會慢慢再與大家討論和分享。甚至我會和大家講到一些數(shù)據(jù)平臺的使用玩法比如神策、Firebase等。 

一、關(guān)于AB Test

說到AB Test 大家都不會陌生，也是增長黑客概念流行以來非常熱門的話題，我曾與業(yè)內(nèi)經(jīng)常做AB Test的朋友交流，也遇到過這類常見的問題。

（1）方案存在多變量，沒有控制唯一變量，實驗結(jié)果很難歸因和解釋

（2）多組實驗同時跑，不知道實驗的變量相互干擾

（3）不確定如何有效評估實驗，提升多少算有效？

（4）實驗結(jié)果看起來有效果，上線后卻效果不明顯

（5）實驗結(jié)果看起來有效果，但不知道為何，無法歸因出原因

我們最可怕的不是不知道要開展AB 實驗，而是明知道要開展，卻不知道如何科學開展或開展后面對數(shù)據(jù)結(jié)果一臉茫然。

二、如何科學開展實驗?zāi)兀?/h2>

首先，實驗的過程可以簡單分為三步；

? 實驗設(shè)計 - 包括實驗的想法，背景，假設(shè)，方案，指標等

? 實驗上線 - 包括實驗AB功能，數(shù)據(jù)采集，測試和上線

? 實驗評估 - 包括數(shù)據(jù)獲取，對比分析，轉(zhuǎn)化結(jié)果顯著度，實驗結(jié)果歸因，結(jié)論，建議和計劃

具體過程相信大家不會陌生，所以不會逐個介紹，下面我們重點聊聊整個過程可能常遇到的問題和經(jīng)驗教訓，這也是我本次想分享的核心。

看似簡單的實驗設(shè)計，更需要重視 ：

1、實驗想法拿數(shù)據(jù)做支持

? 記住不要光拍腦袋不分析數(shù)據(jù)，這是提高實驗成功率的有效途徑，否則你將會承擔更高的實驗風險，要么實驗沒有效果，要么實驗效果下滑，這些都是浪費資源的做法

? 公司不會有那么多時間和資源投入到一個又一個失敗的實驗方案中，因此想法很重要，但更重要的是參考、分析，為你的實驗想法提供數(shù)據(jù)依據(jù)，拿數(shù)據(jù)說話

? 真實的情況是，我們完全可以拿數(shù)據(jù)否掉很多不靠譜的想法

? 由于本次分享的內(nèi)容側(cè)重點，這塊內(nèi)容以后的機會再分享 

2、實驗?zāi)繕苏f清楚，寫下來

? 清晰的實驗?zāi)繕四軌蜃尫桨妇劢?，也避免評估結(jié)果的相互扯皮

? 如果團隊有人想要收入，有人想要留存，這往往大家的實驗?zāi)繕藭斐珊罄m(xù)的一系列麻煩

經(jīng)歷： 

我們曾遇到過一個實驗對于收入的效果非常顯著，但卻損害了用戶體驗，導致用戶認為應(yīng)用收費性質(zhì)過強而流失，但團隊一致認為當前收入最重要，且通過數(shù)據(jù)驗證了流失的用戶均是較為低質(zhì)的活躍用戶，對長期留存來看并無意義，只是短期留存不好，DAU會下滑。

但團隊中有人則認為前期的活躍用戶更重要，不想流失用戶和DAU下滑，這個就團隊在前期沒有確定一個一致的目標造成，最后的結(jié)果則是非常不歡，方案也沒有上線，非常打擊團隊的信心。 

我們不要總期待魚和熊掌兼得，那是可遇不可求的，我們也正是一直在方案的利弊中，學會權(quán)衡并決策前行，這才是可貴的成長和經(jīng)驗，我們總要學會拋棄芝麻撿西瓜，把目標定下來，會更利于我們的決策。

3、實驗方案設(shè)計

? 清楚了解自己的實驗?zāi)繕?，設(shè)定測試中想要測試的變量

? 盡量避免要評估的方案存在多變量的情況，控制唯一變量，有利于得到更多實驗信息

? 分組設(shè)計會是另一個重點，我們放在后面來講

經(jīng)歷：

我們曾犯過這類錯誤，上線一個新的付費頁面，但我們實驗設(shè)計前期沒有想清楚可以評估和實驗的變量，導致我們只控制了展不展示該頁面，但該付費頁面我們換了新商品，更換了SKU組合，更換了商品的折扣屬性，頁面也放置在用戶完成關(guān)鍵動作后出現(xiàn)。 

不難想象，我們最終只得到了一個大而全的策略結(jié)果，而不知道頁面里面的變化能起到的關(guān)鍵作用，因此我們浪費了一次機會，丟失了本可以獲取的實驗信息。

這個過程就好比如下，同時修改了顏色和文案那樣，我們無法知道顏色和文案分別的影響。 

盡量不要做出這樣的對比，在實驗前想清楚，再想清楚，把你要評估的變量梳理清楚，這樣再把變量拆開。

如下： 

實驗設(shè)計方案參考如下模板： 

關(guān)于數(shù)據(jù)采集這塊我就不做分享了，不是本次的重點，后續(xù)有機會我們再拿來分享。

三、 AB實驗工具 

筆者使用過多個AB 工具，包括自研AB系統(tǒng)，F(xiàn)irebase等第三方支持AB 的工具，我總結(jié)了常見AB工具的幾個特性，供大家今后需要的時候參考：

當我們創(chuàng)建一個AB Test時，需要有：

? 用戶圈選：一般要求系統(tǒng)能夠?qū)δ繕藢嶒炄后w做圈選，滿足的用戶進入AB Test，建議支持系統(tǒng)已有的用戶屬性，行為數(shù)據(jù)，用戶標簽等作為可選擇維度，第三方工具則要求相關(guān)數(shù)據(jù)上報，需做好前期的實驗設(shè)計和數(shù)據(jù)采集工作

? 實驗灰度：假如你的實驗不想影響所有用戶，那么這個正是你所需要的，可以實現(xiàn)逐步放量，相對完善的AB工具均有此類選項，如Firebase

? 配置項：一般指可以由后端自定義值的【遠程配置】，例如：是否展示免費試用商品，就是一個【遠程配置】

? 實驗分組：任意增加多個分組，并為各組選擇配置項，配置項的值，以及該組的樣本比例

? 實驗分組標記：每個創(chuàng)建的實驗都建議為每個實驗創(chuàng)建一個Track Tag，將分組名稱作為值，如Test1_Control，Test1_VarB，Test1_VarC，然后作為一個用戶的標簽標記上，同時要避免標簽數(shù)據(jù)被覆蓋導致歷史實驗數(shù)據(jù)丟失

如果大家是做出海的App，F(xiàn)irebase是我優(yōu)先推薦的，它是谷歌的產(chǎn)品，而且免費，但唯一不好是對國內(nèi)支持不好，所以可以根據(jù)實驗群體和場景選擇哦。

當然最靈活的還是自研AB系統(tǒng)，但是這個需要一個較有經(jīng)驗的增長產(chǎn)品經(jīng)理或增長數(shù)據(jù)分析師來參與比較好系統(tǒng)的設(shè)計和數(shù)據(jù)采集，這樣才能較好確保系統(tǒng)的可用，否則仍會出現(xiàn)很多坑，下面我來講一下我們團隊在實驗分組遇到過的問題。

四、實驗分組

1、按照用戶ID等屬性計算隨機值

我們團隊一開始通過用戶ID來實現(xiàn)簡單的隨機分組，這個方式在我們跑多組實驗的時候遇到了問題。

按用戶ID屬性計算分組值存在的潛在問題如下：

假如一個用戶U3，基于該用戶ID通過某種隨機算法計算得到59，按照隨機算法被分配到50%~100%這個區(qū)間，此時如果Test1區(qū)分AB兩組，各50%，那么用戶U3應(yīng)該會被分配到Test1的B組；此時如果又有Test2 區(qū)分AB兩組，各50%，那么該用戶仍會被分配到Test2的B組。

最后當我們要對Test1的A組和B組做對比時，假設(shè)Test2也會或多或少影響Test1的目標轉(zhuǎn)化，那么就會多了一個Test2的干擾因素，從而兩個實驗的變量會相互干擾結(jié)果，無法評估某個Test 變量的貢獻，如下圖所示：

因此這種情況下你只能同時跑一組實驗。

2、按照用戶ID等屬性和實驗ID計算隨機值

后來，我們采用另外一種分組方案，按照用戶ID和實驗ID共同決定隨機值，這樣起到在每個實驗中，兩組的用戶也分別均勻分布在其他實驗的各組值中，如下圖所示原理，理論上兩個實驗均設(shè)置兩組各50%，則樣本預計將平衡貼近25% 

理論上，Test1和Test2就相互不干擾了，因為在分組足夠均衡的情況下，Test1 AB各組受其他實驗的影響也被均衡了，可以近視忽略不同變量相互之間的影響。

3、另外一種分組方案探索

我們團隊還嘗試過另外一種方案，這種方式就是把用戶按照一個個規(guī)定的桶，將用戶隨機分配好，然后為實驗具體組選擇某個（幾個）桶的用戶，會比較強隔離每個實驗，互不干擾，相對來說比較方便，但卻需要有專人管理和把控實驗資源的配置，且樣本量要足夠大，否則一旦篩選了條件導致樣本量不夠多，則會面臨分組不夠用的問題。

我身邊也有朋友在這么做，這只是分享給大家參考，大家可以結(jié)合自己的實際情況來決定 。 

如果大家選擇一些AB 工具則可以不用太擔心，人家已經(jīng)實現(xiàn)了合理的分組，按照說明設(shè)置就好了，但在自己實現(xiàn)分組的時候則需要特別留意這塊了。

五、實驗評估

這里我們關(guān)注一個重點，如何評估實驗結(jié)果是否有效，或者說如何評估提升多少才算有效？ 

關(guān)于如何選取評估指標，這個需要大家結(jié)合實際業(yè)務(wù)場景來確定，這個就不介紹了（注意，我們往往不會評估單一指標）。

對于出海來說，尤其是工具類產(chǎn)品，最不陌生的就是免費試用了，這個蘋果和谷歌為我們提供了很成熟的產(chǎn)品支持。

我就拿這個舉例子，也是我們團隊親身經(jīng)歷過的項目：

先做個簡單假設(shè)：上線7天免費試用，能夠?qū)κ杖胗刑嵘?0%，提高用戶付費轉(zhuǎn)化率提高10% 。

核心評估指標：

? 用戶付費轉(zhuǎn)化率（7天內(nèi)，0金額不計算）

? ARPU（7天內(nèi)） 

實驗分組：

A 控制組，默認不曝光。

B 實驗組，曝光7天免費試用，顯示免費試用字樣。

參考下面數(shù)據(jù)例子， 

我們可以看到示例中，整個實驗周期中，A組有12100個樣本參與，B組有12200個樣本參與。 

A組的成功付費轉(zhuǎn)化率為1.65%，B組的成功付費轉(zhuǎn)化率為1.97%（為了簡單演示，沒有給出置信區(qū)間估計）

如果單靠看轉(zhuǎn)化率的變化，我們可以看到B組有些效果，但提升是否真的有顯著效果呢？

這就要求我們引入統(tǒng)計顯著的概念了，先來看示例中我們計算的結(jié)果是95%顯著，這個就能極大給我們信心說結(jié)果是顯著的。

當轉(zhuǎn)化率結(jié)果顯著，這個意味著實驗有勝出組了，然后看ARPU表現(xiàn)，即可大概率確認實驗的效果。

這里只舉一個指標評估做為例子，實際評估還需要結(jié)合實際業(yè)務(wù)來看，包括評估方案的正向反向效果。

一個小技巧：當我們的運營團隊不知道如何分析結(jié)果的歸因時，采用轉(zhuǎn)化前后的用戶行為做差異分析，這樣就能大概率做到對結(jié)果的歸因分析了，關(guān)于歸因仍為一個大專題，不在這里做詳述。

 六、統(tǒng)計是否顯著概念

如果有朋友學過統(tǒng)計學或者接觸過類似的概念，相信不會陌生，這里只做下概念普及，為了通俗易懂，有些描述可能也不是特別的科學嚴謹。

統(tǒng)計推斷的概念需要有一個【原假設(shè)】，這個【原假設(shè)】我們一般假設(shè)實驗的方案不如老方案效果好，然后想辦法推翻，以此來堅信我們的實驗是有效果。 

例如這個效果指付費轉(zhuǎn)化率，那么就是說，實驗的B組的成功概率（用PB表示）不如實驗A組的成功概率（用PA表示）高，即PB <= PA

有了【原假設(shè)】，接下來只需要找證據(jù)推翻上述【原假設(shè)】就可以了。 

前面實驗中PB = 1.97%，而PA=1.65%，PB > PA，這個時候可以推翻原假設(shè)嗎？

不能確定，因此需要引入統(tǒng)計顯著的概念，一般顯著度達到95%以上，就可以有足夠的信心推翻原假設(shè)。 

這個95%你可以簡單理解為PB > PA發(fā)生的概率超過95%，這樣我們的信心就很足了。

關(guān)于顯著度的計算這里不深入展開，只是提供大家一個判斷依據(jù)，對效果的評估要加上這個會比較科學，這樣能知道方案上線后有效果的把握程度。

注意：發(fā)生概率高，不代表一定會發(fā)生，所以要做好上線后隨時準備面臨結(jié)果不如意的心態(tài)。

別忘了細分實驗結(jié)果：

在我們多次跑實驗的經(jīng)驗，尤其是對于出海應(yīng)用，我們面臨了很多的國家市場，來自全球各地人付費文化和行為模式是存在差異的，因此我們前期實驗選擇的群體可能就包含了不同消費特性的人群，因此無論在總體結(jié)果是否顯著的情況下，我們都應(yīng)該做更多維度的細分。

這樣我們能有效發(fā)現(xiàn)那些響應(yīng)不足或響應(yīng)后效果差的地區(qū)，對策略做出及時的調(diào)整。 

巧妙利用AABB分組：

這個是我最后想補充的內(nèi)容 ，想必大家都會遇到一些波動特別大的指標，類似一些收入指標，那實驗出現(xiàn)隨機的結(jié)果是很可能發(fā)生的，這個時候AABB分組策略能給我們提供一些信息。

假如我們實驗只是簡單的分為兩組，實際上我們還能夠?qū)組劃分成A1,A2，將B組劃分成B1,B2組 。

通過對比組間，如A組和B組的結(jié)果來衡量實驗效果。 

還能通過對比A1和A2，或?qū)Ρ菳1和B2來確認組內(nèi)的數(shù)據(jù)是否穩(wěn)定，如果組內(nèi)數(shù)據(jù)差異過大，而組間差異也表現(xiàn)差異很明顯的時候，這個時候就要小心我們前面提到的隨機發(fā)生的結(jié)果。

因此AABB分組還夠給我們提供更多的實驗信息，大家可以去嘗試一下。 

由于篇幅問題很多內(nèi)容無法開展討論，我們后續(xù)有機會再給大家分享。本篇的概念和理論層面多一些，希望可以幫助到產(chǎn)品人和運營人員。

-END-