作者｜吳鴻鍵

字節(jié)跳動旗下的短視頻APP“西瓜視頻”，原本叫“頭條視頻”。但為了讓其在短視頻行業(yè)更具品牌辨識度，團隊希望更名。

在經過用戶調研和多輪征集篩選后，團隊選定4個待選名字進行A/B測試：西瓜視頻、奇妙視頻、筷子視頻、陽光視頻。最終的測試結果顯示：“西瓜視頻”和“奇妙視頻”的點擊率位列前二，分別比原名稱增加了5.22%、5.08%的點擊率。結合用戶調性等因素綜合考量，“頭條視頻”最終更名為“西瓜視頻”。

無獨有偶，一次快手內部會議上，聯合創(chuàng)始人程一笑在聽到“只要公司開放更多資源，營收就能大幅提升”的說法時，也只提了一個要求：先做A/B測試。

上述決策過程反映的，其實是兩家數字化時代企業(yè)的共同思路：數據驅動、決策不完全依賴個人經驗判斷。而A/B測試，正是該思路的集**現。

互聯網巨頭先行驗證

大洋彼岸，在Google、Facebook、Netflix、亞馬遜的傳道下，A/B測試已是風靡硅谷的增長利器。在中國，這一方法論先在頭部互聯網企業(yè)中應用起來

目前，BAT均以內部自建的方式應用A/B測試。同樣，新一代互聯網巨頭字節(jié)跳動、美團、滴滴也都建立了自己的A/B測試平臺，比如美團的Gemini、滴滴的阿波羅、今日頭條的Libra。

具體應用上，以即時配送業(yè)務為例，美團以“提出假設、定義指標、檢驗假設（A/B測試）、分析學習、發(fā)布”五個步驟完成精細化的策略迭代，實現降本增效。類似的邏輯，滴滴應用在城市運營領域、字節(jié)跳動則更是把A/B測試應用到了產品命名、交互設計、推薦算法、用戶增長、廣告優(yōu)化等方方面面。

羅征曾任騰訊廣告副總裁，也在谷歌公司任職八年，目前為“像素偏移” 聯合創(chuàng)始人與CEO。據他的觀察，目前互聯網大廠普遍接受A/B測試的邏輯。在算法層面，技術團隊基本都能認同A/B測試的價值。“國內（A/B測試）的起步雖然晚一些，但我不認為國內的發(fā)展比國外差。”

但另一重不容忽略的事實是：大廠之外，A/B測試的滲透尚處于早期階段。

即使是同處于互聯網行業(yè)的中小企業(yè)，A/B測試的應用仍然較少。自建A/B測試平臺需要人才和資金，推進A/B測試需要時間，要得出可靠的測試結果需要足夠的數據量。這些對于中小企業(yè)來說都是稀缺的。

此外，如果業(yè)務負責人缺少應用新工具的意識，那么A/B測試再管用，在公司內部也難以推行。而退一步講，就算創(chuàng)業(yè)者樂于嘗鮮、想靠外包的方式應用A/B測試，市面上也沒有讓人一下就能想到的值得信賴的工具品牌。

互聯網行業(yè)尚且如此，傳統(tǒng)行業(yè)自不必說。雖然金融行業(yè)已有應用A/B測試的案例，但主要針對的還是互聯網相關的產品，比如金融類APP上的功能測試。

問題隨之而來：產業(yè)數字化轉型不是當前的大熱點嗎？既然A/B測試的價值已經得到巨頭認可，為什么還沒有獲得廣泛普及？

這既有客觀條件的約束，也跟關鍵位置上的“人”對于A/B測試的感知有關。

對于中小團隊來說，A/B測試的成本不菲，無論是時間、研發(fā)，還是對應的機會成本。創(chuàng)業(yè)公司從0到1的時候，尤其看重迭代速度，晚幾天發(fā)布版本，目標市場可能就會被對手捷足先登，這樣的損失沒有人愿意承受。

再者，A/B測試存在較高的技術壁壘。分流是A/B測試的基礎，企業(yè)需要建立靠譜的A/B測試平臺，保證科學的流量分割、流量層直接的正交互斥，使得實驗不受干擾。此外，A/B測試平臺的指標設計和解讀、置信度的統(tǒng)計方法，也對應著不小的研發(fā)資源投入。

成本和難度之外，A/B測試也對企業(yè)本身的數據基建提出要求。有些企業(yè)缺乏堅固的數據基建，并不具備使用A/B測試的能力。而當一個既認可“數據驅動”理念、數據基建也過關的企業(yè)想推進A/B測試時，它會發(fā)現，即使能夠對數據進行聯動打通，市場上也少有成熟、可靠的A/B測試產品可供使用。

目前，國內獨立第三方A/B測試工具還處于相對分散的狀態(tài)，尚待龍頭企業(yè)樹立標桿。部分互聯網大廠雖然錘煉出了一些可靠的A/B測試產品，但是對外開放還處于起步階段。

至于關鍵位置上的“人”的問題，一個典型的場景是，部分掌握話語權的產品經理更愿意相信自己對于人性的認知和對于審美的把握，在其看來，數據只是輔助，真正影響決策的，還得是人的經驗和洞察。

這或許不是行業(yè)環(huán)境的問題，而要追溯到中外教育理念的差異。A/B測試的理念從根源上更貼近西方教育中的邏輯、實驗、辯證思維。在國外，A/B測試基本不需要在理念層面做推廣，而國內的情況則明顯不同。

諸多的客觀約束、加上人們對A/B測試的認識存在差異，種種因素的疊加下，行業(yè)存在不少對A/B測試的誤讀和兩極化判斷。但好在，已經有不少資深從業(yè)者躬身入局，他們的切身感受，正是破解誤讀的關鍵。

A/B測試的三大誤區(qū)

根據「深響」與互聯網資深從業(yè)者，尤其是有過A/B測試實踐經驗的專業(yè)人士的交流，目前行業(yè)內存在的誤讀和兩極化判斷，主要體現為以下三大誤區(qū)：

• 誤區(qū)一：A/B測試是在浪費資源。

不只是中小企業(yè)，大公司內部在迭代業(yè)務時也會存在類似的質疑。除了上文已經提到的搭建測試平臺所需的成本，A/B測試的資源投入還以更直觀的形式體現于執(zhí)行過程中。

一個最簡單的例子，某公司旗下的APP想要提升注冊轉化，此時，業(yè)務部門想應用A/B測試，準備測試方案的過程需要協(xié)調各部門（比如設計、產品、運營）共同完成，而測試過程本身也是個需要投入時間的事情。測試做完，如果A/B測試效果不夠突出，公司內部很容易出現“折騰一趟不劃算”的想法。

成本，是A/B測試無法規(guī)避的問題?！霸叫〉墓?，對成本的容忍度就越低。這永遠是一個取舍的問題”，羅征表示。

不過，小公司應用A/B測試的情況也不算罕見。早在2012年，有瞰學社創(chuàng)始人&CEO、知名互聯網運營專家黃有璨就接觸過A/B測試，豐富的互聯網從業(yè)經驗和創(chuàng)業(yè)經驗，讓其對A/B測試的價值有更切身的體會。

在黃有璨看來，如果公司業(yè)務處于早期，那么A/B測試稍微控制不好，肯定會造成一定資源浪費。但當業(yè)務比較成熟時，管理者思考的是：如果不做精細的A/B測試，要承擔的風險是什么？

“假如這個測試能直接影響一年的收入，那么不做A/B測試，我要承擔的風險可能是浪費三四個月的時間（在錯誤的決策上）。如果我投入資源做個詳細的A/B測試，可能要花一百萬或兩百萬，但這能幫助我節(jié)省下來三到四個月的風險，這筆帳肯定能算明白?！秉S有璨告訴「深響」。

言而總之，A/B測試的成本問題，說到底是性價比問題。而看待A/B測試的性價比，不能只是靜態(tài)地看測試的瞬間，而是要放長線來考慮。如果一次A/B測試幫助企業(yè)前置思考，避免了錯誤方案的執(zhí)行，那絕對是“花小錢辦大事”，不存在資源浪費一說。

如何評價一個A/B測試是好是壞？在黃有璨看來，一方面要看A/B測試本身的成本夠不夠低，或者效率是不是最高，即財務上要能算得過來，測試反饋也要足夠快；另一方面，A/B測試結論的科學性和準確性和成本同樣重要。

交流中，黃有璨多次提到了變量控制的難度——用戶的構成、時間上的差異、以及用戶來源渠道的不同等，都會影響A/B測試的準確性。只有當測試環(huán)境相對干凈，不受額外變量的干擾，測試結果才有參考的價值。

“誰來設計A/B測試，他的思考或邏輯清晰不清晰，他是否能借A/B測試的信息反饋快速確定結論。這件事其實是更加重要的?！秉S有璨表示。

• 誤區(qū)二：小公司不需要A/B測試。

小公司需不需要A/B測試？這個問題其實已經把A/B測試預設成“大費周章”的事，但流程只是表象，A/B測試真正重要的是其“對照實驗”和“數據驅動”的核心理念。

黃有璨向「深響」介紹了一段親身經歷，在公司業(yè)務還未成熟的時候，為了測試一個課程的詳情頁轉化效率，黃有璨自己做了兩三個版本的詳情頁，將其放在不同的用戶樣本中進行測試，以“人肉”手段跑完了A/B測試，最后選用了數據最好的詳情頁版本。

在黃有璨看來，A/B測試不是巨頭的專利，它小到“一個人都可以做”。當業(yè)務模型得到驗證，團隊規(guī)模發(fā)展到幾百人時，需要做A/B測試的場景也會越來越多，這時公司可以考慮讓第三方工具幫忙提升效率。

上述經歷其實都在說明一件事：做不做A/B測試，跟公司規(guī)模無關。如果在意成本問題，那么接入第三方工具會是一個值得考慮的選擇。

在這方面，羅征向「深響」著重表達了自己對于小公司接入第三方工具的認可?！按蟛糠中S可以采用專門的SaaS服務，大廠通常會因為需求比較復雜和獨特而傾向自研?！?/p>

認為A/B測試浪費資源也好，認為小公司不需要A/B測試也好，這些其實都是可以通過“算賬”解決的問題。全盤否定不可取，而盲目買單A/B測試的做法，同樣不是明智之舉。

• 誤區(qū)三：A/B測試是萬能的。

互聯網造就了諸多增長神話，也顛覆了各行各業(yè)的底層邏輯。因此，不少從業(yè)者將“數據驅動”、尤其是以數據驅動為核心理念的A/B測試奉為信仰，他們把A/B測試當作評判一切的標準，試圖將所有業(yè)務進行量化。

這是個典型的“手拿錘子，看什么都是釘子”的思路。

據羅征總結，A/B測試更適用于用戶數量大、且用戶之間關聯度不高，結果容易以數據衡量的領域，如廣告行業(yè)、搜索系統(tǒng)等。如果行業(yè)本身并不具備這些特征，或者壓根沒法執(zhí)行A/B測試，那么A/B測試的價值就很難體現。

羅征向「深響」描述了一個無法應用A/B測試的場景：大部分內容行業(yè)，比如綜藝節(jié)目，就基本不可能做A/B測試，而且做產品原始設計的時候，其實也是不能A/B測試的。

“有些事情就沒有辦法A/B測試，或者A/B測試的成本過大，你就做不到了?！?/p>

A/B測試的真正價值

生于硅谷的光鮮背景、加上國內互聯網大廠的帶貨，A/B測試概念的熱度與日俱增。但太高的起點也讓其被太多模糊焦點的信息所裹挾。糾偏的第一步，在于回本溯源，回答一個所有企業(yè)都關心的問題：A/B測試真正的價值到底是什么？

第一點，最直觀的一點，A/B測試能真正落地數據驅動，幫助企業(yè)科學決策。在傳統(tǒng)的經驗主義運營模式下，業(yè)務負責人能力再強，也難免有失手的時候。但作為一種前置驗證的手段，A/B測試的價值不僅能幫助企業(yè)準確評估哪個方案更好，還能評估出好多少、為決策提供量化參考。

今日頭條APP曾因整體UI風格偏大齡被詬病。為了吸引更多年輕用戶和女性用戶，也為了在可接受的負向范圍內改一版用戶評價更高的UI，今日頭條通過控制變量，開展了多次A/B測試，變量包括頭部色值飽和度、字號、字重、文字間距、底部tab icon等。

經過多次測試，今日頭條APP最終找到了一套綜合效果最好的UI版本。新UI上線4個月后，圖文類時長顯著提升1.66%、搜索滲透顯著提升1.47%。高頻用戶逐漸適應新UI的同時，用戶調研也顯示，年輕和女性用戶對新UI表現出了更明顯的偏好。

今日頭條APP的案例正好解釋了量化參考為何重要。在方案的實際執(zhí)行中，業(yè)務人員需要在資金、人力、時間、后續(xù)維護等方面做好平衡，需要找到邊際效益的臨界點。A/B測試對不同方案效果的量化，恰好提供了對應的參考。

更重要的是，在不斷的測試過程中，企業(yè)還將沉淀知識，建立起一套科學的運營、優(yōu)化體系。這樣一來，業(yè)務的創(chuàng)新不再高度依賴于某個關鍵位置上的“人”，領導者敢于放權，自下而上的創(chuàng)新得以實現。

第二點，同時也是科學決策的另一面，A/B測試能幫助企業(yè)規(guī)避風險。

假如一個帶有錯誤特性的新版本全量推給用戶，影響的可能是千萬、甚至上億用戶的體驗，后續(xù)挽回損失的代價也同樣讓企業(yè)難以承受。A/B測試可以通過分流出小部分流量進行測試，將負面影響控制在實驗范圍內，防止錯誤決策造成更大的損失。

“A/B測試本質上，是幫助我們提高選擇、判斷的準確性，以及提升決策時的效率，降低成本。”黃有璨告訴「深響」。

第三點，從企業(yè)發(fā)展的長遠角度看，A/B測試是企業(yè)復利式增長的新標配，其盡可能地讓企業(yè)的每個決策都帶來正向收益，持續(xù)循環(huán)，最終實現指數級增長。

一家公司，從初創(chuàng)企業(yè)到獨角獸，再到成為行業(yè)巨頭，整個過程中最令人驚嘆的地方往往是：這家企業(yè)需要在每個重要節(jié)點都做出正確的選擇。如果稍有不慎，哪怕只是一次錯誤，也可能讓原處于高歌猛進狀態(tài)的企業(yè)走起下坡路。

道理不難懂，難點在于，沒有人能看到未來，只能盡最大努力基于已有信息作判斷。而A/B測試，是一個把消費者行為數據化、用數據對行為進行量化反饋的過程，這對企業(yè)預判趨勢大有裨益。

從心理上，用戶往往不知道自己要什么，但其選擇偏好其實已經反映在了行為上，只是市場尚未有相應供給，告訴他們“你要的是這個”罷了。通過A/B測試，企業(yè)能夠知曉消費者的選擇偏好，由此動態(tài)做出決策，這相當于把“用戶中心”往前再推一步，變成“用戶決策中心”，確保每個決策都為企業(yè)帶來正向收益，實現復利效應。

簡言之，A/B測試讓業(yè)務迭代、新品研發(fā)能夠有的放矢，原本不確定的決策，將變成確定的決策，企業(yè)得以精準洞察商機。

除了驅動增長之外，A/B測試還可以幫助企業(yè)“做減法”。當前，很多企業(yè)推出了五花八門的服務，試圖在廣撒網中找到增長密碼，但用戶體驗不增反降。而A/B測試，恰能幫助企業(yè)精準地“做減法”，幫用戶簡化場景中的選擇。

最后，從更底層的理念層面看，A/B測試是落實數據驅動理念的最佳工具。讓理念得到落實，進而輻射、滲透到企業(yè)的血脈中，才是A/B測試更大的價值。

小到UI設計的改變、轉發(fā)按鈕的放置，大到組織的迭代升級，A/B測試的價值可以貫穿企業(yè)增長的全過程。

但要做好A/B測試并不容易，需要有足夠專業(yè)的人來設計測試方案，也需要決策者對A/B測試有足夠的認同。這樣，A/B測試才不至于在推行之初就阻力重重。

萬事開頭難，何況是一個投入先于效果、且極其考驗決策者決心的工程。唯一可以確定的是，A/B測試的重要性日益凸顯，價值已經非常明確。挑戰(zhàn)當然有，但當企業(yè)真正掌握這把增長利劍時，業(yè)務增長路徑就會豁然開朗。

-END-