備注：如果您已經(jīng)知道為什么要做埋點(diǎn)管理系統(tǒng)了，可以直接跳去第三節(jié)看埋點(diǎn)管理系統(tǒng)的建設(shè)過(guò)程。如果還沒(méi)有很好的了解過(guò)埋點(diǎn)管理系統(tǒng)，建議從頭開(kāi)始讀起，本文章小長(zhǎng)，但是一定有干貨哦，建議好好讀完！

如果你是一名數(shù)據(jù)分析師，是否有過(guò)這樣的經(jīng)歷，當(dāng)你需要查詢APP產(chǎn)品埋點(diǎn)數(shù)據(jù)的時(shí)候，你不得不經(jīng)常找數(shù)據(jù)產(chǎn)品經(jīng)理去確認(rèn)是否已有埋點(diǎn)，埋了哪些字段，是否已有上報(bào)數(shù)據(jù)等，常常這些埋點(diǎn)事件元信息分散在多個(gè)產(chǎn)品經(jīng)理手上，信息散亂，分析師使用埋點(diǎn)數(shù)據(jù)之前溝通成本極高，影響數(shù)據(jù)使用的效率……

不僅如此，我們還會(huì)遇到埋點(diǎn)數(shù)據(jù)異常，追溯埋點(diǎn)歷史問(wèn)題過(guò)程也是非常的漫長(zhǎng)，需要數(shù)據(jù)產(chǎn)品經(jīng)理去跟業(yè)務(wù)產(chǎn)品經(jīng)理確認(rèn)埋點(diǎn)需求的版本，然后數(shù)據(jù)產(chǎn)品經(jīng)理確認(rèn)埋點(diǎn)設(shè)計(jì)需求的批次，然后給到開(kāi)發(fā)，開(kāi)發(fā)同事再去查找問(wèn)題……

以上種種問(wèn)題場(chǎng)景相信大家都經(jīng)歷過(guò)，且一直是困擾著我們的痛點(diǎn)。

埋點(diǎn)場(chǎng)景的痛點(diǎn)我總結(jié)為以下5點(diǎn)：

1、埋點(diǎn)需求及埋點(diǎn)設(shè)計(jì)文檔管理散亂，產(chǎn)品，開(kāi)發(fā)，測(cè)試協(xié)同溝通效率低下，嚴(yán)重影響工作效率。

2、埋點(diǎn)事件元信息管理散亂，常是分布在多個(gè)產(chǎn)品經(jīng)理手上，分析師使用埋點(diǎn)數(shù)據(jù)時(shí)需要查詢埋點(diǎn)需求及埋點(diǎn)事件的元信息這個(gè)過(guò)程鏈路長(zhǎng)，溝通成本非常高，埋點(diǎn)元信息使用查詢極其不便利。

3、若出現(xiàn)埋點(diǎn)數(shù)據(jù)異常問(wèn)題，若開(kāi)發(fā)同事需要追溯埋點(diǎn)歷史數(shù)據(jù)，則更是需要有當(dāng)時(shí)的埋點(diǎn)需求批次和埋點(diǎn)設(shè)計(jì)文檔作為輔助，這時(shí)候的埋單需求文檔和埋點(diǎn)元信息的統(tǒng)一管理，對(duì)于歷史問(wèn)題追溯問(wèn)題的效率有極其大的幫助。

4、非可視化測(cè)試，驗(yàn)收埋點(diǎn)難度太大。每次都要跑去數(shù)據(jù)庫(kù)了查詢，對(duì)于沒(méi)有寫SQL基礎(chǔ)的業(yè)務(wù)經(jīng)理來(lái)說(shuō)，驗(yàn)收埋點(diǎn)數(shù)據(jù)的效率就會(huì)比埃及地下。

5、數(shù)據(jù)校驗(yàn)流程混亂，版本管理難度大，開(kāi)發(fā)同學(xué)常常要自己開(kāi)發(fā)一個(gè)后臺(tái)管理功能來(lái)管理埋點(diǎn)發(fā)布或下線的版本。

有沒(méi)有比較好的方法解決以上問(wèn)題呢，答案是有的！就是我們下面要介紹的埋點(diǎn)管理系統(tǒng)。埋點(diǎn)管理系統(tǒng)是做什么用的？埋點(diǎn)管理系統(tǒng)為啥在數(shù)據(jù)產(chǎn)品體系中相對(duì)少聽(tīng)到，為什么業(yè)內(nèi)也沒(méi)有非常出名和成熟的產(chǎn)品？

埋點(diǎn)管理系統(tǒng)本質(zhì)是解決數(shù)據(jù)采集及數(shù)據(jù)使用場(chǎng)景問(wèn)題的業(yè)務(wù)系統(tǒng)，業(yè)務(wù)方則是數(shù)據(jù)產(chǎn)品、數(shù)據(jù)開(kāi)發(fā)工程師、數(shù)據(jù)分析師等數(shù)據(jù)團(tuán)隊(duì)的人員。

在業(yè)務(wù)尚處于快速發(fā)展的階段，數(shù)據(jù)團(tuán)隊(duì)的領(lǐng)導(dǎo)更多關(guān)注的是為業(yè)務(wù)團(tuán)隊(duì)提供數(shù)據(jù)產(chǎn)品，而通過(guò)給數(shù)據(jù)團(tuán)隊(duì)提供數(shù)據(jù)工具來(lái)提升數(shù)據(jù)服務(wù)的效率，這個(gè)問(wèn)題一般是在數(shù)據(jù)團(tuán)隊(duì)的服務(wù)能力相對(duì)穩(wěn)定和成熟之后才會(huì)去落地。也就是當(dāng)大家的KPI都是在滿足業(yè)務(wù)的數(shù)據(jù)需求的時(shí)候，只要有可替代的方案，領(lǐng)導(dǎo)會(huì)更愿意暫時(shí)用著替代方案去解決這個(gè)問(wèn)痛。

比較常見(jiàn)的例子，數(shù)據(jù)分析師在業(yè)務(wù)處于快速發(fā)展的階段就大概率只讓你取數(shù)，未必讓你真正的去做業(yè)務(wù)數(shù)據(jù)分析的活兒。等數(shù)據(jù)取數(shù)這類需求達(dá)到一定的數(shù)量，老板才會(huì)想著去開(kāi)發(fā)可視化類的取數(shù)工具，幫助數(shù)據(jù)分析師從大量的數(shù)據(jù)查詢和報(bào)表開(kāi)發(fā)的工作解脫出來(lái)，去做更加有價(jià)值的業(yè)務(wù)專題分析的工作。

回到主題，埋點(diǎn)管理系統(tǒng)也常常會(huì)等到埋點(diǎn)需求非常多，從埋點(diǎn)需求產(chǎn)出端到埋點(diǎn)需求使用方都感覺(jué)到這個(gè)合作流程已經(jīng)影響了整體的工作效率的時(shí)候，埋點(diǎn)管理系統(tǒng)才會(huì)被老板想到，這個(gè)工具是否可以替代原本的零散和低效的協(xié)同模式來(lái)提高大家的工作效率。所以，埋點(diǎn)管理系統(tǒng)本身是一個(gè)提升數(shù)據(jù)同事工作效率的工具。

埋點(diǎn)管理系統(tǒng)能解決問(wèn)題主要有以下5點(diǎn)：

1、通過(guò)統(tǒng)一管理應(yīng)用產(chǎn)品及埋點(diǎn)設(shè)計(jì)，解決了埋點(diǎn)需求及埋點(diǎn)設(shè)計(jì)管理散亂，產(chǎn)品團(tuán)隊(duì)、開(kāi)發(fā)團(tuán)及測(cè)試團(tuán)隊(duì)，數(shù)據(jù)應(yīng)用團(tuán)隊(duì)的協(xié)同溝通效率低下問(wèn)題。

2、通過(guò)統(tǒng)一管理埋點(diǎn)事件的元信息，解決了數(shù)據(jù)應(yīng)用場(chǎng)景中需要高頻及便利的查詢查詢埋點(diǎn)事件元信息問(wèn)題。

3、通過(guò)統(tǒng)一的埋點(diǎn)需求管理及事件元信息管理，解決了開(kāi)發(fā)同事在遇到埋點(diǎn)數(shù)據(jù)異常需要追溯歷史埋點(diǎn)。

4、通過(guò)可視化抓包，解決了埋點(diǎn)數(shù)據(jù)驗(yàn)收的重度依賴數(shù)據(jù)庫(kù)查詢的相對(duì)低效的方法。

5、通過(guò)可視化對(duì)比校驗(yàn)和發(fā)布／下線能力，解決了開(kāi)發(fā)同事單獨(dú)管理埋點(diǎn)需求的版本及發(fā)布場(chǎng)景問(wèn)題，并有明確的數(shù)據(jù)校驗(yàn)流程，從而間接提升數(shù)據(jù)質(zhì)量的管理。

說(shuō)了埋點(diǎn)管理系統(tǒng)能解決的問(wèn)題，接下來(lái)聊聊埋點(diǎn)管理系統(tǒng)長(zhǎng)啥樣，如何才能設(shè)計(jì)出解決我們以上問(wèn)題的埋點(diǎn)管理系統(tǒng)。在此之前，我們先了解埋點(diǎn)場(chǎng)景的業(yè)務(wù)流程：

圖一：埋點(diǎn)業(yè)務(wù)流程圖1

接下來(lái)將按照埋點(diǎn)涉及的角色和流程節(jié)點(diǎn)兩個(gè)維度一起闡述：

在需求階段：業(yè)務(wù)團(tuán)隊(duì)跟數(shù)據(jù)產(chǎn)品團(tuán)隊(duì)提出埋點(diǎn)需求，數(shù)據(jù)產(chǎn)品團(tuán)隊(duì)會(huì)根據(jù)用戶的當(dāng)期及未來(lái)的統(tǒng)計(jì)需求，確認(rèn)增加哪些埋點(diǎn)，并通過(guò)拆解埋點(diǎn)需求指標(biāo)，輸出埋點(diǎn)設(shè)計(jì)文檔；而后，產(chǎn)品團(tuán)隊(duì)跟大數(shù)據(jù)開(kāi)發(fā)團(tuán)隊(duì)進(jìn)行埋帶設(shè)計(jì)需求的評(píng)審，評(píng)審?fù)ㄟ^(guò)之后再上線開(kāi)發(fā)。

埋點(diǎn)開(kāi)發(fā)階段：開(kāi)發(fā)團(tuán)隊(duì)同事按照數(shù)據(jù)產(chǎn)品經(jīng)理提供的已評(píng)審過(guò)的埋點(diǎn)設(shè)計(jì)文檔進(jìn)行開(kāi)發(fā)；開(kāi)發(fā)自測(cè)完成后會(huì)提測(cè)給測(cè)試同事，測(cè)試同事按照埋點(diǎn)設(shè)計(jì)文檔進(jìn)行功能和數(shù)據(jù)的測(cè)試；測(cè)試通過(guò)后，數(shù)據(jù)產(chǎn)品經(jīng)理將進(jìn)行埋點(diǎn)驗(yàn)收，產(chǎn)品經(jīng)理不但要按照埋點(diǎn)設(shè)計(jì)文檔驗(yàn)收事件及事件參數(shù)的完整性，也要去數(shù)據(jù)哭驗(yàn)收埋點(diǎn)數(shù)據(jù)的準(zhǔn)確性。

埋點(diǎn)應(yīng)用階段：埋點(diǎn)上線后，數(shù)據(jù)分析團(tuán)隊(duì)就可以直接去按照埋點(diǎn)設(shè)計(jì)文檔去數(shù)據(jù)庫(kù)查詢提取埋點(diǎn)數(shù)據(jù)進(jìn)行分析應(yīng)用了。這個(gè)過(guò)程，分析師一般需要先跟產(chǎn)品經(jīng)理先過(guò)一遍新上的埋點(diǎn)設(shè)計(jì)文檔后再開(kāi)始使用數(shù)據(jù)。

埋點(diǎn)回收階段：埋點(diǎn)也是有生命周期的，有開(kāi)始時(shí)間也會(huì)有結(jié)束時(shí)間。若產(chǎn)品已經(jīng)下線，且后期將長(zhǎng)期不再需要使用這些用戶行為數(shù)據(jù)了，基于海量數(shù)據(jù)存儲(chǔ)成本和資源浪費(fèi)力的角度考量，企業(yè)會(huì)愿意將這類埋點(diǎn)下線。一般并不會(huì)直接下線，標(biāo)識(shí)上可以下線的標(biāo)識(shí)后，一般過(guò)3-6個(gè)月依然不再被范圍調(diào)用，則執(zhí)行下線。

業(yè)務(wù)流程確認(rèn)了，我們就在對(duì)應(yīng)的業(yè)務(wù)流程上增加產(chǎn)品功能模塊去承載每個(gè)業(yè)務(wù)流程節(jié)點(diǎn)的需求，如下圖：

圖二：埋點(diǎn)業(yè)務(wù)流程圖2

通過(guò)埋點(diǎn)業(yè)務(wù)流程的梳理，得出了多個(gè)系統(tǒng)功能模塊，拆解出來(lái)的埋點(diǎn)系統(tǒng)功能結(jié)構(gòu)如下圖：

圖三：埋點(diǎn)管理系統(tǒng)功能結(jié)構(gòu)圖

在功能結(jié)構(gòu)圖中提到了應(yīng)用、埋點(diǎn)需求、事件、屬性等對(duì)象，在展開(kāi)闡述每個(gè)功能模塊之前，我們先了解一下埋點(diǎn)管理系統(tǒng)里涉及到的全部管理對(duì)象及對(duì)象之間的關(guān)系。

圖四：埋點(diǎn)事件模型圖

埋點(diǎn)管理系統(tǒng)一共涉及到四個(gè)對(duì)象，分別是應(yīng)用、埋點(diǎn)需求批次、埋點(diǎn)事件、事件屬性。他們之間的關(guān)系是自上而下的邏輯關(guān)系。比如在系統(tǒng)的埋點(diǎn)需求管理模塊，篩選出一個(gè)應(yīng)用名稱，則對(duì)應(yīng)展示的是選中的應(yīng)用下面的所有埋點(diǎn)需求清單，選中單個(gè)埋點(diǎn)需求批次的時(shí)候，對(duì)應(yīng)展現(xiàn)的就是這個(gè)批次下面的所有埋點(diǎn)事件。了解到此，下面我將分別展開(kāi)介紹每個(gè)模塊的功能：

1）應(yīng)用管理

應(yīng)用管理功能主要是承載業(yè)務(wù)團(tuán)隊(duì)新增一個(gè)APP/小程序／H5／web端等業(yè)務(wù)產(chǎn)品對(duì)象，我們需要在系統(tǒng)里先創(chuàng)建一個(gè)新的埋點(diǎn)產(chǎn)品對(duì)象，然后才有后續(xù)增加的埋點(diǎn)需求及事件元信息等。這個(gè)模塊包含應(yīng)用新增、刪除、編輯等基礎(chǔ)功能。產(chǎn)品團(tuán)隊(duì)需要負(fù)責(zé)的埋點(diǎn)產(chǎn)品都可以放在這里統(tǒng)一管理。

圖五：應(yīng)用管理列表圖

2）埋點(diǎn)需求管理

埋點(diǎn)需求管理功能主要承載集中管理業(yè)務(wù)團(tuán)隊(duì)提過(guò)來(lái)給產(chǎn)品團(tuán)隊(duì)的埋點(diǎn)需求文檔，這里可以創(chuàng)建需求、編輯需求、下鉆需求、下線需求等。在這里，需求按照批次來(lái)進(jìn)行管理，每一個(gè)埋點(diǎn)需求都有一個(gè)唯一的批次號(hào)，掛載到對(duì)應(yīng)的應(yīng)用及版本上，并且點(diǎn)擊單個(gè)埋點(diǎn)需求批次號(hào)，可以直接下鉆到該埋點(diǎn)需求下的全部事件列表。

圖六：埋點(diǎn)需求管理列表圖

3）事件管理

事件管理功能則承載來(lái)所有埋點(diǎn)需求拆解出來(lái)需要開(kāi)發(fā)的埋點(diǎn)事件元信息，這里可以創(chuàng)建事件、編輯事件、下鉆事件、搜索事件、下線事件等。事件是埋點(diǎn)拆解的最小對(duì)象單元，在這里每個(gè)事件都要掛載在對(duì)應(yīng)的埋點(diǎn)需求批次上，系統(tǒng)里沒(méi)有獨(dú)立自自己游蕩的事件。這樣所有的應(yīng)用、埋點(diǎn)需求批次和事件都有了映射關(guān)系。當(dāng)需要使用埋點(diǎn)數(shù)據(jù)時(shí)，先來(lái)埋點(diǎn)管理系統(tǒng)查找埋點(diǎn)需求批次，這種清晰的映射關(guān)系在查詢埋點(diǎn)元信息時(shí)提供了高效的途徑。

圖七：埋點(diǎn)需求管理列表圖

4）屬性管理

屬性管理功能模塊承載的是常用的有共性的屬性。一個(gè)個(gè)獨(dú)立的屬性常用屬性，比如用用戶ID、用戶客戶端系統(tǒng)、在線時(shí)長(zhǎng)等屬性，可以在屬性管理這里完成注冊(cè)。在用戶新建事件時(shí)，可以直接引用已注冊(cè)完成的屬性綁定到事件上，減少用戶填寫事件屬性信息時(shí)的大量重復(fù)填寫工作。

5）埋點(diǎn)校驗(yàn)

走到這里，埋點(diǎn)已經(jīng)開(kāi)發(fā)完成了，到了測(cè)試、驗(yàn)收、上線的環(huán)節(jié)。這里的埋點(diǎn)校驗(yàn)包含兩部分，可視化抓包測(cè)試及開(kāi)發(fā)環(huán)境和測(cè)試環(huán)境的信息對(duì)比。完成這兩個(gè)環(huán)節(jié)之后，開(kāi)發(fā)同事才可以把埋點(diǎn)發(fā)布到正式環(huán)境。

可視化抓包測(cè)試

可視化抓包功能頁(yè)主要提供給產(chǎn)品經(jīng)理和測(cè)試同學(xué)可以現(xiàn)場(chǎng)抽樣測(cè)試事件數(shù)據(jù)，檢查上報(bào)的屬性是否已經(jīng)完整，屬性值是否準(zhǔn)確。

圖八：埋點(diǎn)數(shù)據(jù)實(shí)時(shí)抓包圖

對(duì)比與同步：

在線對(duì)比和發(fā)布功能頁(yè)則是承載了開(kāi)發(fā)童鞋對(duì)比生產(chǎn)環(huán)境和測(cè)試環(huán)境埋點(diǎn)元信息的差異之處，幫助快速確認(rèn)已經(jīng)進(jìn)行了變更處理之處。及支持開(kāi)發(fā)童鞋在線可視化發(fā)布埋點(diǎn)事件，便捷高效。

圖九：埋點(diǎn)需求對(duì)比及同步功能圖

6）埋點(diǎn)監(jiān)控

埋點(diǎn)監(jiān)控功能承載的則是埋點(diǎn)管理系統(tǒng)全部埋點(diǎn)事件的及任務(wù)運(yùn)行的結(jié)果監(jiān)控。包括展示全部埋點(diǎn)應(yīng)用統(tǒng)計(jì)數(shù)、埋點(diǎn)需求統(tǒng)計(jì)數(shù)、事件統(tǒng)計(jì)數(shù)、有效在線事件統(tǒng)計(jì)數(shù)、異常的埋點(diǎn)事件數(shù)、未處理的埋點(diǎn)需求／事件數(shù)等，是統(tǒng)計(jì)和展示整個(gè)系統(tǒng)管理對(duì)象及對(duì)象運(yùn)行情況的監(jiān)控功能模塊。方便參與埋點(diǎn)工作的同事了解整體產(chǎn)品的埋點(diǎn)任務(wù)運(yùn)行情況，和及時(shí)發(fā)現(xiàn)埋點(diǎn)上報(bào)數(shù)據(jù)的異常情況。也是埋點(diǎn)管理系統(tǒng)的一個(gè)必不可少的模塊。

以上從埋點(diǎn)管理系統(tǒng)的定位和解決的痛點(diǎn)問(wèn)題，及系統(tǒng)的建設(shè)過(guò)程給大家闡述一遍，希望能幫助大家在對(duì)埋點(diǎn)管理系統(tǒng)及建設(shè)有個(gè)相對(duì)完整的認(rèn)識(shí)。

最后，總結(jié)幾點(diǎn)系統(tǒng)建設(shè)過(guò)程中的思考及注意事項(xiàng)分享給大家：

1、埋點(diǎn)管理系統(tǒng)是一個(gè)服務(wù)于數(shù)據(jù)團(tuán)隊(duì)但涉及合作團(tuán)隊(duì)較多的系統(tǒng)。在不同公司，可能埋點(diǎn)業(yè)務(wù)流程不一樣，而我這里分享的是我經(jīng)歷過(guò)的埋點(diǎn)工作場(chǎng)景中協(xié)同效率比較高效的埋點(diǎn)業(yè)務(wù)流程，希望能提供參考借鑒。

2、埋點(diǎn)需求批次跟應(yīng)用版本號(hào)不完全保持一致，不要當(dāng)作是形同對(duì)象而相互替代。因?yàn)楹芸赡茉诤笃诎姹驹黾釉缙诎l(fā)版的產(chǎn)品功能的埋點(diǎn)。如果當(dāng)作同一個(gè)問(wèn)題處理，將導(dǎo)致埋點(diǎn)需求管理能力可擴(kuò)展性太弱，很快整個(gè)系統(tǒng)都陷入了管理瓶頸。

3、埋點(diǎn)管理系統(tǒng)真實(shí)可以提升業(yè)務(wù)、產(chǎn)品、開(kāi)發(fā)、數(shù)據(jù)分析多個(gè)團(tuán)隊(duì)的協(xié)同效率，用起來(lái)非常爽，能早建設(shè)盡早建設(shè)。

此處完結(jié)。

-END-