本文將從數(shù)據(jù)采集層、數(shù)據(jù)接入層、數(shù)據(jù)處理層、數(shù)據(jù)應(yīng)用層這四個(gè)層次來(lái)依序展開(kāi)，講述一條數(shù)據(jù)從埋點(diǎn)產(chǎn)生，一直到最終被加工應(yīng)用的過(guò)程，通過(guò)本文的閱讀理解，你可以收獲：

1、一個(gè)完整的數(shù)據(jù)處理鏈路；

2、理解數(shù)據(jù)在不同環(huán)節(jié)的加工方式；

3、對(duì)數(shù)據(jù)的流轉(zhuǎn)有較為全面的認(rèn)識(shí)；

01 數(shù)據(jù)是如何被采集的

數(shù)據(jù)采集是一個(gè)完整的工作流程，他需要三個(gè)標(biāo)準(zhǔn)的動(dòng)作來(lái)完成：埋點(diǎn)、采集、上報(bào)，這也是一組數(shù)據(jù)從產(chǎn)生到存儲(chǔ)必經(jīng)的三個(gè)步驟。

1.1.埋點(diǎn)

埋點(diǎn)的功能是，在適當(dāng)?shù)奈恢?，以特定的時(shí)機(jī)，以預(yù)定好的規(guī)則收集我們需要的數(shù)據(jù)的一種技術(shù)。

一方面，當(dāng)用戶(hù)在app中產(chǎn)生動(dòng)作時(shí)，對(duì)于我們來(lái)說(shuō)，是不可見(jiàn)的。所以我們需要通過(guò)埋點(diǎn)，把用戶(hù)的行為盡可能全面，準(zhǔn)確地記錄下來(lái)。以便我們后續(xù)對(duì)數(shù)據(jù)進(jìn)行挖掘分析，以可視化的方式，重新復(fù)現(xiàn)用戶(hù)的行為。

另外一方面，除了用戶(hù)的行為外，很多時(shí)候我們還需要分析其他實(shí)體的行為，比如對(duì)于我們的app來(lái)說(shuō)，會(huì)在崩潰的時(shí)候發(fā)送錯(cuò)誤日志，這其實(shí)也是一種埋點(diǎn)，用于分析app自身這個(gè)實(shí)體，其他還有活動(dòng)，商品等等實(shí)體。

至此，我們可以給埋點(diǎn)重新再下一個(gè)定義：埋點(diǎn)是對(duì)于特定的實(shí)體，在適當(dāng)?shù)奈恢?，特定的時(shí)機(jī)，以預(yù)定好的規(guī)則收集我們需要的數(shù)據(jù)的一種技術(shù)。

所以我們需要有一個(gè)需求文檔，記錄埋點(diǎn)的事件、埋點(diǎn)的位置、埋點(diǎn)的上報(bào)時(shí)機(jī)、以及需要收集的數(shù)據(jù)等。

1.2.收集

一旦埋點(diǎn)被觸發(fā)，數(shù)據(jù)便會(huì)產(chǎn)生，埋點(diǎn)便會(huì)以我們預(yù)先設(shè)定好的規(guī)則去捕獲特定的數(shù)據(jù)。

但程序在運(yùn)行時(shí)所有的變量都是保存在內(nèi)存當(dāng)中的，如果出現(xiàn)程序重啟或者機(jī)器宕機(jī)的情況，那這些數(shù)據(jù)就丟失了。埋點(diǎn)數(shù)據(jù)的丟失會(huì)給我們后續(xù)的分析帶來(lái)困擾。

所以我們需要對(duì)內(nèi)存中數(shù)據(jù)進(jìn)行序列化，變成可傳輸?shù)奈募捍嬖诒镜匚募?。為后續(xù)的上報(bào)動(dòng)作做準(zhǔn)備。一般的接口返回?cái)?shù)據(jù)都會(huì)封裝成JSON格式，比如類(lèi)似下面這種：

1.3.上報(bào)

經(jīng)過(guò)收集的數(shù)據(jù)從產(chǎn)品被送往數(shù)據(jù)接入層的動(dòng)作過(guò)程就是上報(bào)。只有完成了上報(bào)成功并被存儲(chǔ)，才能算是對(duì)實(shí)體進(jìn)行一次行為的記錄。

上報(bào)動(dòng)作會(huì)對(duì)數(shù)據(jù)做最終把關(guān)：首先，篩查待上報(bào)數(shù)據(jù)，確保這些數(shù)據(jù)是被允許上傳的，然后，按照數(shù)據(jù)協(xié)議的約定，將待上報(bào)數(shù)據(jù)以合適的方式打包，最后，建立與數(shù)據(jù)接入層的通訊，完成數(shù)據(jù)包的傳送。

原則上我們是希望數(shù)據(jù)能夠被及時(shí)準(zhǔn)確地上報(bào)，但是我們并不是出于時(shí)效的需求，而是希望能夠被完整且準(zhǔn)確地記錄而已。所以在開(kāi)始時(shí)，對(duì)于大部分埋點(diǎn)，可以將多個(gè)數(shù)據(jù)進(jìn)行一定的積累后統(tǒng)一進(jìn)行上報(bào)，既能保證產(chǎn)品的性能，又可以減輕數(shù)據(jù)的服務(wù)器和網(wǎng)絡(luò)負(fù)擔(dān)。常見(jiàn)的上報(bào)策略有四種：

當(dāng)完成這幾步操作后，此時(shí)數(shù)據(jù)就已經(jīng)脫離APP了，開(kāi)始往數(shù)倉(cāng)的方向流動(dòng)，數(shù)倉(cāng)承擔(dān)著接收數(shù)據(jù)并最終將數(shù)據(jù)落地到應(yīng)用的職責(zé)。

02 數(shù)據(jù)是如何被接收的

數(shù)據(jù)在到達(dá)接入層后會(huì)經(jīng)歷解包、解析轉(zhuǎn)換、數(shù)據(jù)清洗、數(shù)據(jù)存儲(chǔ)四個(gè)技術(shù)流程。只有經(jīng)過(guò)了這一系列的步驟，數(shù)據(jù)才能夠以規(guī)整的形式呈現(xiàn)出來(lái)，以供下一個(gè)環(huán)節(jié)的消費(fèi)。

2.1.解包（反序列化）

當(dāng)兩個(gè)進(jìn)程（前后端）在進(jìn)行遠(yuǎn)程通信時(shí)，彼此可以發(fā)送來(lái)各種類(lèi)型的數(shù)據(jù)。

但無(wú)論是何種類(lèi)型的數(shù)據(jù)，都會(huì)以二進(jìn)制序列的形式在網(wǎng)絡(luò)上傳送。發(fā)送方需要把這個(gè)對(duì)象轉(zhuǎn)換為字節(jié)序列，才能在網(wǎng)絡(luò)上傳送；

接收方則需要把字節(jié)序列再恢復(fù)為對(duì)象。埋點(diǎn)數(shù)據(jù)在被上報(bào)的時(shí)候，是以json的格式進(jìn)行壓縮傳輸?shù)?，所以?shù)據(jù)在到達(dá)接入層后會(huì)經(jīng)歷解包（也就是反序列化的操作）操作。

2.2.解析轉(zhuǎn)換

在數(shù)據(jù)收集的階段，我們收集上來(lái)的數(shù)據(jù)是按照一定的規(guī)則進(jìn)行拼裝的，所以到達(dá)了接入層之后，就需要對(duì)它進(jìn)行解析。

首先把它每個(gè)字段對(duì)應(yīng)的度量值都提取出來(lái)。然后提取出來(lái)后的數(shù)據(jù)還要經(jīng)過(guò)一步轉(zhuǎn)換，因?yàn)樵诮馕龊蟮臄?shù)據(jù)類(lèi)型與之前采集時(shí)定義的邏輯類(lèi)型會(huì)存在差異，所以需要按照原先的定義，將每個(gè)字段的取值轉(zhuǎn)換為正確的類(lèi)型和格式。便于后續(xù)的處理與應(yīng)用

2.3.數(shù)據(jù)清洗

而且當(dāng)數(shù)據(jù)量足夠大時(shí)，必定會(huì)產(chǎn)生“不干凈”的數(shù)據(jù)。我們以臟數(shù)據(jù)來(lái)稱(chēng)呼這類(lèi)數(shù)據(jù)。臟數(shù)據(jù)一般是指不真實(shí)、不完整、不正確、重復(fù)或無(wú)意義的數(shù)據(jù)。在數(shù)據(jù)采集和接入的過(guò)程中，產(chǎn)生臟數(shù)據(jù)的原因有很多，常見(jiàn)原因如下：

• 因數(shù)據(jù)采集組件未被正確配置導(dǎo)致一組數(shù)據(jù)缺失關(guān)鍵度量而不完整；

• 因用戶(hù)產(chǎn)品發(fā)生異常導(dǎo)致上報(bào)的數(shù)據(jù)中存在錯(cuò)誤；

• 因用戶(hù)產(chǎn)品發(fā)生異?；蚓W(wǎng)絡(luò)傳輸故障導(dǎo)致同一組數(shù)據(jù)被重復(fù)上報(bào)。

臟數(shù)據(jù)往往無(wú)法被糾正和利用，數(shù)據(jù)清洗的目標(biāo)就是盡可能地消除臟數(shù)據(jù)，并修復(fù)臟數(shù)據(jù)產(chǎn)生的影響。對(duì)于自動(dòng)化數(shù)據(jù)產(chǎn)品體系而言，這一過(guò)程要通過(guò)設(shè)置各種識(shí)別規(guī)則，結(jié)合機(jī)器學(xué)習(xí)來(lái)完成，必要時(shí)也要進(jìn)行人工干預(yù)，以促進(jìn)自動(dòng)化體系的完善。

2.4.數(shù)據(jù)存儲(chǔ)

把數(shù)據(jù)比作客人，如果之前的三個(gè)過(guò)程是對(duì)客人的各種招待（當(dāng)然也包括將不速之客拒之門(mén)外），那么數(shù)據(jù)存儲(chǔ)就是要為客人安排住宿了，數(shù)據(jù)倉(cāng)庫(kù)是實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)的重要技術(shù)手段。

根據(jù)數(shù)據(jù)協(xié)議和采集規(guī)則 的定義，接入層會(huì)事先在數(shù)據(jù)倉(cāng)庫(kù)中建立相應(yīng)的表（Table），然后將接入的每一組數(shù)據(jù)依次存入表中（每一組數(shù)據(jù)在表中占據(jù)一行）。

這樣看來(lái)，數(shù)據(jù)倉(cāng)庫(kù)就像一座大型賓館，每一張表則是為不同體格的客人量身定制的各種不同的房間。將各表以某種時(shí)間粒度（如小時(shí)、日、周）劃分分區(qū)，根據(jù)上報(bào)時(shí)間將數(shù)據(jù)分配到對(duì)應(yīng)的分區(qū)中，不僅便于數(shù)據(jù)的歸檔存儲(chǔ)，更有利于提高數(shù)據(jù)在今后被提取使用的效率。

最終在處理完之后，埋點(diǎn)日志就變成一條條的明細(xì)記錄在表中，在多維事件模型中，是以大寬表的形式存在，在維度模型中，則是以事實(shí)表的形式存在。這些都是最原始的，未經(jīng)過(guò)數(shù)據(jù)處理的明細(xì)數(shù)據(jù)，具體要怎么運(yùn)用它們，就需要進(jìn)入到我們下一步，數(shù)據(jù)處理的流程了。

03 數(shù)據(jù)是如何被處理的

數(shù)據(jù)接入層所存儲(chǔ)的上報(bào)數(shù)據(jù)是最原始的數(shù)據(jù)形態(tài)，是一系列用戶(hù)行為的明細(xì)數(shù)據(jù)，這些數(shù)據(jù)往往只是對(duì)用戶(hù)行為等的事實(shí)描述，離分析和應(yīng)用還隔著“處理”這關(guān)鍵的一層。

數(shù)據(jù)處理層通過(guò)兩個(gè)基礎(chǔ)操作：歸并和計(jì)算，便可針對(duì)各種應(yīng)用場(chǎng)景做各式各樣的處理，產(chǎn)生各種類(lèi)型的數(shù)據(jù)以供消費(fèi)。

3.1.歸并

歸并是指從一張或多張數(shù)據(jù)二維表中選取部分?jǐn)?shù)據(jù)，整理成一份“新”二維表的操作，歸并處理主要有以下四種操作，選擇、投影、合并、聯(lián)結(jié)：

針對(duì)一份數(shù)據(jù)：

選擇（Selection）：將一張二維表，以一定的規(guī)則按行抽取其中部分?jǐn)?shù)據(jù)形成“新”的二維表，列數(shù)不變

投影（Projection）：將一張二維表，以一定的規(guī)則按列抽取其中部分?jǐn)?shù)據(jù)形成“新”的二維表，行數(shù)不變

針對(duì)多份數(shù)據(jù)：

合并（Union）：把兩張二維表按行拼接成一份“新”二維表，即縱向擴(kuò)展，兩張二維表所有列上的字段必須相同。

連接（Join）：把兩張二維表按列拼接成一份“新”二維表，即橫向擴(kuò)展。兩張二維表至少有一個(gè)相同字段作為連接鍵。

3.2.計(jì)算

這里的計(jì)算與數(shù)學(xué)中的計(jì)算概念大致相同，指通過(guò)已知數(shù)據(jù)得到未知數(shù)據(jù)的過(guò)程。在數(shù)據(jù)處理中，常見(jiàn)的計(jì)算操作分為兩種：組合計(jì)算和聚合計(jì)算

組合計(jì)算：將二維表的不同列（維度）上的度量值進(jìn)行橫向計(jì)算的過(guò)程。（可以是數(shù)學(xué)運(yùn)算，也可以是邏輯運(yùn)算，條件運(yùn)算等）

聚合計(jì)算：將二維表的同一列（維度）上的度量值進(jìn)行縱向計(jì)算的過(guò)程。（一般用于統(tǒng)計(jì)，如計(jì)數(shù)、求和、求平均、求方差、求極值等）

在經(jīng)過(guò)一系列的歸并與計(jì)算之后，數(shù)據(jù)已經(jīng)被開(kāi)發(fā)人員制作成具有業(yè)務(wù)意義的指標(biāo)了。并且在不同的表中儲(chǔ)存起來(lái)。于是接下來(lái)我們就可以對(duì)這些指標(biāo)，進(jìn)行實(shí)際意義上的應(yīng)用了。

04 數(shù)據(jù)是如何應(yīng)用的

在經(jīng)歷了采集、接入、處理這一系列流程后，數(shù)據(jù)終于到達(dá)應(yīng)用層了?，F(xiàn)在的數(shù)據(jù)雖然已經(jīng)被制作成指標(biāo)，但還是以一種不太友好的方式——數(shù)據(jù)表的方式呈現(xiàn)，所以我們要在提供的數(shù)據(jù)基礎(chǔ)上，制作成各種數(shù)據(jù)產(chǎn)品，落地到業(yè)務(wù)，讓數(shù)據(jù)可以真正為業(yè)務(wù)提供價(jià)值。

從發(fā)展形態(tài)來(lái)看，數(shù)據(jù)產(chǎn)品基本是沿著一條解決問(wèn)題的邏輯路徑在進(jìn)化的，即發(fā)現(xiàn)業(yè)務(wù)問(wèn)題→分析定位問(wèn)題→預(yù)測(cè)業(yè)務(wù)問(wèn)題→智能處理問(wèn)題。

對(duì)應(yīng)這個(gè)路徑的數(shù)據(jù)產(chǎn)品則是：報(bào)表型產(chǎn)品（業(yè)務(wù)報(bào)表，DashBoard等）、到分析型產(chǎn)品（OLAP、漏斗工具、路徑分析工具等）、再到策略型產(chǎn)品（推薦系統(tǒng)、流失預(yù)警系統(tǒng)等）、最后到智能型產(chǎn)品（智能運(yùn)營(yíng)、智能營(yíng)銷(xiāo)等）

大數(shù)據(jù)全景圖

前面的幾個(gè)類(lèi)型的產(chǎn)品大家都應(yīng)該是比較熟悉的，講講最后一個(gè)智能型產(chǎn)品吧。這個(gè)也是現(xiàn)階段業(yè)內(nèi)都在研究與探索的內(nèi)容。所謂的智能型產(chǎn)品到底是什么呢？

其實(shí)他是前一個(gè)階段的產(chǎn)品——策略型產(chǎn)品的一個(gè)進(jìn)階，并且引入了大量自動(dòng)化的機(jī)制來(lái)減少人的操作與決策過(guò)程。

比如，你現(xiàn)在有一套傳統(tǒng)的營(yíng)銷(xiāo)系統(tǒng)，可以按照自己的分群規(guī)則來(lái)篩選目標(biāo)用戶(hù)，并對(duì)設(shè)定在固定的是加你節(jié)點(diǎn)上，對(duì)這批用戶(hù)進(jìn)行觸達(dá)營(yíng)銷(xiāo)。但是如果是智能營(yíng)銷(xiāo)系統(tǒng)的話(huà)，他的實(shí)現(xiàn)思路可能是這樣的。你只要輸入你的營(yíng)銷(xiāo)目標(biāo)及活動(dòng)相關(guān)的參數(shù)，比如像雙11的促銷(xiāo)活動(dòng)，系統(tǒng)就可以基于以往的海量數(shù)據(jù)計(jì)算出不同品類(lèi)的商品應(yīng)該采用什么樣的活動(dòng)方式，對(duì)哪些類(lèi)型的用戶(hù)推送，在什么時(shí)候推送等等。而這一些操作，都不需要人工去干預(yù)。可能最終機(jī)器只是輸出一個(gè)最終的執(zhí)行方案讓你點(diǎn)一下是否確認(rèn)而已。完全釋放了運(yùn)營(yíng)的人力，機(jī)器的數(shù)據(jù)邏輯取代了運(yùn)營(yíng)的經(jīng)驗(yàn)決策。

但是，目前還沒(méi)見(jiàn)到有比較完美的實(shí)現(xiàn)方案，大部分實(shí)現(xiàn)的都是半自動(dòng)的智能型產(chǎn)品。雖說(shuō)暫時(shí)沒(méi)有，但不代表以后不可能，至少在可預(yù)見(jiàn)的基礎(chǔ)，這個(gè)功能是完全有可能實(shí)現(xiàn)的。

05 寫(xiě)在最后

巧婦難為無(wú)米之炊，要掌握好一個(gè)數(shù)據(jù)產(chǎn)品的設(shè)計(jì)思路，就需要對(duì)產(chǎn)品背后的數(shù)據(jù)處理流程進(jìn)行深刻的理解，去感受數(shù)據(jù)在不同處理環(huán)節(jié)中產(chǎn)生的價(jià)值。