做產(chǎn)品經(jīng)理一定會(huì)或多或少的負(fù)責(zé)產(chǎn)品的數(shù)據(jù)板塊工作，從基礎(chǔ)的數(shù)據(jù)埋點(diǎn)到數(shù)據(jù)看板、到數(shù)據(jù)報(bào)表產(chǎn)品設(shè)計(jì)，以至于后面數(shù)據(jù)平臺(tái)產(chǎn)品設(shè)計(jì)。

產(chǎn)品經(jīng)理都需要了解數(shù)據(jù)知識(shí)，尤其是數(shù)倉(cāng)和數(shù)據(jù)庫(kù)的知識(shí)是非常重要的。

數(shù)據(jù)庫(kù)和數(shù)倉(cāng)的關(guān)系有點(diǎn)像：咖啡廳和星巴克的關(guān)系。兩者其實(shí)是息息相關(guān)的。不過(guò)對(duì)于很多互聯(lián)網(wǎng)公司早期都會(huì)在這方面投入資源和精力。

傳統(tǒng)的業(yè)務(wù)數(shù)據(jù)庫(kù)已經(jīng)能夠支持，比如以PMTalk為例

一階段：公司剛起步，有了基礎(chǔ)的網(wǎng)站和電商購(gòu)買入口；只需要提供數(shù)據(jù)庫(kù)、和服務(wù)器單機(jī)配置，用戶能夠保證購(gòu)買成功即可。

對(duì)于管理者和運(yùn)營(yíng)來(lái)說(shuō)，關(guān)心的是下單量總和、庫(kù)存情況。

二階段：隨著時(shí)間和運(yùn)營(yíng)策略，流量越來(lái)越多。以及提供的商品越來(lái)越多，從基礎(chǔ)性能上查詢數(shù)據(jù)變得成本越來(lái)越高，同事數(shù)據(jù)顆粒度越來(lái)越粗，不能夠回答出：“28女性用戶會(huì)在什么時(shí)間段下單購(gòu)買什么樣的商品“這樣的答案

三階段：為了解決上面需求，開始提供精細(xì)化運(yùn)營(yíng)的數(shù)據(jù)支持。關(guān)注的問(wèn)題也不再是只有總訂單、總營(yíng)業(yè)額，還要關(guān)注具體各個(gè)商品庫(kù)存、商品退換貨情況等，同時(shí)還要預(yù)測(cè)未來(lái)的訂單峰值，對(duì)用戶畫像下的用戶做商品推薦。

上面3個(gè)階段，從簡(jiǎn)單的數(shù)據(jù)獲取、到數(shù)據(jù)運(yùn)營(yíng)最后到數(shù)據(jù)挖掘，這都離不開數(shù)倉(cāng)工作。

數(shù)據(jù)庫(kù)是存儲(chǔ)數(shù)據(jù)以及具體開發(fā)工作中使用的工具，比較受歡迎的數(shù)據(jù)庫(kù)有：MySQL，Oracle，SqlServer等。工作里體現(xiàn)的都是關(guān)系型數(shù)據(jù)庫(kù)，比如我們?cè)诿缊F(tuán)購(gòu)買電影票產(chǎn)生的電影票支付信息、和購(gòu)票記錄，就是購(gòu)買操作下產(chǎn)生的數(shù)據(jù)。

而我們?cè)谥Ц秾毨锊樵兊哪甓荣~單，就包含了多個(gè)維度數(shù)據(jù)，和用戶業(yè)務(wù)操作沒關(guān)系，是多個(gè)數(shù)據(jù)的匯總，就叫做OLAP（聯(lián)機(jī)分析處理）

上面是關(guān)系數(shù)據(jù)庫(kù)，在開發(fā)過(guò)程中為了方便管理，會(huì)利用面向?qū)ο蟮母拍罱ɡ飻?shù)據(jù)庫(kù)表單，對(duì)象與對(duì)象之間是獨(dú)立的。

但數(shù)據(jù)庫(kù)是存儲(chǔ)元數(shù)據(jù)的地方，元數(shù)據(jù)包含了業(yè)務(wù)元數(shù)據(jù)（比如訂單、交易、社區(qū)發(fā)帖量）還有技術(shù)元數(shù)據(jù)（日志、埋點(diǎn)）等2個(gè)維度。

經(jīng)過(guò)下面的流程，一個(gè)數(shù)倉(cāng)才是算搭建完成，同時(shí)產(chǎn)品經(jīng)理要了解前端應(yīng)用（背后數(shù)倉(cāng)原理）來(lái)完成數(shù)據(jù)報(bào)表、數(shù)據(jù)產(chǎn)品的設(shè)計(jì)

在開始了解數(shù)據(jù)倉(cāng)庫(kù)之前，我們數(shù)據(jù)處理的分類大致可以分成兩大類：OLTP（聯(lián)機(jī)事務(wù)處理）和OLAP（聯(lián)機(jī)分析處理）。

OLTP（聯(lián)機(jī)事務(wù)處理）就是操作型數(shù)據(jù)庫(kù)的主要應(yīng)用，更側(cè)重于基本的、日常的事務(wù)處理，包括數(shù)據(jù)的增刪改查。

OLAP（聯(lián)機(jī)分析處理）就是分析型數(shù)據(jù)庫(kù)的主要應(yīng)用，以多維度的方式分析數(shù)據(jù)， 這個(gè)后續(xù)會(huì)整理。

兩者的關(guān)系對(duì)比和區(qū)別，我在網(wǎng)上收集到一張圖?？梢圆榭磧烧叩膮^(qū)別和優(yōu)勢(shì)，在開發(fā)層面上OL TP是至關(guān)重要的，方便了開發(fā)的讀寫操作，減少了數(shù)據(jù)的冗余。

比如下面就是數(shù)據(jù)庫(kù)關(guān)系數(shù)據(jù)庫(kù)和數(shù)倉(cāng)下的數(shù)據(jù)庫(kù)表單。

數(shù)倉(cāng)也是數(shù)據(jù)庫(kù)的一種形態(tài)，但以面向分析的存儲(chǔ)系統(tǒng)。

也就是說(shuō)數(shù)倉(cāng)是存數(shù)據(jù)的，企業(yè)的各種數(shù)據(jù)往里面塞，主要目的是為了有效分析數(shù)據(jù)，后續(xù)會(huì)基于它產(chǎn)出供分析挖掘的數(shù)據(jù)，或者數(shù)據(jù)應(yīng)用需要的數(shù)。

在數(shù)倉(cāng)里，會(huì)分為4個(gè)層面。從基礎(chǔ)設(shè)施到應(yīng)用層分別為下面：

數(shù)據(jù)源：數(shù)據(jù)來(lái)源，比如埋點(diǎn)采集，客戶上報(bào)，API等、或自由服務(wù)數(shù)據(jù)。

ODS層：數(shù)據(jù)倉(cāng)庫(kù)源頭系統(tǒng)的數(shù)據(jù)表通常會(huì)原封不動(dòng)地存儲(chǔ)一份，這稱為ODS層, ODS層也經(jīng)常會(huì)被稱為準(zhǔn)備區(qū)。ODS會(huì)做一些簡(jiǎn)單的ETL，但屬于數(shù)據(jù)共享區(qū)為接下來(lái)的DW和DM提供所需要的數(shù)據(jù)源。

DW層：數(shù)據(jù)倉(cāng)庫(kù)明細(xì)層和數(shù)據(jù)倉(cāng)庫(kù)匯總層是數(shù)據(jù)倉(cāng)庫(kù)的主題內(nèi)容。這一層的數(shù)據(jù)經(jīng)過(guò)了ETL后變成了可以用的分析數(shù)據(jù)，通過(guò)維度、事件搭建的數(shù)據(jù)模型，成了DM前一環(huán)節(jié)。

DWS層（前端應(yīng)用層）：應(yīng)用層匯總層，主要是將DWD和DWS的明細(xì)數(shù)據(jù)在hadoop平臺(tái)進(jìn)行匯總，然后將產(chǎn)生的結(jié)果同步到DWS數(shù)據(jù)庫(kù)，提供給各個(gè)應(yīng)用。

數(shù)據(jù)庫(kù)為數(shù)據(jù)分析提供的4類數(shù)據(jù)源

在DW層面里，各種數(shù)據(jù)源中采集和存儲(chǔ)到數(shù)據(jù)存儲(chǔ)上，期間有可能會(huì)做一些ETL操作。數(shù)據(jù)源種類可以有多種，分為下面4類：

日志：所占份額最大，存儲(chǔ)在備份服務(wù)器上

業(yè)務(wù)數(shù)據(jù)庫(kù)：如Mysql、Oracle等數(shù)據(jù)

來(lái)自HTTP/FTP的數(shù)據(jù)：合作伙伴提供的接口

其他數(shù)據(jù)源：如Excel等或手工錄入的數(shù)據(jù)

從數(shù)據(jù)源到DW的過(guò)程前，還有一個(gè)ODS過(guò)程。匯聚了各種數(shù)據(jù)源進(jìn)行存儲(chǔ)。經(jīng)過(guò)ETL后才會(huì)走進(jìn)DW流程。

ETL分別代表：抽取extraction、轉(zhuǎn)換transformation、加載load。

（1）抽取(Extract)

從數(shù)據(jù)來(lái)源提取指定數(shù)據(jù)，數(shù)據(jù)是需要指定的，不是所有的數(shù)據(jù)都要抽取過(guò)來(lái)， 某些源數(shù)據(jù)對(duì)于分析而言沒有價(jià)值，或者其可能產(chǎn)生的價(jià)值，遠(yuǎn)低于儲(chǔ)存這些數(shù)據(jù)所需要的數(shù)據(jù)倉(cāng)庫(kù)的實(shí)現(xiàn)和性能上的成本，就不會(huì)抽取了。

（2）轉(zhuǎn)換(Transform)

將數(shù)據(jù)轉(zhuǎn)換為指定格式并進(jìn)行數(shù)據(jù)清洗保證數(shù)據(jù)質(zhì)量。

數(shù)據(jù)清洗，如會(huì)對(duì)不完整數(shù)據(jù)，錯(cuò)誤數(shù)據(jù)和重復(fù)數(shù)據(jù)等臟數(shù)據(jù)進(jìn)行清洗。

（3）加載(Load)

將轉(zhuǎn)換過(guò)后的數(shù)據(jù)加載到目標(biāo)數(shù)據(jù)倉(cāng)庫(kù)，加載可分為兩種：

全量加載：一次對(duì)全部數(shù)據(jù)進(jìn)行加載。

增量加載：一般首次需要全量加載，但是在第二次周期或者第三次周期的時(shí)候仍然全量加載的話，耗費(fèi)了極大的物理和時(shí)間資源。

以上抽取、轉(zhuǎn)化、加載ETL的實(shí)踐具體可以用下面4個(gè)案例

空值處理：將空值替換為特定值或直接過(guò)濾掉

驗(yàn)證數(shù)據(jù)正確性：把不符合業(yè)務(wù)含義的數(shù)據(jù)做統(tǒng)一處理

規(guī)范數(shù)據(jù)格式：比如把所有日期都規(guī)范成YYYY-MM-DD的格式

數(shù)據(jù)轉(zhuǎn)碼：把一個(gè)源數(shù)據(jù)中用編碼表示的字段通過(guò)關(guān)聯(lián)編碼表轉(zhuǎn)換成代表其真實(shí)意義的值

數(shù)據(jù)標(biāo)準(zhǔn)統(tǒng)一：比如在源數(shù)據(jù)中表示男女的方式有很多種，在抽取的時(shí)候直接根據(jù)模型中定義的值做轉(zhuǎn)化。

對(duì)于產(chǎn)品經(jīng)理來(lái)說(shuō)，要知道ETL其實(shí)是整個(gè)數(shù)據(jù)分析、數(shù)倉(cāng)搭建最費(fèi)時(shí)間的過(guò)程。首先要做數(shù)據(jù)源的收集、同時(shí)還要收集并制定各個(gè)業(yè)務(wù)方的數(shù)據(jù)需求和指標(biāo)。

數(shù)據(jù)倉(cāng)庫(kù)有AWS，Hive等。

有了上面的數(shù)倉(cāng)了解和數(shù)據(jù)指標(biāo)，接下來(lái)產(chǎn)品經(jīng)理要為運(yùn)營(yíng)、管理者等用戶提供一套可以查詢數(shù)據(jù)、以及基于數(shù)據(jù)挖掘獲得的數(shù)據(jù)預(yù)測(cè)建議。這些以前端展示，應(yīng)用工具主要就是和數(shù)據(jù)倉(cāng)庫(kù)不同環(huán)節(jié)的數(shù)據(jù)交互，這些應(yīng)用一般可以分為4類：

數(shù)據(jù)查詢和報(bào)表工具

BI即席分析工具

數(shù)據(jù)挖掘工具

各種基于數(shù)據(jù)倉(cāng)庫(kù)或數(shù)據(jù)集市的應(yīng)用開發(fā)工具

針對(duì)數(shù)據(jù)挖掘要說(shuō)明下：

數(shù)據(jù)挖掘是為管理者提供預(yù)判建議，比如618活動(dòng)、雙12活動(dòng)應(yīng)該上架什么商品、某地區(qū)用戶應(yīng)該開展什么樣的商品活動(dòng)，實(shí)際上就是數(shù)據(jù)挖掘的深度應(yīng)用。