很可惜 T 。T 您現(xiàn)在還不是作者身份，不能自主發(fā)稿哦～
如有投稿需求，請把文章發(fā)送到郵箱tougao@appcpx.com，一經(jīng)錄用會有專人和您聯(lián)系
咨詢?nèi)绾纬蔀榇河鹱髡哒埪?lián)系：鳥哥筆記小羽毛（ngbjxym）
做產(chǎn)品經(jīng)理一定會或多或少的負責產(chǎn)品的數(shù)據(jù)板塊工作，從基礎的數(shù)據(jù)埋點到數(shù)據(jù)看板、到數(shù)據(jù)報表產(chǎn)品設計，以至于后面數(shù)據(jù)平臺產(chǎn)品設計。
產(chǎn)品經(jīng)理都需要了解數(shù)據(jù)知識，尤其是數(shù)倉和數(shù)據(jù)庫的知識是非常重要的。
數(shù)據(jù)庫和數(shù)倉的關系有點像：咖啡廳和星巴克的關系。兩者其實是息息相關的。不過對于很多互聯(lián)網(wǎng)公司早期都會在這方面投入資源和精力。
傳統(tǒng)的業(yè)務數(shù)據(jù)庫已經(jīng)能夠支持，比如以PMTalk為例：
一階段：公司剛起步，有了基礎的網(wǎng)站和電商購買入口；只需要提供數(shù)據(jù)庫、和服務器單機配置，用戶能夠保證購買成功即可。
對于管理者和運營來說，關心的是下單量總和、庫存情況。
二階段：隨著時間和運營策略，流量越來越多。以及提供的商品越來越多，從基礎性能上查詢數(shù)據(jù)變得成本越來越高，同事數(shù)據(jù)顆粒度越來越粗，不能夠回答出：“28女性用戶會在什么時間段下單購買什么樣的商品“這樣的答案
三階段：為了解決上面需求，開始提供精細化運營的數(shù)據(jù)支持。關注的問題也不再是只有總訂單、總營業(yè)額，還要關注具體各個商品庫存、商品退換貨情況等，同時還要預測未來的訂單峰值，對用戶畫像下的用戶做商品推薦。
上面3個階段，從簡單的數(shù)據(jù)獲取、到數(shù)據(jù)運營最后到數(shù)據(jù)挖掘，這都離不開數(shù)倉工作。
數(shù)據(jù)庫是存儲數(shù)據(jù)以及具體開發(fā)工作中使用的工具，比較受歡迎的數(shù)據(jù)庫有：MySQL，Oracle，SqlServer等。工作里體現(xiàn)的都是關系型數(shù)據(jù)庫，比如我們在美團購買電影票產(chǎn)生的電影票支付信息、和購票記錄，就是購買操作下產(chǎn)生的數(shù)據(jù)。
而我們在支付寶里查詢的年度賬單，就包含了多個維度數(shù)據(jù)，和用戶業(yè)務操作沒關系，是多個數(shù)據(jù)的匯總，就叫做OLAP（聯(lián)機分析處理）
上面是關系數(shù)據(jù)庫，在開發(fā)過程中為了方便管理，會利用面向?qū)ο蟮母拍罱ɡ飻?shù)據(jù)庫表單，對象與對象之間是獨立的。
但數(shù)據(jù)庫是存儲元數(shù)據(jù)的地方，元數(shù)據(jù)包含了業(yè)務元數(shù)據(jù)（比如訂單、交易、社區(qū)發(fā)帖量）還有技術元數(shù)據(jù)（日志、埋點）等2個維度。
經(jīng)過下面的流程，一個數(shù)倉才是算搭建完成，同時產(chǎn)品經(jīng)理要了解前端應用（背后數(shù)倉原理）來完成數(shù)據(jù)報表、數(shù)據(jù)產(chǎn)品的設計
在開始了解數(shù)據(jù)倉庫之前，我們數(shù)據(jù)處理的分類大致可以分成兩大類：OLTP（聯(lián)機事務處理）和OLAP（聯(lián)機分析處理）。
OLTP（聯(lián)機事務處理）就是操作型數(shù)據(jù)庫的主要應用，更側重于基本的、日常的事務處理，包括數(shù)據(jù)的增刪改查。
OLAP（聯(lián)機分析處理）就是分析型數(shù)據(jù)庫的主要應用，以多維度的方式分析數(shù)據(jù)， 這個后續(xù)會整理。
兩者的關系對比和區(qū)別，我在網(wǎng)上收集到一張圖?？梢圆榭磧烧叩膮^(qū)別和優(yōu)勢，在開發(fā)層面上OL TP是至關重要的，方便了開發(fā)的讀寫操作，減少了數(shù)據(jù)的冗余。
比如下面就是數(shù)據(jù)庫關系數(shù)據(jù)庫和數(shù)倉下的數(shù)據(jù)庫表單
數(shù)倉也是數(shù)據(jù)庫的一種形態(tài)，但以面向分析的存儲系統(tǒng)。
也就是說數(shù)倉是存數(shù)據(jù)的，企業(yè)的各種數(shù)據(jù)往里面塞，主要目的是為了有效分析數(shù)據(jù)，后續(xù)會基于它產(chǎn)出供分析挖掘的數(shù)據(jù)，或者數(shù)據(jù)應用需要的數(shù)。
在數(shù)倉里，會分為4個層面。從基礎設施到應用層分別為:
數(shù)據(jù)源：數(shù)據(jù)來源，比如埋點采集，客戶上報，API等、或自由服務數(shù)據(jù)。
ODS層：數(shù)據(jù)倉庫源頭系統(tǒng)的數(shù)據(jù)表通常會原封不動地存儲一份，這稱為ODS層, ODS層也經(jīng)常會被稱為準備區(qū)。ODS會做一些簡單的ETL，但屬于數(shù)據(jù)共享區(qū)為接下來的DW和DM提供所需要的數(shù)據(jù)源。
DW層：數(shù)據(jù)倉庫明細層和數(shù)據(jù)倉庫匯總層是數(shù)據(jù)倉庫的主題內(nèi)容。這一層的數(shù)據(jù)經(jīng)過了ETL后變成了可以用的分析數(shù)據(jù)，通過維度、事件搭建的數(shù)據(jù)模型，成了DM前一環(huán)節(jié)。
DWS層（前端應用層）：應用層匯總層，主要是將DWD和DWS的明細數(shù)據(jù)在hadoop平臺進行匯總，然后將產(chǎn)生的結果同步到DWS數(shù)據(jù)庫，提供給各個應用。
在DW層面里，各種數(shù)據(jù)源中采集和存儲到數(shù)據(jù)存儲上，期間有可能會做一些ETL操作。數(shù)據(jù)源種類可以有多種，分為下面4類：
日志：所占份額最大，存儲在備份服務器上;
業(yè)務數(shù)據(jù)庫：如Mysql、Oracle等數(shù)據(jù);
來自HTTP/FTP的數(shù)據(jù)：合作伙伴提供的接口;
其他數(shù)據(jù)源：如Excel等或手工錄入的數(shù)據(jù)。
從數(shù)據(jù)源到DW的過程前，還有一個ODS過程。匯聚了各種數(shù)據(jù)源進行存儲。經(jīng)過ETL后才會走進DW流程。
ETL分別代表：抽取extraction、轉換transformation、加載load。
從數(shù)據(jù)來源提取指定數(shù)據(jù)，數(shù)據(jù)是需要指定的，不是所有的數(shù)據(jù)都要抽取過來， 某些源數(shù)據(jù)對于分析而言沒有價值，或者其可能產(chǎn)生的價值，遠低于儲存這些數(shù)據(jù)所需要的數(shù)據(jù)倉庫的實現(xiàn)和性能上的成本，就不會抽取了。
將數(shù)據(jù)轉換為指定格式并進行數(shù)據(jù)清洗保證數(shù)據(jù)質(zhì)量。
數(shù)據(jù)清洗，如會對不完整數(shù)據(jù)，錯誤數(shù)據(jù)和重復數(shù)據(jù)等臟數(shù)據(jù)進行清洗。
將轉換過后的數(shù)據(jù)加載到目標數(shù)據(jù)倉庫，加載可分為兩種：
全量加載：一次對全部數(shù)據(jù)進行加載。
增量加載：一般首次需要全量加載，但是在第二次周期或者第三次周期的時候仍然全量加載的話，耗費了極大的物理和時間資源。
以上抽取、轉化、加載ETL的實踐具體可以用下面4個案例：
空值處理：將空值替換為特定值或直接過濾掉；
驗證數(shù)據(jù)正確性：把不符合業(yè)務含義的數(shù)據(jù)做統(tǒng)一處理；
規(guī)范數(shù)據(jù)格式：比如把所有日期都規(guī)范成YYYY-MM-DD的格式；
數(shù)據(jù)轉碼：把一個源數(shù)據(jù)中用編碼表示的字段通過關聯(lián)編碼表轉換成代表其真實意義的值；
數(shù)據(jù)標準統(tǒng)一：比如在源數(shù)據(jù)中表示男女的方式有很多種，在抽取的時候直接根據(jù)模型中定義的值做轉化。
對于產(chǎn)品經(jīng)理來說，要知道ETL其實是整個數(shù)據(jù)分析、數(shù)倉搭建最費時間的過程。首先要做數(shù)據(jù)源的收集、同時還要收集并制定各個業(yè)務方的數(shù)據(jù)需求和指標。
數(shù)據(jù)倉庫有AWS，Hive等
有了上面的數(shù)倉了解和數(shù)據(jù)指標，接下來產(chǎn)品經(jīng)理要為運營、管理者等用戶提供一套可以查詢數(shù)據(jù)、以及基于數(shù)據(jù)挖掘獲得的數(shù)據(jù)預測建議。這些以前端展示，應用工具主要就是和數(shù)據(jù)倉庫不同環(huán)節(jié)的數(shù)據(jù)交互，這些應用一般可以分為4類：
數(shù)據(jù)查詢和報表工具
BI即席分析工具
數(shù)據(jù)挖掘工具
各種基于數(shù)據(jù)倉庫或數(shù)據(jù)集市的應用開發(fā)工具
針對數(shù)據(jù)挖掘要說明下：
數(shù)據(jù)挖掘是為管理者提供預判建議，比如618活動、雙12活動應該上架什么商品、某地區(qū)用戶應該開展什么樣的商品活動，實際上就是數(shù)據(jù)挖掘的深度應用。
-END-
本文為作者獨立觀點，不代表鳥哥筆記立場，未經(jīng)允許不得轉載。
《鳥哥筆記版權及免責申明》 如對文章、圖片、字體等版權有疑問，請點擊 反饋舉報
我們致力于提供一個高質(zhì)量內(nèi)容的交流平臺。為落實國家互聯(lián)網(wǎng)信息辦公室“依法管網(wǎng)、依法辦網(wǎng)、依法上網(wǎng)”的要求，為完善跟帖評論自律管理，為了保護用戶創(chuàng)造的內(nèi)容、維護開放、真實、專業(yè)的平臺氛圍，我們團隊將依據(jù)本公約中的條款對注冊用戶和發(fā)布在本平臺的內(nèi)容進行管理。平臺鼓勵用戶創(chuàng)作、發(fā)布優(yōu)質(zhì)內(nèi)容，同時也將采取必要措施管理違法、侵權或有其他不良影響的網(wǎng)絡信息。
一、根據(jù)《網(wǎng)絡信息內(nèi)容生態(tài)治理規(guī)定》《中華人民共和國未成年人保護法》等法律法規(guī)，對以下違法、不良信息或存在危害的行為進行處理。
1. 違反法律法規(guī)的信息，主要表現(xiàn)為：
1)反對憲法所確定的基本原則；
2)危害國家安全，泄露國家秘密，顛覆國家政權，破壞國家統(tǒng)一，損害國家榮譽和利益；
3)侮辱、濫用英烈形象，歪曲、丑化、褻瀆、否定英雄烈士事跡和精神，以侮辱、誹謗或者其他方式侵害英雄烈士的姓名、肖像、名譽、榮譽；
4)宣揚恐怖主義、極端主義或者煽動實施恐怖活動、極端主義活動；
5)煽動民族仇恨、民族歧視，破壞民族團結；
6)破壞國家宗教政策，宣揚邪教和封建迷信；
7)散布謠言，擾亂社會秩序，破壞社會穩(wěn)定；
8)宣揚淫穢、色情、賭博、暴力、兇殺、恐怖或者教唆犯罪；
9)煽動非法集會、結社、游行、示威、聚眾擾亂社會秩序；
10)侮辱或者誹謗他人，侵害他人名譽、隱私和其他合法權益；
11)通過網(wǎng)絡以文字、圖片、音視頻等形式，對未成年人實施侮辱、誹謗、威脅或者惡意損害未成年人形象進行網(wǎng)絡欺凌的；
12)危害未成年人身心健康的；
13)含有法律、行政法規(guī)禁止的其他內(nèi)容；
2. 不友善：不尊重用戶及其所貢獻內(nèi)容的信息或行為。主要表現(xiàn)為：
1)輕蔑：貶低、輕視他人及其勞動成果；
2)誹謗：捏造、散布虛假事實，損害他人名譽；
3)嘲諷：以比喻、夸張、侮辱性的手法對他人或其行為進行揭露或描述，以此來激怒他人；
4)挑釁：以不友好的方式激怒他人，意圖使對方對自己的言論作出回應，蓄意制造事端；
5)羞辱：貶低他人的能力、行為、生理或身份特征，讓對方難堪；
6)謾罵：以不文明的語言對他人進行負面評價；
7)歧視：煽動人群歧視、地域歧視等，針對他人的民族、種族、宗教、性取向、性別、年齡、地域、生理特征等身份或者歸類的攻擊；
8)威脅：許諾以不良的后果來迫使他人服從自己的意志；
3. 發(fā)布垃圾廣告信息：以推廣曝光為目的，發(fā)布影響用戶體驗、擾亂本網(wǎng)站秩序的內(nèi)容，或進行相關行為。主要表現(xiàn)為：
1)多次發(fā)布包含售賣產(chǎn)品、提供服務、宣傳推廣內(nèi)容的垃圾廣告。包括但不限于以下幾種形式：
2)單個帳號多次發(fā)布包含垃圾廣告的內(nèi)容；
3)多個廣告帳號互相配合發(fā)布、傳播包含垃圾廣告的內(nèi)容；
4)多次發(fā)布包含欺騙性外鏈的內(nèi)容，如未注明的淘寶客鏈接、跳轉網(wǎng)站等，誘騙用戶點擊鏈接
5)發(fā)布大量包含推廣鏈接、產(chǎn)品、品牌等內(nèi)容獲取搜索引擎中的不正當曝光；
6)購買或出售帳號之間虛假地互動，發(fā)布干擾網(wǎng)站秩序的推廣內(nèi)容及相關交易。
7)發(fā)布包含欺騙性的惡意營銷內(nèi)容，如通過偽造經(jīng)歷、冒充他人等方式進行惡意營銷；
8)使用特殊符號、圖片等方式規(guī)避垃圾廣告內(nèi)容審核的廣告內(nèi)容。
4. 色情低俗信息，主要表現(xiàn)為：
1)包含自己或他人性經(jīng)驗的細節(jié)描述或露骨的感受描述；
2)涉及色情段子、兩性笑話的低俗內(nèi)容；
3)配圖、頭圖中包含庸俗或挑逗性圖片的內(nèi)容；
4)帶有性暗示、性挑逗等易使人產(chǎn)生性聯(lián)想；
5)展現(xiàn)血腥、驚悚、殘忍等致人身心不適；
6)炒作緋聞、丑聞、劣跡等；
7)宣揚低俗、庸俗、媚俗內(nèi)容。
5. 不實信息，主要表現(xiàn)為：
1)可能存在事實性錯誤或者造謠等內(nèi)容；
2)存在事實夸大、偽造虛假經(jīng)歷等誤導他人的內(nèi)容；
3)偽造身份、冒充他人，通過頭像、用戶名等個人信息暗示自己具有特定身份，或與特定機構或個人存在關聯(lián)。
6. 傳播封建迷信，主要表現(xiàn)為：
1)找人算命、測字、占卜、解夢、化解厄運、使用迷信方式治?。?br /> 2)求推薦算命看相大師；
3)針對具體風水等問題進行求助或咨詢；
4)問自己或他人的八字、六爻、星盤、手相、面相、五行缺失，包括通過占卜方法問婚姻、前程、運勢，東西寵物丟了能不能找回、取名改名等；
7. 文章標題黨，主要表現(xiàn)為：
1)以各種夸張、獵奇、不合常理的表現(xiàn)手法等行為來誘導用戶；
2)內(nèi)容與標題之間存在嚴重不實或者原意扭曲；
3)使用夸張標題，內(nèi)容與標題嚴重不符的。
8.「飯圈」亂象行為，主要表現(xiàn)為：
1)誘導未成年人應援集資、高額消費、投票打榜
2)粉絲互撕謾罵、拉踩引戰(zhàn)、造謠攻擊、人肉搜索、侵犯隱私
3)鼓動「飯圈」粉絲攀比炫富、奢靡享樂等行為
4)以號召粉絲、雇用網(wǎng)絡水軍、「養(yǎng)號」形式刷量控評等行為
5)通過「蹭熱點」、制造話題等形式干擾輿論，影響傳播秩序
9. 其他危害行為或內(nèi)容，主要表現(xiàn)為：
1)可能引發(fā)未成年人模仿不安全行為和違反社會公德行為、誘導未成年人不良嗜好影響未成年人身心健康的；
2)不當評述自然災害、重大事故等災難的；
3)美化、粉飾侵略戰(zhàn)爭行為的；
4)法律、行政法規(guī)禁止，或可能對網(wǎng)絡生態(tài)造成不良影響的其他內(nèi)容。
二、違規(guī)處罰
本網(wǎng)站通過主動發(fā)現(xiàn)和接受用戶舉報兩種方式收集違規(guī)行為信息。所有有意的降低內(nèi)容質(zhì)量、傷害平臺氛圍及欺凌未成年人或危害未成年人身心健康的行為都是不能容忍的。
當一個用戶發(fā)布違規(guī)內(nèi)容時，本網(wǎng)站將依據(jù)相關用戶違規(guī)情節(jié)嚴重程度，對帳號進行禁言 1 天、7 天、15 天直至永久禁言或封停賬號的處罰。當涉及欺凌未成年人、危害未成年人身心健康、通過作弊手段注冊、使用帳號，或者濫用多個帳號發(fā)布違規(guī)內(nèi)容時，本網(wǎng)站將加重處罰。
三、申訴
隨著平臺管理經(jīng)驗的不斷豐富，本網(wǎng)站出于維護本網(wǎng)站氛圍和秩序的目的，將不斷完善本公約。
如果本網(wǎng)站用戶對本網(wǎng)站基于本公約規(guī)定做出的處理有異議，可以通過「建議反饋」功能向本網(wǎng)站進行反饋。
(規(guī)則的最終解釋權歸屬本網(wǎng)站所有)