很可惜 T 。T 您現(xiàn)在還不是作者身份，不能自主發(fā)稿哦～
如有投稿需求，請把文章發(fā)送到郵箱tougao@appcpx.com，一經(jīng)錄用會有專人和您聯(lián)系
咨詢?nèi)绾纬蔀榇河鹱髡哒埪?lián)系：鳥哥筆記小羽毛（ngbjxym）
這是彭文華的第124篇原創(chuàng)
初學數(shù)倉的同學都喜歡問一個很有意思的問題：數(shù)據(jù)倉庫到底要分幾層？我一般的回答都是：你想分幾層就分幾層。很顯然， 雖然我是很認真的在回答，但是提問題的人會感覺非常不認真。還是完完整整的闡述一下數(shù)倉分層的基礎(chǔ)邏輯吧。
想要知道數(shù)倉要分幾層，那就必須得先回答另一個問題：就是數(shù)據(jù)倉庫為什么要分層？分層思想到底是在干什么？
直接上結(jié)論：分層是為了解耦。請把這句話刻在腦子里。因為這決定了你的數(shù)據(jù)架構(gòu)到底要分幾層。
我們直接讀取數(shù)據(jù)源出報表不行么？行！但是你的前臺業(yè)務、中間的數(shù)據(jù)處理邏輯和后端的數(shù)據(jù)庫會完全綁死，任何一個點發(fā)生變化，都得修改整個設(shè)計。
那按數(shù)據(jù)處理的邏輯，一個中間表拆一層行么？行啊。但是你這樣鏈條太長，不僅流程管控難度提升，而且一旦發(fā)生問題，追溯幾乎變得不可能。
所以，既不能不分，又不能分的太多。那應該怎么弄呢？
你看信息系統(tǒng)的架構(gòu)發(fā)展歷程，就是從單體-->水平分層/垂直拆分-->微服務-->服務網(wǎng)格，都是不停的拆，這是在干啥？就是在解耦，再解耦。但是也沒有無限的往下拆，拆到服務網(wǎng)格，就開始合并了，這就是中臺的邏輯。
數(shù)據(jù)架構(gòu)上也是一樣，有ODS層是為了保存原始數(shù)據(jù)，有明細層是為了保證后續(xù)數(shù)據(jù)的干凈和統(tǒng)一，有匯總層是為了減少運算，有寬表層/維度建模層是為了使用方便，有DM層是為了某個領(lǐng)域使用方便。這也是不停的在解耦、再解耦。
所以要分幾層，取決于公司是業(yè)務有多復雜，變化有多頻繁，我們對應的就需要對業(yè)務和原始數(shù)據(jù)之間做多少層的解耦。
ODS（Operation Data Store），操作數(shù)據(jù)層，即原始數(shù)據(jù)層，又叫貼源層，與業(yè)務系統(tǒng)基本同構(gòu)（可能會增加管理字段），目的是保留歷史，解耦業(yè)務數(shù)據(jù)庫，這樣整個數(shù)據(jù)平臺只需要訪問一次業(yè)務數(shù)據(jù)庫即可。所以O(shè)DS層存在的意義是盡可能減少對業(yè)務數(shù)據(jù)庫的訪問壓力。ODS層有些時候會細分為兩層，一個STG數(shù)據(jù)緩沖層，存原始數(shù)據(jù)，一個ODS，存簡單清洗的數(shù)據(jù)。
DWD（Data Warehouse Detail），明細數(shù)據(jù)層，對數(shù)據(jù)進行清洗、代碼統(tǒng)一、字段統(tǒng)一、格式統(tǒng)一、簡單聚合等工作。DWD層存在的意義是做數(shù)據(jù)的標準化，為后續(xù)的處理提供干凈、統(tǒng)一、標準的數(shù)據(jù)。
DWB（Data Warehouse Base），基礎(chǔ)數(shù)據(jù)層，又叫輕度匯總層，遵照維度模型的原理，將數(shù)據(jù)拆成維度和事實，進行維度、事實的統(tǒng)一。對數(shù)據(jù)進行輕度匯總，形成指標結(jié)果。
DWS（Data Warehouse Service），服務數(shù)據(jù)層，按照業(yè)務目標，對已經(jīng)處理好的數(shù)據(jù)進行橫向匯聚、縱向匯總。按照寬表模型進行數(shù)據(jù)冗余和預計算，以空間換時間。
寬表層，大數(shù)據(jù)環(huán)境下的DWS層。存儲各種寬表。
DIM層，即dimension，維度，即存儲所有維度（可以理解為碼表）。其實DIM不應該單獨作為一層，因為從DWD層開始向上的所有層都需要用到DIM中的內(nèi)容，所以他是橫跨多層的。
標簽層，即標簽工廠生產(chǎn)的各種標簽，用戶標簽、商品標簽等等，一般在DWD層之上，DWB層之下，互聯(lián)網(wǎng)業(yè)務特有，現(xiàn)在也慢慢擴展到其他領(lǐng)域。
DM層，又叫主題層，與主題域不一樣，這是在企業(yè)級數(shù)倉之上，對某個單獨業(yè)務或者部門專門設(shè)立的小型數(shù)據(jù)集市。DM層又可以根據(jù)業(yè)務需求再次拆分。
還是回到最開始的那句話：看你的業(yè)務復雜度和實際情況。假如說，時間緊任務重，一周就要看結(jié)果，那就別說了，直接連業(yè)務數(shù)據(jù)庫是最合適的。要啥分層？沒那個時間。
如果說公司業(yè)務簡單，且相對比較固定，數(shù)據(jù)來源不多，結(jié)構(gòu)也很清晰，需求也不多，可以O(shè)DS+DWD+DWS，三層足矣。ODS起到解耦業(yè)務數(shù)據(jù)庫+異構(gòu)數(shù)據(jù)源的問題，DWD解決數(shù)據(jù)臟亂差的問題，DWS直接面向前臺業(yè)務需求。夠了。
如果說公司業(yè)務一般復雜，每年都要跟著戰(zhàn)略變，那就中規(guī)中矩的設(shè)計4層，多一層DWB層做匯總，多一層解耦，業(yè)務變化的時候，我們只改DWS層就好了，最多穿透到DWB層。每年按照戰(zhàn)略調(diào)整一次，工作量也不會太大，最重要的是能保證底層結(jié)構(gòu)的穩(wěn)定和數(shù)據(jù)分析的可持續(xù)性。
如果說公司業(yè)務非常復雜，業(yè)務線眾多，那就在4層基礎(chǔ)上加一層DM，每條業(yè)務線一個單獨的DM。如果是集團型的，DM還可以設(shè)置在匯總層下面。放在那里，取決于組織結(jié)構(gòu)。
如果說公司業(yè)務變化非常頻繁，仨月變一次業(yè)務方向，后臺數(shù)據(jù)每天都改數(shù)據(jù)庫，說實話，沒啥好辦法。要么用人力堆，要么提取相對比較固定的內(nèi)容去建設(shè)數(shù)倉，變化太快的直接做固定報表吧。前后都變，中間的沒法干活，怎么解耦都沒用。誰有好辦法，可以告訴我，我去學習一下。
至于DIM層，不管哪一種方式，都需要。
互聯(lián)網(wǎng)模式加一層標簽層。
大數(shù)據(jù)環(huán)境可以用寬表層替換DWS層（其實都一樣）。
3層數(shù)倉架構(gòu)（方案一）：
3層數(shù)據(jù)倉庫建設(shè)的架構(gòu)一般指的是ODS、DW（數(shù)倉）、DM（數(shù)據(jù)集市），其中DW和DM又可以再拆成N層。不過我沒有找到大廠的這種架構(gòu)分享，大抵是因為這么各大廠不屑于畫這么簡單的分層架構(gòu)圖吧。
3層數(shù)倉架構(gòu)（方案二）：
另外一種3層數(shù)倉是ODS+DWD+DWS，這樣就能滿足解耦業(yè)務數(shù)據(jù)庫、數(shù)據(jù)標準化+統(tǒng)一化和面向應用等基礎(chǔ)功能。同樣也沒有找到大廠的3層分享案例。各位湊合著看吧。
美團大交通4層實時數(shù)倉架構(gòu)：
來源于美團技術(shù)公眾號
特意放上實時數(shù)倉的架構(gòu)圖，就是想說明一下無論是實時數(shù)倉還是離線數(shù)倉，架構(gòu)都是一樣的，該分幾層分幾層。只不過實時數(shù)倉用的是Kafka等MQ作為實時存儲介質(zhì)。
搜狐5層數(shù)據(jù)倉庫架構(gòu)：
來源于搜狐公開PPT
這是搜狐的5層數(shù)據(jù)倉庫架構(gòu)。之所以放搜狐的案例，是因為這里有一個STG層。這邊把ODS細分為STG和ODS。STG是數(shù)據(jù)緩沖層，相當于貼源層，就是跟業(yè)務系統(tǒng)保持一致的結(jié)構(gòu)，而這個架構(gòu)中的ODS是經(jīng)過簡單清洗的明細數(shù)據(jù)。
美團酒旅6層數(shù)倉架構(gòu)：
來源于美團技術(shù)公眾號
這是美團酒旅業(yè)務的數(shù)倉架構(gòu)，業(yè)務足夠復雜，所以分成6層了。以第3代為例，ODS、數(shù)據(jù)整合層、多維明細層、匯總層、主題層、應用層。每一層的目的非常清晰。
ODS：匯聚原始數(shù)據(jù)；
數(shù)據(jù)整合層：對數(shù)據(jù)進行清洗、篩選、整合等操作；
多維明細層：進行維度建模；
匯總層：進行各級匯總；
主題層：按照業(yè)務領(lǐng)域，切分主題域，提供面向業(yè)務主題的數(shù)據(jù)集；
應用層：面向前端應用匯聚數(shù)據(jù)。
另外，美團的這張圖，也體現(xiàn)了架構(gòu)的另外一個重點：架構(gòu)是需要不斷的優(yōu)化調(diào)整的，不能超前太多，也不能脫離業(yè)務。按照Inmon和Kimball吵了十幾年的經(jīng)驗上看，建議架構(gòu)設(shè)計時，按超越當前實際情況1~1.5年的設(shè)計是比較合適的。超越太長會導致建設(shè)期過長或者條件不成熟而失敗，太短則修改太過頻繁。
數(shù)據(jù)倉庫分層的核心邏輯是解耦。需要在有限時間、資源等條件下滿足業(yè)務需求，同時又要兼顧業(yè)務的快速變化。所以我們作為數(shù)據(jù)架構(gòu)師，需要兼顧業(yè)務的復雜變化，以及開發(fā)的復雜度和可維護性，在兩者之間做一個平衡和取舍。
至于分幾層，建議按照目前的業(yè)務和建設(shè)現(xiàn)狀，進行合理解構(gòu)和分層設(shè)計，一般剛開始做，建議3、4層。規(guī)劃1-1.5年的架構(gòu)，然后不斷的建設(shè)、優(yōu)化、再優(yōu)化。不斷逼近滿足所有需求。
擴展閱讀：數(shù)倉案例相關(guān)資料已經(jīng)給你準備好了，后臺回復“數(shù)倉架構(gòu)”即可下載。
配合以下文章享受更佳
【附下載】實時數(shù)倉架構(gòu)設(shè)計與選型
【附下載】傳統(tǒng)數(shù)據(jù)倉庫轉(zhuǎn)型最佳目標：Kylin！
熱文 | 傳統(tǒng)數(shù)倉和大數(shù)據(jù)數(shù)倉的區(qū)別是什么？
【附下載】 | 數(shù)據(jù)倉庫建設(shè)全套資料包
熱文 | 如何搭建一個數(shù)據(jù)倉庫
我需要你的轉(zhuǎn)發(fā)，愛你喲
本文為作者獨立觀點，不代表鳥哥筆記立場，未經(jīng)允許不得轉(zhuǎn)載。
《鳥哥筆記版權(quán)及免責申明》 如對文章、圖片、字體等版權(quán)有疑問，請點擊 反饋舉報
我們致力于提供一個高質(zhì)量內(nèi)容的交流平臺。為落實國家互聯(lián)網(wǎng)信息辦公室“依法管網(wǎng)、依法辦網(wǎng)、依法上網(wǎng)”的要求，為完善跟帖評論自律管理，為了保護用戶創(chuàng)造的內(nèi)容、維護開放、真實、專業(yè)的平臺氛圍，我們團隊將依據(jù)本公約中的條款對注冊用戶和發(fā)布在本平臺的內(nèi)容進行管理。平臺鼓勵用戶創(chuàng)作、發(fā)布優(yōu)質(zhì)內(nèi)容，同時也將采取必要措施管理違法、侵權(quán)或有其他不良影響的網(wǎng)絡(luò)信息。
一、根據(jù)《網(wǎng)絡(luò)信息內(nèi)容生態(tài)治理規(guī)定》《中華人民共和國未成年人保護法》等法律法規(guī)，對以下違法、不良信息或存在危害的行為進行處理。
1. 違反法律法規(guī)的信息，主要表現(xiàn)為：
1)反對憲法所確定的基本原則；
2)危害國家安全，泄露國家秘密，顛覆國家政權(quán)，破壞國家統(tǒng)一，損害國家榮譽和利益；
3)侮辱、濫用英烈形象，歪曲、丑化、褻瀆、否定英雄烈士事跡和精神，以侮辱、誹謗或者其他方式侵害英雄烈士的姓名、肖像、名譽、榮譽；
4)宣揚恐怖主義、極端主義或者煽動實施恐怖活動、極端主義活動；
5)煽動民族仇恨、民族歧視，破壞民族團結(jié)；
6)破壞國家宗教政策，宣揚邪教和封建迷信；
7)散布謠言，擾亂社會秩序，破壞社會穩(wěn)定；
8)宣揚淫穢、色情、賭博、暴力、兇殺、恐怖或者教唆犯罪；
9)煽動非法集會、結(jié)社、游行、示威、聚眾擾亂社會秩序；
10)侮辱或者誹謗他人，侵害他人名譽、隱私和其他合法權(quán)益；
11)通過網(wǎng)絡(luò)以文字、圖片、音視頻等形式，對未成年人實施侮辱、誹謗、威脅或者惡意損害未成年人形象進行網(wǎng)絡(luò)欺凌的；
12)危害未成年人身心健康的；
13)含有法律、行政法規(guī)禁止的其他內(nèi)容；
2. 不友善：不尊重用戶及其所貢獻內(nèi)容的信息或行為。主要表現(xiàn)為：
1)輕蔑：貶低、輕視他人及其勞動成果；
2)誹謗：捏造、散布虛假事實，損害他人名譽；
3)嘲諷：以比喻、夸張、侮辱性的手法對他人或其行為進行揭露或描述，以此來激怒他人；
4)挑釁：以不友好的方式激怒他人，意圖使對方對自己的言論作出回應，蓄意制造事端；
5)羞辱：貶低他人的能力、行為、生理或身份特征，讓對方難堪；
6)謾罵：以不文明的語言對他人進行負面評價；
7)歧視：煽動人群歧視、地域歧視等，針對他人的民族、種族、宗教、性取向、性別、年齡、地域、生理特征等身份或者歸類的攻擊；
8)威脅：許諾以不良的后果來迫使他人服從自己的意志；
3. 發(fā)布垃圾廣告信息：以推廣曝光為目的，發(fā)布影響用戶體驗、擾亂本網(wǎng)站秩序的內(nèi)容，或進行相關(guān)行為。主要表現(xiàn)為：
1)多次發(fā)布包含售賣產(chǎn)品、提供服務、宣傳推廣內(nèi)容的垃圾廣告。包括但不限于以下幾種形式：
2)單個帳號多次發(fā)布包含垃圾廣告的內(nèi)容；
3)多個廣告帳號互相配合發(fā)布、傳播包含垃圾廣告的內(nèi)容；
4)多次發(fā)布包含欺騙性外鏈的內(nèi)容，如未注明的淘寶客鏈接、跳轉(zhuǎn)網(wǎng)站等，誘騙用戶點擊鏈接
5)發(fā)布大量包含推廣鏈接、產(chǎn)品、品牌等內(nèi)容獲取搜索引擎中的不正當曝光；
6)購買或出售帳號之間虛假地互動，發(fā)布干擾網(wǎng)站秩序的推廣內(nèi)容及相關(guān)交易。
7)發(fā)布包含欺騙性的惡意營銷內(nèi)容，如通過偽造經(jīng)歷、冒充他人等方式進行惡意營銷；
8)使用特殊符號、圖片等方式規(guī)避垃圾廣告內(nèi)容審核的廣告內(nèi)容。
4. 色情低俗信息，主要表現(xiàn)為：
1)包含自己或他人性經(jīng)驗的細節(jié)描述或露骨的感受描述；
2)涉及色情段子、兩性笑話的低俗內(nèi)容；
3)配圖、頭圖中包含庸俗或挑逗性圖片的內(nèi)容；
4)帶有性暗示、性挑逗等易使人產(chǎn)生性聯(lián)想；
5)展現(xiàn)血腥、驚悚、殘忍等致人身心不適；
6)炒作緋聞、丑聞、劣跡等；
7)宣揚低俗、庸俗、媚俗內(nèi)容。
5. 不實信息，主要表現(xiàn)為：
1)可能存在事實性錯誤或者造謠等內(nèi)容；
2)存在事實夸大、偽造虛假經(jīng)歷等誤導他人的內(nèi)容；
3)偽造身份、冒充他人，通過頭像、用戶名等個人信息暗示自己具有特定身份，或與特定機構(gòu)或個人存在關(guān)聯(lián)。
6. 傳播封建迷信，主要表現(xiàn)為：
1)找人算命、測字、占卜、解夢、化解厄運、使用迷信方式治??；
2)求推薦算命看相大師；
3)針對具體風水等問題進行求助或咨詢；
4)問自己或他人的八字、六爻、星盤、手相、面相、五行缺失，包括通過占卜方法問婚姻、前程、運勢，東西寵物丟了能不能找回、取名改名等；
7. 文章標題黨，主要表現(xiàn)為：
1)以各種夸張、獵奇、不合常理的表現(xiàn)手法等行為來誘導用戶；
2)內(nèi)容與標題之間存在嚴重不實或者原意扭曲；
3)使用夸張標題，內(nèi)容與標題嚴重不符的。
8.「飯圈」亂象行為，主要表現(xiàn)為：
1)誘導未成年人應援集資、高額消費、投票打榜
2)粉絲互撕謾罵、拉踩引戰(zhàn)、造謠攻擊、人肉搜索、侵犯隱私
3)鼓動「飯圈」粉絲攀比炫富、奢靡享樂等行為
4)以號召粉絲、雇用網(wǎng)絡(luò)水軍、「養(yǎng)號」形式刷量控評等行為
5)通過「蹭熱點」、制造話題等形式干擾輿論，影響傳播秩序
9. 其他危害行為或內(nèi)容，主要表現(xiàn)為：
1)可能引發(fā)未成年人模仿不安全行為和違反社會公德行為、誘導未成年人不良嗜好影響未成年人身心健康的；
2)不當評述自然災害、重大事故等災難的；
3)美化、粉飾侵略戰(zhàn)爭行為的；
4)法律、行政法規(guī)禁止，或可能對網(wǎng)絡(luò)生態(tài)造成不良影響的其他內(nèi)容。
二、違規(guī)處罰
本網(wǎng)站通過主動發(fā)現(xiàn)和接受用戶舉報兩種方式收集違規(guī)行為信息。所有有意的降低內(nèi)容質(zhì)量、傷害平臺氛圍及欺凌未成年人或危害未成年人身心健康的行為都是不能容忍的。
當一個用戶發(fā)布違規(guī)內(nèi)容時，本網(wǎng)站將依據(jù)相關(guān)用戶違規(guī)情節(jié)嚴重程度，對帳號進行禁言 1 天、7 天、15 天直至永久禁言或封停賬號的處罰。當涉及欺凌未成年人、危害未成年人身心健康、通過作弊手段注冊、使用帳號，或者濫用多個帳號發(fā)布違規(guī)內(nèi)容時，本網(wǎng)站將加重處罰。
三、申訴
隨著平臺管理經(jīng)驗的不斷豐富，本網(wǎng)站出于維護本網(wǎng)站氛圍和秩序的目的，將不斷完善本公約。
如果本網(wǎng)站用戶對本網(wǎng)站基于本公約規(guī)定做出的處理有異議，可以通過「建議反饋」功能向本網(wǎng)站進行反饋。
(規(guī)則的最終解釋權(quán)歸屬本網(wǎng)站所有)