很可惜 T 。T 您現(xiàn)在還不是作者身份,不能自主發(fā)稿哦~
如有投稿需求,請把文章發(fā)送到郵箱tougao@appcpx.com,一經(jīng)錄用會有專人和您聯(lián)系
咨詢?nèi)绾纬蔀榇河鹱髡哒埪?lián)系:鳥哥筆記小羽毛(ngbjxym)
“ 是時候分享一下數(shù)據(jù)倉庫的精髓:維度建模。”
關于數(shù)據(jù)倉庫相關的內(nèi)容,我們之前分享過《數(shù)據(jù)倉庫基礎概述》,時間比較久遠,是去年寫的文章了。今天和大家分享一下數(shù)據(jù)倉庫中的維度建模,這是數(shù)倉的經(jīng)典內(nèi)容。
維度建模是數(shù)據(jù)倉庫領域的大師之一Ralph Kimball所倡導,他參與所著的《The DataWarehouse Toolkit-The Complete Guide to Dimensona Modeling》,中文名《數(shù)據(jù)倉庫工具箱》,是數(shù)據(jù)倉庫工程領域最流行的數(shù)倉建模經(jīng)典著作。建議有時間的朋友可以讀一讀。
維度建模以分析決策的需求出發(fā)構建模型,構建的數(shù)據(jù)模型為分析需求(也就是我們通常所說的數(shù)據(jù)分析)服務。它重點解決如何更快速完成分析需求,同時還有較好的大規(guī)模復雜查詢的響應性能。
因此,說白了,所謂的維度建模就是一種組織數(shù)據(jù)倉庫的形式、模型,用這種方式組織搭建的數(shù)據(jù)倉庫,對快速支持數(shù)據(jù)分析有著巨大的幫助。目前也是比較主流的數(shù)倉模型了。
下面介紹一下關于維度建模的一些基礎知識,主要包括事實表、維度表、切片、鉆取等。
事實表是指其中保存了大量業(yè)務度量數(shù)據(jù)的表,是數(shù)倉最核心的表。
事實表中的度量值一般稱為事實。通常,最有用的事實就是數(shù)字類型的事實和可加類型的事實。事實表的粒度,決定了數(shù)據(jù)倉庫中數(shù)據(jù)的詳細程度。
下圖為例。中間的表:服裝銷售明細表,就是一張事實表。其中的銷售金額、成本、利潤,都是事實,也是我們需要分析的目標數(shù)據(jù)。
一般事實表中只存放數(shù)字或一些flag用來統(tǒng)計,如:銷售金額、成本等。另外,通常事實表中的數(shù)據(jù)不允許修改,新的數(shù)據(jù)只是簡單地添加到事實表中。
事實表特點:數(shù)據(jù)量龐大、列數(shù)少、經(jīng)常變化。這個比較好理解,因為實事表是一張業(yè)務表嘛,業(yè)務肯定是不斷有新的數(shù)據(jù)加進來的。
維度表是用戶來分析數(shù)據(jù)的窗口,比如時間、地區(qū)、用戶等。
維度表中包含事實表中記錄的特性,有些特性提供描述性信息,有些特性指定如何匯總事實數(shù)據(jù)表數(shù)據(jù),以便為分析者提供有用的信息。
例如上圖,包括了五張維度表:時間維表、產(chǎn)品維表、地域維表、用戶維表、支付維表。每一張維度表對應現(xiàn)實世界中的一個對象或概念。
每一張維度表利用維度關鍵字(圖中標紅字段)通過事實表中的外鍵約束事實表的中某一行。
維度表等特點:很多描述性的列,行數(shù)較少,內(nèi)容較固定。這個也好理解,比如地域,省市區(qū)縣這些內(nèi)容十幾年都不會有啥變化。
粒度是指數(shù)據(jù)倉庫的數(shù)據(jù)單位中,保存數(shù)據(jù)的細化程度的級別。簡單點來看,在實事表中一條記錄所表達的業(yè)務細節(jié),就是粒度。
通常,為了便捷的下鉆分析,我們都會使用到最小粒度。比如訂單表中,最小粒度就是一條訂單的記錄。使用最小粒度的優(yōu)點:
可以頻繁的ETL操作
很多數(shù)據(jù)挖掘需要最小粒度數(shù)據(jù)
方便向下鉆取
當然,使用最小粒度也有缺點:
存儲和維護代價較高
需要進一步構建匯總事實表來支持匯總數(shù)據(jù)查詢
切片與切塊主要是用來進行數(shù)據(jù)分析的。我們以下面的三維(產(chǎn)品、年度、地區(qū))為例。
切片:從多維數(shù)組中選定一個二維子集,切出一個“平面” 。比如選中上圖的2011年,這就是一個切片。
切塊:從多維數(shù)組中選定一個三維子集,切出一個“立方體” 。比如上圖中,年度選擇了2011、2012,然后看所有的數(shù)據(jù)內(nèi)容,這就是一個切塊。
旋轉:改變一個報告(頁面)顯示的維方向。
根據(jù)維層次,改變數(shù)據(jù)分析的粒度,就是鉆取分析,主要包括上鉆(也叫上卷)和下鉆。其實Excel中的數(shù)據(jù)透視就是各種上卷和下鉆。
下鉆:從匯總數(shù)據(jù)深入到細節(jié)數(shù)據(jù)進行觀察或增加新維
上鉆(上卷):從某一維上將低層次的細節(jié)數(shù)據(jù)概括到高層次的匯總數(shù)據(jù)或減少維數(shù)
鉆透:直接下鉆到最明細的數(shù)據(jù)。
上面介紹了關于維度建模的一些基礎知識,下面聊一聊維度建模的幾種具體模型:星型模型、雪花模型、星座模型。
所謂星型模型,具體表現(xiàn)是:事實被維度所包圍,且維度沒有被新的表連接。如下圖。
每個維表都有一個維作為主鍵,所有這些維的主鍵組合成事實表的主鍵。
可以看出,星型模型是比較單純的模型,像星星一樣觸角沒有延伸了。
所謂的雪花模型,是有一個或多個維表沒有直接連接到事實表上,而是通過其他維表連接到事實表上,就像雪花一樣。如下圖:
雪花模型去除了數(shù)據(jù)冗余,更貼近與業(yè)務。盡可能降低數(shù)據(jù)存儲量以及聯(lián)合較小的維表來改善查詢性能。
為啥這么說呢?主要是和星型模型對比而言的??聪旅娴氖纠龍D。如果是星型模型,則需要在【product】表中的【category】把所有的信息都列出來,而雪花模型可以在【product】維度表中繼續(xù)增加關聯(lián)即可。
但是可以想象到,雪花模型分析數(shù)據(jù)時,操作比較復雜。畢竟需要關聯(lián)的內(nèi)容越來越多。但數(shù)據(jù)的存儲量下來了,因為冗余信息進行了提煉嘛。
無論是星型模型還是雪花模型,都是單事實表的情況。但通常來講,實踐當中大部分情況都是多事實表的。這時就是需要星座模型了。
所謂星座模型,是多個事實表共享維度表, 因而可以視為星型模型的集合,故亦稱星座模型(星系模型)。如下圖:
星座模型是數(shù)據(jù)倉庫最常使用的模型。
主要看看實事表和維度表的相關內(nèi)容。
事實表主要包括以下四種。
事務事實表:該類型表的一行對應空間或時間上某點的度量事件。與粒度同層次的事實表,可以直接將事實字段進行Sum、Count等聚合操作。
周期快照事實表:該類型表中的每行匯總了發(fā)生在某一標準周期,如某天、某周、某月的多個度量事件。這類表非常適合跟蹤長期的過程,如銀行賬戶和其他形式的財務報表。
無事實事實表:沒有度量事實,僅記錄一系列某一時刻發(fā)生的多維實體。非事實型事實表通常用來跟蹤一些時間或者說明某些活動的范圍。
累積快照事實表:行匯總了發(fā)生在過程開始和結束之間可預測步驟內(nèi)的度量事件。管道或工作流過程(履行訂單、索賠過程),都可以在此類事實表中被建模。
關于維度表,主要看看緩慢變化維。
什么是緩慢變化維?在現(xiàn)實世界中,維度的屬性并不是靜態(tài)的,它會隨著時間的流失發(fā)生緩慢的變化。這種隨時間發(fā)生變化的維度我們一般稱之為緩慢變化維。
比如,在一個零售業(yè)數(shù)據(jù)倉庫中,事實表存著銷售人員的銷售記錄,某天一個銷售人員從北京分公司調到上海分公司了,那么如何來保存、處理這個變化呢?
如果我們要統(tǒng)計北京地區(qū)或上海地區(qū)的總銷售情況的時候,這個銷售人員的銷售記錄應該算在北京還是算在上海?當然是調離前的算在北京,調離后的算在上海,但是如何標記這個銷售人員所屬區(qū)域?這里就需要處理一下這個維度的數(shù)據(jù),即我們緩慢變化維需要做的事情。
處理緩慢變化維的三種方式:
直接覆蓋原值:這個比較簡單粗暴。但是如果想要做歷史分析的話,就比較難了,一般不太覆蓋。
增加屬性列:增加一個新列,來記錄變化。這種適合變化比較少的情況,如果經(jīng)常變化,增加無限量個字段明顯不合適。
增加維度行:直接增加一條新紀錄,并用一個專門的字段(可以是時間、版本、是否生效等等)進行標識,區(qū)分哪個數(shù)據(jù)是最新的。
如上圖,比較直觀的闡述了三種處理方式的差異。
關于維度建模相關的內(nèi)容,今天就分享這些。感謝朋友們的關注,后續(xù)針對數(shù)倉相關的內(nèi)容,繼續(xù)進行分享。
-END-
本文為作者獨立觀點,不代表鳥哥筆記立場,未經(jīng)允許不得轉載。
《鳥哥筆記版權及免責申明》 如對文章、圖片、字體等版權有疑問,請點擊 反饋舉報
我們致力于提供一個高質量內(nèi)容的交流平臺。為落實國家互聯(lián)網(wǎng)信息辦公室“依法管網(wǎng)、依法辦網(wǎng)、依法上網(wǎng)”的要求,為完善跟帖評論自律管理,為了保護用戶創(chuàng)造的內(nèi)容、維護開放、真實、專業(yè)的平臺氛圍,我們團隊將依據(jù)本公約中的條款對注冊用戶和發(fā)布在本平臺的內(nèi)容進行管理。平臺鼓勵用戶創(chuàng)作、發(fā)布優(yōu)質內(nèi)容,同時也將采取必要措施管理違法、侵權或有其他不良影響的網(wǎng)絡信息。
一、根據(jù)《網(wǎng)絡信息內(nèi)容生態(tài)治理規(guī)定》《中華人民共和國未成年人保護法》等法律法規(guī),對以下違法、不良信息或存在危害的行為進行處理。
1. 違反法律法規(guī)的信息,主要表現(xiàn)為:
1)反對憲法所確定的基本原則;
2)危害國家安全,泄露國家秘密,顛覆國家政權,破壞國家統(tǒng)一,損害國家榮譽和利益;
3)侮辱、濫用英烈形象,歪曲、丑化、褻瀆、否定英雄烈士事跡和精神,以侮辱、誹謗或者其他方式侵害英雄烈士的姓名、肖像、名譽、榮譽;
4)宣揚恐怖主義、極端主義或者煽動實施恐怖活動、極端主義活動;
5)煽動民族仇恨、民族歧視,破壞民族團結;
6)破壞國家宗教政策,宣揚邪教和封建迷信;
7)散布謠言,擾亂社會秩序,破壞社會穩(wěn)定;
8)宣揚淫穢、色情、賭博、暴力、兇殺、恐怖或者教唆犯罪;
9)煽動非法集會、結社、游行、示威、聚眾擾亂社會秩序;
10)侮辱或者誹謗他人,侵害他人名譽、隱私和其他合法權益;
11)通過網(wǎng)絡以文字、圖片、音視頻等形式,對未成年人實施侮辱、誹謗、威脅或者惡意損害未成年人形象進行網(wǎng)絡欺凌的;
12)危害未成年人身心健康的;
13)含有法律、行政法規(guī)禁止的其他內(nèi)容;
2. 不友善:不尊重用戶及其所貢獻內(nèi)容的信息或行為。主要表現(xiàn)為:
1)輕蔑:貶低、輕視他人及其勞動成果;
2)誹謗:捏造、散布虛假事實,損害他人名譽;
3)嘲諷:以比喻、夸張、侮辱性的手法對他人或其行為進行揭露或描述,以此來激怒他人;
4)挑釁:以不友好的方式激怒他人,意圖使對方對自己的言論作出回應,蓄意制造事端;
5)羞辱:貶低他人的能力、行為、生理或身份特征,讓對方難堪;
6)謾罵:以不文明的語言對他人進行負面評價;
7)歧視:煽動人群歧視、地域歧視等,針對他人的民族、種族、宗教、性取向、性別、年齡、地域、生理特征等身份或者歸類的攻擊;
8)威脅:許諾以不良的后果來迫使他人服從自己的意志;
3. 發(fā)布垃圾廣告信息:以推廣曝光為目的,發(fā)布影響用戶體驗、擾亂本網(wǎng)站秩序的內(nèi)容,或進行相關行為。主要表現(xiàn)為:
1)多次發(fā)布包含售賣產(chǎn)品、提供服務、宣傳推廣內(nèi)容的垃圾廣告。包括但不限于以下幾種形式:
2)單個帳號多次發(fā)布包含垃圾廣告的內(nèi)容;
3)多個廣告帳號互相配合發(fā)布、傳播包含垃圾廣告的內(nèi)容;
4)多次發(fā)布包含欺騙性外鏈的內(nèi)容,如未注明的淘寶客鏈接、跳轉網(wǎng)站等,誘騙用戶點擊鏈接
5)發(fā)布大量包含推廣鏈接、產(chǎn)品、品牌等內(nèi)容獲取搜索引擎中的不正當曝光;
6)購買或出售帳號之間虛假地互動,發(fā)布干擾網(wǎng)站秩序的推廣內(nèi)容及相關交易。
7)發(fā)布包含欺騙性的惡意營銷內(nèi)容,如通過偽造經(jīng)歷、冒充他人等方式進行惡意營銷;
8)使用特殊符號、圖片等方式規(guī)避垃圾廣告內(nèi)容審核的廣告內(nèi)容。
4. 色情低俗信息,主要表現(xiàn)為:
1)包含自己或他人性經(jīng)驗的細節(jié)描述或露骨的感受描述;
2)涉及色情段子、兩性笑話的低俗內(nèi)容;
3)配圖、頭圖中包含庸俗或挑逗性圖片的內(nèi)容;
4)帶有性暗示、性挑逗等易使人產(chǎn)生性聯(lián)想;
5)展現(xiàn)血腥、驚悚、殘忍等致人身心不適;
6)炒作緋聞、丑聞、劣跡等;
7)宣揚低俗、庸俗、媚俗內(nèi)容。
5. 不實信息,主要表現(xiàn)為:
1)可能存在事實性錯誤或者造謠等內(nèi)容;
2)存在事實夸大、偽造虛假經(jīng)歷等誤導他人的內(nèi)容;
3)偽造身份、冒充他人,通過頭像、用戶名等個人信息暗示自己具有特定身份,或與特定機構或個人存在關聯(lián)。
6. 傳播封建迷信,主要表現(xiàn)為:
1)找人算命、測字、占卜、解夢、化解厄運、使用迷信方式治病;
2)求推薦算命看相大師;
3)針對具體風水等問題進行求助或咨詢;
4)問自己或他人的八字、六爻、星盤、手相、面相、五行缺失,包括通過占卜方法問婚姻、前程、運勢,東西寵物丟了能不能找回、取名改名等;
7. 文章標題黨,主要表現(xiàn)為:
1)以各種夸張、獵奇、不合常理的表現(xiàn)手法等行為來誘導用戶;
2)內(nèi)容與標題之間存在嚴重不實或者原意扭曲;
3)使用夸張標題,內(nèi)容與標題嚴重不符的。
8.「飯圈」亂象行為,主要表現(xiàn)為:
1)誘導未成年人應援集資、高額消費、投票打榜
2)粉絲互撕謾罵、拉踩引戰(zhàn)、造謠攻擊、人肉搜索、侵犯隱私
3)鼓動「飯圈」粉絲攀比炫富、奢靡享樂等行為
4)以號召粉絲、雇用網(wǎng)絡水軍、「養(yǎng)號」形式刷量控評等行為
5)通過「蹭熱點」、制造話題等形式干擾輿論,影響傳播秩序
9. 其他危害行為或內(nèi)容,主要表現(xiàn)為:
1)可能引發(fā)未成年人模仿不安全行為和違反社會公德行為、誘導未成年人不良嗜好影響未成年人身心健康的;
2)不當評述自然災害、重大事故等災難的;
3)美化、粉飾侵略戰(zhàn)爭行為的;
4)法律、行政法規(guī)禁止,或可能對網(wǎng)絡生態(tài)造成不良影響的其他內(nèi)容。
二、違規(guī)處罰
本網(wǎng)站通過主動發(fā)現(xiàn)和接受用戶舉報兩種方式收集違規(guī)行為信息。所有有意的降低內(nèi)容質量、傷害平臺氛圍及欺凌未成年人或危害未成年人身心健康的行為都是不能容忍的。
當一個用戶發(fā)布違規(guī)內(nèi)容時,本網(wǎng)站將依據(jù)相關用戶違規(guī)情節(jié)嚴重程度,對帳號進行禁言 1 天、7 天、15 天直至永久禁言或封停賬號的處罰。當涉及欺凌未成年人、危害未成年人身心健康、通過作弊手段注冊、使用帳號,或者濫用多個帳號發(fā)布違規(guī)內(nèi)容時,本網(wǎng)站將加重處罰。
三、申訴
隨著平臺管理經(jīng)驗的不斷豐富,本網(wǎng)站出于維護本網(wǎng)站氛圍和秩序的目的,將不斷完善本公約。
如果本網(wǎng)站用戶對本網(wǎng)站基于本公約規(guī)定做出的處理有異議,可以通過「建議反饋」功能向本網(wǎng)站進行反饋。
(規(guī)則的最終解釋權歸屬本網(wǎng)站所有)