很可惜 T 。T 您現在還不是作者身份,不能自主發(fā)稿哦~
如有投稿需求,請把文章發(fā)送到郵箱tougao@appcpx.com,一經錄用會有專人和您聯(lián)系
咨詢如何成為春羽作者請聯(lián)系:鳥哥筆記小羽毛(ngbjxym)
這是彭文華的第177篇原創(chuàng)
今天很開心,又收獲了一個新的好問題。北京的一個開發(fā)同學Lucas,被領導拖過去做數倉了。他把我寫的數倉文章都讀了一遍之后,他覺得ODS層根本沒啥用啊,壓根不能理解為啥要有一層。
這個問題問的好?。∫苍S我當年學習的時候也遇到過這個問題,但是現在已經把它當成理所應當了。
所以我現在非常喜歡跟任何人聊天,尤其是外行或者初學者,因為他們才能問出真問題。有問題的,可以加我微信:shirenpengwh,咱私聊啊。
ODS是啥?
這種問題,學究派最喜歡給定義了。比如:ODS ( Operational Data Store ),操作數據存儲,用來存儲多個異構數據源系統(tǒng)的明細數據,是數據倉庫的最底層。
這種回答當做字典還是很好用的,但是對于初學者就非常不友好了。一個問題衍生出來無數的問題,滿腦子都是問號。你看:什么叫操作數據?什么叫異構數據源?數據倉庫的最底層?那上面還有幾層?
所以,我一般喜歡先做個考古研究,然后再給一個簡單理解的方式。
比如下面這張圖,就是數據倉庫鼻祖Inmon大佬畫的CIF架構。原圖比較亂,我給加了一些注釋,方便你看的更清楚一些。
右下角是業(yè)務系統(tǒng),會源源不斷的產生各種數據;我們右上半拉就是數據倉庫以及上層的應用體系。
我們搜索一下ODS關鍵詞,發(fā)現在兩個地方都有,業(yè)務系統(tǒng)有一個Local ODS,數倉體系里有一個Global ODS。
這時候我們再回到ODS的名字“操作數據存儲”上。顧名思義,這就是把業(yè)務操作的數據物理化存儲唄。那Local ODS就是把業(yè)務數據存在本地,這是必然的,不存下來,這系統(tǒng)不白做了么?
好,1個業(yè)務系統(tǒng)是這樣,那10個業(yè)務系統(tǒng)也是這樣,比如上圖中左側的“ERP”,通常也是數倉的重要數據來源之一。Inmon老爺子還貼心的標注了數據流向。
通常來說,一個數據倉庫都會從多個系統(tǒng)中獲取數據,以獲取更全面的信息。而這些系統(tǒng)建立的時間不一樣,供應商也不一樣,數據庫很可能就也不一樣,甚至只是文本存儲。那么,不一樣的數據來源,我們就給取個字數少一些的名字,就叫異構數據源。
ok,現在再去理解Global ODS就很容易理解了,這就是一個數據歸集的地方,從全局視角,把每個系統(tǒng)的業(yè)務操作數據都堆放在這里。
為啥要有ODS?
即便是到這里,依然沒有解答這哥們的問題。為啥要有ODS???
哥們是開發(fā)出身,他的習慣就只有一個業(yè)務庫加一個測試庫。所有數據到業(yè)務庫里讀取不就完事了么?還整一個ODS,而且結構還得跟業(yè)務庫一毛一樣,不僅多個事兒,而且還浪費存儲,又沒啥用。這不是脫了褲子放屁,多此一舉么?
可能我是那種比較老實的人,也有可能我當時也有這個問題,后來就忘記了。反正我印象中是沒有這么多問題的。
其實理解這個問題也很簡單。你看inmon老爺子給上面架構取的名字就叫“企業(yè)信息工廠,Corporate Information Factory , CIF”。工廠么,當然得加工東西了,信息工廠就是加工信息,也就是數據的羅。
所以我們得有一個放原料的地方吧?總不可能工廠的流水線直接對準菜地吧?
誒,這個放原料的地方,就是ODS了。只不過數據跟其他實物不一樣,它可以復制?。∷晕覀兙驮跀祩}這里復制一份一模一樣的就好了。
只不過呢,我們?yōu)榱松a管理的需要,從其他原料加工廠(業(yè)務系統(tǒng))里拿原料過來的同時,可能會貼上一些標簽,比如是誰,什么時候,從哪里拿來的原料。這樣發(fā)生問題后呢,可以方便我們回溯,找到問題的根源,重新跑一下數據也很方便。
Lucas同學明白了,我很開心,希望也能給你帶來一些啟發(fā)。
配合以下文章享受更佳
思考 | 為什么說你的運營團隊一定要有一名女生?
本文為作者獨立觀點,不代表鳥哥筆記立場,未經允許不得轉載。
《鳥哥筆記版權及免責申明》 如對文章、圖片、字體等版權有疑問,請點擊 反饋舉報
我們致力于提供一個高質量內容的交流平臺。為落實國家互聯(lián)網信息辦公室“依法管網、依法辦網、依法上網”的要求,為完善跟帖評論自律管理,為了保護用戶創(chuàng)造的內容、維護開放、真實、專業(yè)的平臺氛圍,我們團隊將依據本公約中的條款對注冊用戶和發(fā)布在本平臺的內容進行管理。平臺鼓勵用戶創(chuàng)作、發(fā)布優(yōu)質內容,同時也將采取必要措施管理違法、侵權或有其他不良影響的網絡信息。
一、根據《網絡信息內容生態(tài)治理規(guī)定》《中華人民共和國未成年人保護法》等法律法規(guī),對以下違法、不良信息或存在危害的行為進行處理。
1. 違反法律法規(guī)的信息,主要表現為:
1)反對憲法所確定的基本原則;
2)危害國家安全,泄露國家秘密,顛覆國家政權,破壞國家統(tǒng)一,損害國家榮譽和利益;
3)侮辱、濫用英烈形象,歪曲、丑化、褻瀆、否定英雄烈士事跡和精神,以侮辱、誹謗或者其他方式侵害英雄烈士的姓名、肖像、名譽、榮譽;
4)宣揚恐怖主義、極端主義或者煽動實施恐怖活動、極端主義活動;
5)煽動民族仇恨、民族歧視,破壞民族團結;
6)破壞國家宗教政策,宣揚邪教和封建迷信;
7)散布謠言,擾亂社會秩序,破壞社會穩(wěn)定;
8)宣揚淫穢、色情、賭博、暴力、兇殺、恐怖或者教唆犯罪;
9)煽動非法集會、結社、游行、示威、聚眾擾亂社會秩序;
10)侮辱或者誹謗他人,侵害他人名譽、隱私和其他合法權益;
11)通過網絡以文字、圖片、音視頻等形式,對未成年人實施侮辱、誹謗、威脅或者惡意損害未成年人形象進行網絡欺凌的;
12)危害未成年人身心健康的;
13)含有法律、行政法規(guī)禁止的其他內容;
2. 不友善:不尊重用戶及其所貢獻內容的信息或行為。主要表現為:
1)輕蔑:貶低、輕視他人及其勞動成果;
2)誹謗:捏造、散布虛假事實,損害他人名譽;
3)嘲諷:以比喻、夸張、侮辱性的手法對他人或其行為進行揭露或描述,以此來激怒他人;
4)挑釁:以不友好的方式激怒他人,意圖使對方對自己的言論作出回應,蓄意制造事端;
5)羞辱:貶低他人的能力、行為、生理或身份特征,讓對方難堪;
6)謾罵:以不文明的語言對他人進行負面評價;
7)歧視:煽動人群歧視、地域歧視等,針對他人的民族、種族、宗教、性取向、性別、年齡、地域、生理特征等身份或者歸類的攻擊;
8)威脅:許諾以不良的后果來迫使他人服從自己的意志;
3. 發(fā)布垃圾廣告信息:以推廣曝光為目的,發(fā)布影響用戶體驗、擾亂本網站秩序的內容,或進行相關行為。主要表現為:
1)多次發(fā)布包含售賣產品、提供服務、宣傳推廣內容的垃圾廣告。包括但不限于以下幾種形式:
2)單個帳號多次發(fā)布包含垃圾廣告的內容;
3)多個廣告帳號互相配合發(fā)布、傳播包含垃圾廣告的內容;
4)多次發(fā)布包含欺騙性外鏈的內容,如未注明的淘寶客鏈接、跳轉網站等,誘騙用戶點擊鏈接
5)發(fā)布大量包含推廣鏈接、產品、品牌等內容獲取搜索引擎中的不正當曝光;
6)購買或出售帳號之間虛假地互動,發(fā)布干擾網站秩序的推廣內容及相關交易。
7)發(fā)布包含欺騙性的惡意營銷內容,如通過偽造經歷、冒充他人等方式進行惡意營銷;
8)使用特殊符號、圖片等方式規(guī)避垃圾廣告內容審核的廣告內容。
4. 色情低俗信息,主要表現為:
1)包含自己或他人性經驗的細節(jié)描述或露骨的感受描述;
2)涉及色情段子、兩性笑話的低俗內容;
3)配圖、頭圖中包含庸俗或挑逗性圖片的內容;
4)帶有性暗示、性挑逗等易使人產生性聯(lián)想;
5)展現血腥、驚悚、殘忍等致人身心不適;
6)炒作緋聞、丑聞、劣跡等;
7)宣揚低俗、庸俗、媚俗內容。
5. 不實信息,主要表現為:
1)可能存在事實性錯誤或者造謠等內容;
2)存在事實夸大、偽造虛假經歷等誤導他人的內容;
3)偽造身份、冒充他人,通過頭像、用戶名等個人信息暗示自己具有特定身份,或與特定機構或個人存在關聯(lián)。
6. 傳播封建迷信,主要表現為:
1)找人算命、測字、占卜、解夢、化解厄運、使用迷信方式治?。?br /> 2)求推薦算命看相大師;
3)針對具體風水等問題進行求助或咨詢;
4)問自己或他人的八字、六爻、星盤、手相、面相、五行缺失,包括通過占卜方法問婚姻、前程、運勢,東西寵物丟了能不能找回、取名改名等;
7. 文章標題黨,主要表現為:
1)以各種夸張、獵奇、不合常理的表現手法等行為來誘導用戶;
2)內容與標題之間存在嚴重不實或者原意扭曲;
3)使用夸張標題,內容與標題嚴重不符的。
8.「飯圈」亂象行為,主要表現為:
1)誘導未成年人應援集資、高額消費、投票打榜
2)粉絲互撕謾罵、拉踩引戰(zhàn)、造謠攻擊、人肉搜索、侵犯隱私
3)鼓動「飯圈」粉絲攀比炫富、奢靡享樂等行為
4)以號召粉絲、雇用網絡水軍、「養(yǎng)號」形式刷量控評等行為
5)通過「蹭熱點」、制造話題等形式干擾輿論,影響傳播秩序
9. 其他危害行為或內容,主要表現為:
1)可能引發(fā)未成年人模仿不安全行為和違反社會公德行為、誘導未成年人不良嗜好影響未成年人身心健康的;
2)不當評述自然災害、重大事故等災難的;
3)美化、粉飾侵略戰(zhàn)爭行為的;
4)法律、行政法規(guī)禁止,或可能對網絡生態(tài)造成不良影響的其他內容。
二、違規(guī)處罰
本網站通過主動發(fā)現和接受用戶舉報兩種方式收集違規(guī)行為信息。所有有意的降低內容質量、傷害平臺氛圍及欺凌未成年人或危害未成年人身心健康的行為都是不能容忍的。
當一個用戶發(fā)布違規(guī)內容時,本網站將依據相關用戶違規(guī)情節(jié)嚴重程度,對帳號進行禁言 1 天、7 天、15 天直至永久禁言或封停賬號的處罰。當涉及欺凌未成年人、危害未成年人身心健康、通過作弊手段注冊、使用帳號,或者濫用多個帳號發(fā)布違規(guī)內容時,本網站將加重處罰。
三、申訴
隨著平臺管理經驗的不斷豐富,本網站出于維護本網站氛圍和秩序的目的,將不斷完善本公約。
如果本網站用戶對本網站基于本公約規(guī)定做出的處理有異議,可以通過「建議反饋」功能向本網站進行反饋。
(規(guī)則的最終解釋權歸屬本網站所有)