很可惜 T 。T 您現(xiàn)在還不是作者身份，不能自主發(fā)稿哦～
如有投稿需求，請把文章發(fā)送到郵箱tougao@appcpx.com，一經(jīng)錄用會有專人和您聯(lián)系
咨詢?nèi)绾纬蔀榇河鹱髡哒埪?lián)系：鳥哥筆記小羽毛（ngbjxym）
毛主席說：“研究任何過程，如果是存在著兩個以上矛盾的復雜過程的話，就要用全力找出它的主要矛盾，捉住了這個主要矛盾，一切問題就迎刃而解了?！?/p>
對于數(shù)據(jù)治理而言，矛盾就是：“有限的機器資源與存儲計算的無限增長之間的矛盾”。
因為存在主要矛盾，因而“數(shù)據(jù)治理”在被提出10多年后，依然是目前數(shù)據(jù)領域的熱門問題。解決的方法也很簡單，就是盡量限制存儲計算的增長，不論是通過技術手段，比如數(shù)據(jù)壓縮、列式存儲，還是通過方法論，比如維度建模、存儲健康分，都能夠延緩數(shù)據(jù)增長的困境。
但最大的問題，還是人的問題，可以這么說，不是數(shù)倉崗位，或者是數(shù)據(jù)開發(fā)崗位，對于數(shù)據(jù)治理或者數(shù)據(jù)風險問題的敏感性，都是不足的。這些不足主要體現(xiàn)在三個方面：
1、風險意識不強：一是數(shù)據(jù)治理通常偏事后分析，日常的生產(chǎn)與發(fā)布習慣非常隨意；二是數(shù)據(jù)質(zhì)量校驗覆蓋率不夠，或者是數(shù)據(jù)問題識別不夠準確；三是大多團隊成員都是業(yè)務開發(fā)，對于基礎治理動作投入有限。
2、治理方式不合理：數(shù)據(jù)治理通常面臨獎懲不平衡的問題，例如做的不好只會懲罰，做的再好也不表揚；治理動作通常是周期性的、個別人參與的，無法激發(fā)個體的主觀能動性。
2、臨時性任務：一些老的業(yè)務，因為維護人的變更，導致數(shù)據(jù)即使不再使用了，也沒有人能夠決定是否可以下線。
3、數(shù)據(jù)回刷頻繁：在電商等場景下，數(shù)據(jù)回刷的訴求非常多，導致集群的計算資源一直滿負荷運作。
2、資源不足：沒有時間或者只有很少的時間，能夠用在資源治理上。
3、能力不足：由于建模能力或者規(guī)范問題，導致數(shù)據(jù)的相似計算、數(shù)據(jù)傾斜、簡單加工、暴力掃描、參數(shù)不合理等問題非常突出。
因此，數(shù)據(jù)治理，首要在統(tǒng)一“人的共識”，建立“法制”流程。
既然要統(tǒng)一“人的共識”，那么我們就從“共性”的問題入手，逐步來分析解決的突破口。
作為數(shù)據(jù)開發(fā)，我們經(jīng)常遇到的“共性”問題有哪些？我想，大概有三點：
1、找不到數(shù)據(jù)：為什么我們要強調(diào)建模的規(guī)范？是因為為了讓其他人能夠看到這張表在做什么。當公司規(guī)模不斷擴大、數(shù)據(jù)依賴鏈路不斷加深，如果上下游的規(guī)范存在差異，比如命名、注釋與刷新周期，那么即便能夠根據(jù)血緣找到上游的表，也因為看不懂數(shù)據(jù)是什么意思、怎么設計的，而無法使用，只能自己再做一遍。
2、不敢用數(shù)據(jù)：重復數(shù)據(jù)一直是數(shù)據(jù)治理中的大問題，因為相似的表名或者字段，在元數(shù)據(jù)中通常能找到一大堆，加工的口徑各不相同，看到了也不敢用，只能自己再做一遍。
3、不讓用數(shù)據(jù)：隨著很多公司意識到機器成本的增長過快時，都會對數(shù)據(jù)的預算提出嚴格的要求，進而導致一些占用了過多資源的大業(yè)務，如何做新的需求成為難題。大家都在提要治理數(shù)據(jù)、降低存儲計算資源，卻很少有人來告訴你如何在有限規(guī)模下做數(shù)據(jù)的開發(fā)。
我們設想一個案例：指標A是公司的核心資產(chǎn)，但是因為客觀的原因，需要修改計算規(guī)則，那么我們會碰到這么幾類情況。
2、只需要修改對應的DWS表，但下游需要逐步排查影響范圍，涉及Y個接口，Z個產(chǎn)品模塊；
3、該指標在公司內(nèi)有唯一的涵義和計算規(guī)則，數(shù)據(jù)只在單一接口上透出，這時候只需要修改固定的幾張表。
盡管公司的業(yè)務通常非常復雜，但如果抽象的好，底層邏輯的修改，就不會對使用方產(chǎn)生過多的影響，避免無意義的數(shù)據(jù)整頓工作。
從這里例子中，我們能夠整理一下一些常見的問題：
1、從數(shù)據(jù)生產(chǎn)的角度：公共層的建模要有一定的規(guī)范性，至少需要經(jīng)過分析師或者是業(yè)務方的認可，不能隨意建表；同時，數(shù)據(jù)的產(chǎn)出時間需要保證，對應的質(zhì)量測試與監(jiān)控要有機制；
2、從數(shù)據(jù)使用的角度：研發(fā)工具要能夠統(tǒng)一起來，歷史表要有下線機制。
別小看了研發(fā)工具統(tǒng)一，在業(yè)務高速增長的時候，技術方案非常多變，用的越靈活，未來的技術債務就可能越高。
數(shù)據(jù)資產(chǎn)依托于Hadoop生態(tài)，其治理成本非常高，尤其是非結構化的數(shù)據(jù)，占用存儲計算量大，產(chǎn)出的價值又相對有限。過去我們主要針對的是存儲治理，但隨著任務量的增加，計算的治理也提上了日程。因而，從全局的角度出發(fā)，一家公司需要有自己統(tǒng)一的建模與評估方法，有統(tǒng)一的開發(fā)與運維平臺，在統(tǒng)一開發(fā)規(guī)范與開發(fā)方式的基礎上，才能談有效的數(shù)據(jù)資產(chǎn)治理。
“書同文，車同軌，統(tǒng)一度量衡”，是數(shù)據(jù)治理的核心思路。
統(tǒng)一共識，統(tǒng)一度量衡之后，我們就有了數(shù)據(jù)治理的“抓手”。更具體一些，就是當工作行為有了一定的標準化之后，就可以通過“數(shù)據(jù)指標”來進行一些衡量，從而看清楚數(shù)據(jù)資產(chǎn)的全局情況，以及需要改進的重點方向。
做用戶增長的都知道建立指標體系的重要性，做數(shù)據(jù)治理的同樣要有“用數(shù)據(jù)來治理數(shù)據(jù)”的意識。
那么思路具體怎么樣呢？主要有兩點，一個是數(shù)據(jù)模型本身的監(jiān)控，一個是業(yè)務復雜性的監(jiān)控。
數(shù)據(jù)模型的監(jiān)控可以理解，但為什么要監(jiān)控業(yè)務復雜性？是因為業(yè)務復雜性很大程度上影響了數(shù)據(jù)模型的復雜性和成本，因此同樣需要監(jiān)控。
先說數(shù)據(jù)模型的監(jiān)控，簡單講，有四條策略：規(guī)范要好；復用率要高；使用率要高；依賴層級不過深。
規(guī)范要好：做開發(fā)的基本都知道，做事情要有基本的規(guī)范，比如表的命名，要能夠清晰的看出是屬于哪個業(yè)務域、服務哪個產(chǎn)品模塊、是同步導出數(shù)據(jù)還是披露視圖、刷新周期如何，等等，這些都需要通過名稱來規(guī)范，因此當數(shù)據(jù)規(guī)范定好之后，就可以針對性的統(tǒng)計不符合規(guī)范的表，限期整改。
復用率要高：這一條是針對CDM層的。在維度建模理論中，CDM的主要作用就是提升數(shù)據(jù)的復用率，因此CDM（包括DWD、DWS和DIM）一定不是面向需求做的開發(fā)，而是針對業(yè)務過程做的統(tǒng)計。統(tǒng)計CDM層每張表的下游依賴數(shù)量，就能夠有效的考核公共層的建設水平，少有人用的CDM是不合格的。
使用率要高：這一條是針對ODS層的。ODS通常存儲了最多的數(shù)據(jù)，因此ODS數(shù)據(jù)如果被引用的不夠多，那么通常它的業(yè)務都不是那么重要，那么ODS表的存儲周期就可以適當?shù)目紤]縮減，并在引用數(shù)量與存儲周期之間尋找一種平衡。當然，肯定有特殊的例子，但特殊不代表普遍情況。另外，有一些ADS表是直接引用ODS的，如果業(yè)務發(fā)展初期，這么做是可以考慮的，但如果是成熟業(yè)務，這就應該。區(qū)分的方法依舊是通過表的命名，來判斷表述所屬的業(yè)務域與產(chǎn)品，并與業(yè)務域的成熟度掛鉤起來。
依賴層級不過深：這一條是針對ADS層的。最讓數(shù)據(jù)人頭疼的問題，莫過于數(shù)據(jù)層層向前追溯，發(fā)現(xiàn)鏈路極其之長，用都不敢用。因此ADS層自身的依賴深度，包括最大依賴深度、不同依賴深度的統(tǒng)計，能夠看出ADS層建設的一些問題。
再說業(yè)務復雜性的監(jiān)控，也是四條策略：總鏈路長度、總代碼量、總成本預估、項目管理。業(yè)務復雜性監(jiān)控的前提，是梳理核心的ADS產(chǎn)品出口表，整理清楚每個產(chǎn)品模塊或者接口對應了哪些ADS表。
總鏈路長度：計算一個產(chǎn)品出口表從ODS到ADS的全路徑長度，鏈路越長，存儲和資源資源占用越多。
總代碼量：計算一個產(chǎn)品出口表從ODS到ADS中涉及的代碼總量是多少，代碼量越高，代表計算資源消耗越多。
總成本預估：依據(jù)鏈路表的存儲數(shù)據(jù)量與機器資源消耗，推斷一個產(chǎn)品消耗的數(shù)據(jù)成本。
項目管理：從根源上治理需求多亂的情況，這里不展開說這個問題。
當然，隨著對于數(shù)據(jù)的理解不斷加深，我們還會做更多有價值的分析，比如分析每個SQL的寫法是否合理，等等。但不論怎樣，有了統(tǒng)計指標，就能夠看清全局現(xiàn)狀，就能夠針對性的治理。
就像任何方案都有“上中下”三策一樣，解決問題同樣要有“短中長”的策略。
短期方案著重點在于改善上述提到的統(tǒng)計指標，迅速將一些低級問題解決掉。因為一旦有了指標的概念，可以調(diào)動研發(fā)同學的主觀能動性。
中期方案要整理數(shù)據(jù)的架構體系，包括建立完整規(guī)范制度和技術結構，通過方法論和文化的方式，來影響每一位小二。
長期通過技術創(chuàng)新的方式，實現(xiàn)自動任務優(yōu)化，協(xié)助降低數(shù)據(jù)的維護管理工作量，例如最近比較熱門的“云原生”概念。
但不論怎樣的策略，都需要考慮歷史債務的問題，以及如何不再新增債務。
完美的解決方案通常不存在，退而求其次是大多數(shù)人的選擇。當技術無法解決問題時，不妨用另類思路去解決。
當然，廣義的數(shù)據(jù)資產(chǎn)治理，要擴展到更多的方面去闡述，比如數(shù)據(jù)安全、比如數(shù)據(jù)孤島問題，每一個都需要系統(tǒng)的理論來闡述。
但最后我想講的是，這其實涉及到了擇業(yè)的問題，企業(yè)效率的提升無非兩點：降本與提效。提效可以通過數(shù)據(jù)分析的角度來解決，而降本就需要通過數(shù)據(jù)資產(chǎn)治理來推動了。擇業(yè)的時候，如果僅僅是熟練使用工具，很容易被淘汰，而掌握了降本與提效的方法論，應對中年危機，就要更加的得心應手一些了。
-END-
本文為作者獨立觀點，不代表鳥哥筆記立場，未經(jīng)允許不得轉載。
《鳥哥筆記版權及免責申明》 如對文章、圖片、字體等版權有疑問，請點擊 反饋舉報
我們致力于提供一個高質(zhì)量內(nèi)容的交流平臺。為落實國家互聯(lián)網(wǎng)信息辦公室“依法管網(wǎng)、依法辦網(wǎng)、依法上網(wǎng)”的要求，為完善跟帖評論自律管理，為了保護用戶創(chuàng)造的內(nèi)容、維護開放、真實、專業(yè)的平臺氛圍，我們團隊將依據(jù)本公約中的條款對注冊用戶和發(fā)布在本平臺的內(nèi)容進行管理。平臺鼓勵用戶創(chuàng)作、發(fā)布優(yōu)質(zhì)內(nèi)容，同時也將采取必要措施管理違法、侵權或有其他不良影響的網(wǎng)絡信息。
一、根據(jù)《網(wǎng)絡信息內(nèi)容生態(tài)治理規(guī)定》《中華人民共和國未成年人保護法》等法律法規(guī)，對以下違法、不良信息或存在危害的行為進行處理。
1. 違反法律法規(guī)的信息，主要表現(xiàn)為：
1)反對憲法所確定的基本原則；
2)危害國家安全，泄露國家秘密，顛覆國家政權，破壞國家統(tǒng)一，損害國家榮譽和利益；
3)侮辱、濫用英烈形象，歪曲、丑化、褻瀆、否定英雄烈士事跡和精神，以侮辱、誹謗或者其他方式侵害英雄烈士的姓名、肖像、名譽、榮譽；
4)宣揚恐怖主義、極端主義或者煽動實施恐怖活動、極端主義活動；
5)煽動民族仇恨、民族歧視，破壞民族團結；
6)破壞國家宗教政策，宣揚邪教和封建迷信；
7)散布謠言，擾亂社會秩序，破壞社會穩(wěn)定；
8)宣揚淫穢、色情、賭博、暴力、兇殺、恐怖或者教唆犯罪；
9)煽動非法集會、結社、游行、示威、聚眾擾亂社會秩序；
10)侮辱或者誹謗他人，侵害他人名譽、隱私和其他合法權益；
11)通過網(wǎng)絡以文字、圖片、音視頻等形式，對未成年人實施侮辱、誹謗、威脅或者惡意損害未成年人形象進行網(wǎng)絡欺凌的；
12)危害未成年人身心健康的；
13)含有法律、行政法規(guī)禁止的其他內(nèi)容；
2. 不友善：不尊重用戶及其所貢獻內(nèi)容的信息或行為。主要表現(xiàn)為：
1)輕蔑：貶低、輕視他人及其勞動成果；
2)誹謗：捏造、散布虛假事實，損害他人名譽；
3)嘲諷：以比喻、夸張、侮辱性的手法對他人或其行為進行揭露或描述，以此來激怒他人；
4)挑釁：以不友好的方式激怒他人，意圖使對方對自己的言論作出回應，蓄意制造事端；
5)羞辱：貶低他人的能力、行為、生理或身份特征，讓對方難堪；
6)謾罵：以不文明的語言對他人進行負面評價；
7)歧視：煽動人群歧視、地域歧視等，針對他人的民族、種族、宗教、性取向、性別、年齡、地域、生理特征等身份或者歸類的攻擊；
8)威脅：許諾以不良的后果來迫使他人服從自己的意志；
3. 發(fā)布垃圾廣告信息：以推廣曝光為目的，發(fā)布影響用戶體驗、擾亂本網(wǎng)站秩序的內(nèi)容，或進行相關行為。主要表現(xiàn)為：
1)多次發(fā)布包含售賣產(chǎn)品、提供服務、宣傳推廣內(nèi)容的垃圾廣告。包括但不限于以下幾種形式：
2)單個帳號多次發(fā)布包含垃圾廣告的內(nèi)容；
3)多個廣告帳號互相配合發(fā)布、傳播包含垃圾廣告的內(nèi)容；
4)多次發(fā)布包含欺騙性外鏈的內(nèi)容，如未注明的淘寶客鏈接、跳轉網(wǎng)站等，誘騙用戶點擊鏈接
5)發(fā)布大量包含推廣鏈接、產(chǎn)品、品牌等內(nèi)容獲取搜索引擎中的不正當曝光；
6)購買或出售帳號之間虛假地互動，發(fā)布干擾網(wǎng)站秩序的推廣內(nèi)容及相關交易。
7)發(fā)布包含欺騙性的惡意營銷內(nèi)容，如通過偽造經(jīng)歷、冒充他人等方式進行惡意營銷；
8)使用特殊符號、圖片等方式規(guī)避垃圾廣告內(nèi)容審核的廣告內(nèi)容。
4. 色情低俗信息，主要表現(xiàn)為：
1)包含自己或他人性經(jīng)驗的細節(jié)描述或露骨的感受描述；
2)涉及色情段子、兩性笑話的低俗內(nèi)容；
3)配圖、頭圖中包含庸俗或挑逗性圖片的內(nèi)容；
4)帶有性暗示、性挑逗等易使人產(chǎn)生性聯(lián)想；
5)展現(xiàn)血腥、驚悚、殘忍等致人身心不適；
6)炒作緋聞、丑聞、劣跡等；
7)宣揚低俗、庸俗、媚俗內(nèi)容。
5. 不實信息，主要表現(xiàn)為：
1)可能存在事實性錯誤或者造謠等內(nèi)容；
2)存在事實夸大、偽造虛假經(jīng)歷等誤導他人的內(nèi)容；
3)偽造身份、冒充他人，通過頭像、用戶名等個人信息暗示自己具有特定身份，或與特定機構或個人存在關聯(lián)。
6. 傳播封建迷信，主要表現(xiàn)為：
1)找人算命、測字、占卜、解夢、化解厄運、使用迷信方式治??；
2)求推薦算命看相大師；
3)針對具體風水等問題進行求助或咨詢；
4)問自己或他人的八字、六爻、星盤、手相、面相、五行缺失，包括通過占卜方法問婚姻、前程、運勢，東西寵物丟了能不能找回、取名改名等；
7. 文章標題黨，主要表現(xiàn)為：
1)以各種夸張、獵奇、不合常理的表現(xiàn)手法等行為來誘導用戶；
2)內(nèi)容與標題之間存在嚴重不實或者原意扭曲；
3)使用夸張標題，內(nèi)容與標題嚴重不符的。
8.「飯圈」亂象行為，主要表現(xiàn)為：
1)誘導未成年人應援集資、高額消費、投票打榜
2)粉絲互撕謾罵、拉踩引戰(zhàn)、造謠攻擊、人肉搜索、侵犯隱私
3)鼓動「飯圈」粉絲攀比炫富、奢靡享樂等行為
4)以號召粉絲、雇用網(wǎng)絡水軍、「養(yǎng)號」形式刷量控評等行為
5)通過「蹭熱點」、制造話題等形式干擾輿論，影響傳播秩序
9. 其他危害行為或內(nèi)容，主要表現(xiàn)為：
1)可能引發(fā)未成年人模仿不安全行為和違反社會公德行為、誘導未成年人不良嗜好影響未成年人身心健康的；
2)不當評述自然災害、重大事故等災難的；
3)美化、粉飾侵略戰(zhàn)爭行為的；
4)法律、行政法規(guī)禁止，或可能對網(wǎng)絡生態(tài)造成不良影響的其他內(nèi)容。
二、違規(guī)處罰
本網(wǎng)站通過主動發(fā)現(xiàn)和接受用戶舉報兩種方式收集違規(guī)行為信息。所有有意的降低內(nèi)容質(zhì)量、傷害平臺氛圍及欺凌未成年人或危害未成年人身心健康的行為都是不能容忍的。
當一個用戶發(fā)布違規(guī)內(nèi)容時，本網(wǎng)站將依據(jù)相關用戶違規(guī)情節(jié)嚴重程度，對帳號進行禁言 1 天、7 天、15 天直至永久禁言或封停賬號的處罰。當涉及欺凌未成年人、危害未成年人身心健康、通過作弊手段注冊、使用帳號，或者濫用多個帳號發(fā)布違規(guī)內(nèi)容時，本網(wǎng)站將加重處罰。
三、申訴
隨著平臺管理經(jīng)驗的不斷豐富，本網(wǎng)站出于維護本網(wǎng)站氛圍和秩序的目的，將不斷完善本公約。
如果本網(wǎng)站用戶對本網(wǎng)站基于本公約規(guī)定做出的處理有異議，可以通過「建議反饋」功能向本網(wǎng)站進行反饋。
(規(guī)則的最終解釋權歸屬本網(wǎng)站所有)