很可惜 T 。T 您現(xiàn)在還不是作者身份,不能自主發(fā)稿哦~
如有投稿需求,請(qǐng)把文章發(fā)送到郵箱tougao@appcpx.com,一經(jīng)錄用會(huì)有專人和您聯(lián)系
咨詢?nèi)绾纬蔀榇河鹱髡哒?qǐng)聯(lián)系:鳥哥筆記小羽毛(ngbjxym)
本文分為兩大節(jié)介紹,第一節(jié)是數(shù)倉(cāng)建設(shè),第二節(jié)是數(shù)據(jù)治理,內(nèi)容較長(zhǎng),還請(qǐng)耐心閱讀!
在談數(shù)倉(cāng)之前,先來看下面幾個(gè)問題:
1、用空間換時(shí)間,通過大量的預(yù)處理來提升應(yīng)用系統(tǒng)的用戶體驗(yàn)(效率),因此數(shù)據(jù)倉(cāng)庫(kù)會(huì)存在大量冗余的數(shù)據(jù);不分層的話,如果源業(yè)務(wù)系統(tǒng)的業(yè)務(wù)規(guī)則發(fā)生變化將會(huì)影響整個(gè)數(shù)據(jù)清洗過程,工作量巨大。
2、通過數(shù)據(jù)分層管理可以簡(jiǎn)化數(shù)據(jù)清洗的過程,因?yàn)榘言瓉硪徊降墓ぷ鞣值搅硕鄠€(gè)步驟去完成,相當(dāng)于把一個(gè)復(fù)雜的工作拆成了多個(gè)簡(jiǎn)單的工作,把一個(gè)大的黑盒變成了一個(gè)白盒,每一層的處理邏輯都相對(duì)簡(jiǎn)單和容易理解,這樣我們比較容易保證每一個(gè)步驟的正確性,當(dāng)數(shù)據(jù)發(fā)生錯(cuò)誤的時(shí)候,往往我們只需要局部調(diào)整某個(gè)步驟即可。
數(shù)據(jù)倉(cāng)庫(kù)之父 Bill Inmon對(duì)數(shù)據(jù)倉(cāng)庫(kù)做了定義——面向主題的、集成的、相對(duì)穩(wěn)定的、反映歷史變化的數(shù)據(jù)集合,用于支持管理決策。從定義上來看,數(shù)據(jù)倉(cāng)庫(kù)的關(guān)鍵詞為面向主題、集成、穩(wěn)定、反映歷史變化、支持管理決策,而這些關(guān)鍵詞的實(shí)現(xiàn)就體現(xiàn)在分層架構(gòu)內(nèi)。
一個(gè)好的分層架構(gòu),有以下好處:
1、清晰數(shù)據(jù)結(jié)構(gòu):每一個(gè)數(shù)據(jù)分層都有對(duì)應(yīng)的作用域,在使用數(shù)據(jù)的時(shí)候能更方便的定位和理解。
2、數(shù)據(jù)血緣追蹤:提供給業(yè)務(wù)人員或下游系統(tǒng)的數(shù)據(jù)服務(wù)時(shí)都是目標(biāo)數(shù)據(jù),目標(biāo)數(shù)據(jù)的數(shù)據(jù)來源一般都來自于多張表數(shù)據(jù)。若出現(xiàn)目標(biāo)數(shù)據(jù)異常時(shí),清晰的血緣關(guān)系可以快速定位問題所在。而且,血緣管理也是元數(shù)據(jù)管理重要的一部分。
3、減少重復(fù)開發(fā):數(shù)據(jù)的逐層加工原則,下層包含了上層數(shù)據(jù)加工所需要的全量數(shù)據(jù),這樣的加工方式避免了每個(gè)數(shù)據(jù)開發(fā)人員都重新從源系統(tǒng)抽取數(shù)據(jù)進(jìn)行加工。
4、數(shù)據(jù)關(guān)系條理化:源系統(tǒng)間存在復(fù)雜的數(shù)據(jù)關(guān)系,比如客戶信息同時(shí)存在于核心系統(tǒng)、信貸系統(tǒng)、理財(cái)系統(tǒng)、資金系統(tǒng),取數(shù)時(shí)該如何決策呢?數(shù)據(jù)倉(cāng)庫(kù)會(huì)對(duì)相同主題的數(shù)據(jù)進(jìn)行統(tǒng)一建模,把復(fù)雜的數(shù)據(jù)關(guān)系梳理成條理清晰的數(shù)據(jù)模型,使用時(shí)就可避免上述問題了。
5、屏蔽原始數(shù)據(jù)的影響:數(shù)據(jù)的逐層加工原則,上層的數(shù)據(jù)都由下一層的數(shù)據(jù)加工獲取,不允許跳級(jí)取數(shù)。而原始數(shù)據(jù)位于數(shù)倉(cāng)的最底層,離應(yīng)用層數(shù)據(jù)還有多層的數(shù)據(jù)加工,所以加工應(yīng)用層數(shù)據(jù)的過程中就會(huì)把原始數(shù)據(jù)的變更消除掉,保持應(yīng)用層的穩(wěn)定性。
目前市場(chǎng)上主流的分層方式眼花繚亂,不過看事情不能只看表面,還要看到內(nèi)在的規(guī)律,不能為了分層而分層,沒有最好的,只有適合的。
分層是以解決當(dāng)前業(yè)務(wù)快速的數(shù)據(jù)支撐為目的,為未來抽象出共性的框架并能夠賦能給其他業(yè)務(wù)線,同時(shí)為業(yè)務(wù)發(fā)展提供穩(wěn)定、準(zhǔn)確的數(shù)據(jù)支撐,并能夠按照已有的模型為新業(yè)務(wù)發(fā)展提供方向,也就是數(shù)據(jù)驅(qū)動(dòng)和賦能。
1、穩(wěn)定:數(shù)據(jù)產(chǎn)出穩(wěn)定且有保障。
2、可信:數(shù)據(jù)干凈、數(shù)據(jù)質(zhì)量高。
3、豐富:數(shù)據(jù)涵蓋的業(yè)務(wù)足夠廣泛。
4、透明:數(shù)據(jù)構(gòu)成體系足夠透明。
數(shù)倉(cāng)設(shè)計(jì)的3個(gè)維度:
功能架構(gòu):結(jié)構(gòu)層次清晰。
數(shù)據(jù)架構(gòu):數(shù)據(jù)質(zhì)量有保障。
技術(shù)架構(gòu):易擴(kuò)展、易用。
按照數(shù)據(jù)流入流出的過程,數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)可分為:源數(shù)據(jù)、數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)應(yīng)用。
數(shù)據(jù)倉(cāng)庫(kù)
數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)來源于不同的源數(shù)據(jù),并提供多樣的數(shù)據(jù)應(yīng)用,數(shù)據(jù)自下而上流入數(shù)據(jù)倉(cāng)庫(kù)后向上層開放應(yīng)用,而數(shù)據(jù)倉(cāng)庫(kù)只是中間集成化數(shù)據(jù)管理的一個(gè)平臺(tái)。
源數(shù)據(jù):此層數(shù)據(jù)無任何更改,直接沿用外圍系統(tǒng)數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù),不對(duì)外開放;為臨時(shí)存儲(chǔ)層,是接口數(shù)據(jù)的臨時(shí)存儲(chǔ)區(qū)域,為后一步的數(shù)據(jù)處理做準(zhǔn)備。
數(shù)據(jù)倉(cāng)庫(kù):也稱為細(xì)節(jié)層,DW層的數(shù)據(jù)應(yīng)該是一致的、準(zhǔn)確的、干凈的數(shù)據(jù),即對(duì)源系統(tǒng)數(shù)據(jù)進(jìn)行了清洗(去除了雜質(zhì))后的數(shù)據(jù)。
數(shù)據(jù)應(yīng)用:前端應(yīng)用直接讀取的數(shù)據(jù)源;根據(jù)報(bào)表、專題分析需求而計(jì)算生成的數(shù)據(jù)。
數(shù)據(jù)倉(cāng)庫(kù)從各數(shù)據(jù)源獲取數(shù)據(jù)及在數(shù)據(jù)倉(cāng)庫(kù)內(nèi)的數(shù)據(jù)轉(zhuǎn)換和流動(dòng)都可以認(rèn)為是ETL(抽取Extra, 轉(zhuǎn)化Transfer, 裝載Load)的過程,ETL是數(shù)據(jù)倉(cāng)庫(kù)的流水線,也可以認(rèn)為是數(shù)據(jù)倉(cāng)庫(kù)的血液,它維系著數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)的新陳代謝,而數(shù)據(jù)倉(cāng)庫(kù)日常的管理和維護(hù)工作的大部分精力就是保持ETL的正常和穩(wěn)定。
建設(shè)數(shù)據(jù)倉(cāng)庫(kù)猶如創(chuàng)造一條新的生命,分層架構(gòu)只是這條生命的邏輯骨架而已。想要在骨架上長(zhǎng)出血肉,就必須進(jìn)行合適的數(shù)據(jù)建模,數(shù)據(jù)倉(cāng)庫(kù)的強(qiáng)壯還是孱弱,健美還是丑陋,就取決于建模的結(jié)果。
數(shù)據(jù)倉(cāng)庫(kù)的建模方法有很多種,每一種建模方法代表了哲學(xué)上的一個(gè)觀點(diǎn),代表了一種歸納、概括世界的一種方法。常見的有 范式建模法、維度建模法、實(shí)體建模法等,每種方法從本質(zhì)上將是從不同的角度看待業(yè)務(wù)中的問題。
范式建模法其實(shí)是我們?cè)跇?gòu)建數(shù)據(jù)模型常用的一個(gè)方法,該方法的主要由 Inmon 所提倡,主要解決關(guān)系型數(shù)據(jù)庫(kù)的數(shù)據(jù)存儲(chǔ),利用的一種技術(shù)層面上的方法。目前,我們?cè)陉P(guān)系型數(shù)據(jù)庫(kù)中的建模方法,大部分采用的是三范式建模法。
范式 是符合某一種級(jí)別的關(guān)系模式的集合。構(gòu)造數(shù)據(jù)庫(kù)必須遵循一定的規(guī)則,而在關(guān)系型數(shù)據(jù)庫(kù)中這種規(guī)則就是范式,這一過程也被稱為規(guī)范化。目前關(guān)系數(shù)據(jù)庫(kù)有六種范式:第一范式(1NF)、第二范式(2NF)、第三范式(3NF)、Boyce-Codd范式(BCNF)、第四范式(4NF)和第五范式(5NF)。
在數(shù)據(jù)倉(cāng)庫(kù)的模型設(shè)計(jì)中,一般采用第三范式。一個(gè)符合第三范式的關(guān)系必須具有以下三個(gè)條件 :
每個(gè)屬性值唯一,不具有多義性 ;
每個(gè)非主屬性必須完全依賴于整個(gè)主鍵,而非主鍵的一部分 ;
每個(gè)非主屬性不能依賴于其他關(guān)系中的屬性,因?yàn)檫@樣的話,這種屬性應(yīng)該歸到其他關(guān)系中去。
范式建模
根據(jù) Inmon 的觀點(diǎn),數(shù)據(jù)倉(cāng)庫(kù)模型的建設(shè)方法和業(yè)務(wù)系統(tǒng)的企業(yè)數(shù)據(jù)模型類似。在業(yè)務(wù)系統(tǒng)中,企業(yè)數(shù)據(jù)模型決定了數(shù)據(jù)的來源,而企業(yè)數(shù)據(jù)模型也分為兩個(gè)層次,即主題域模型和邏輯模型。同樣,主題域模型可以看成是業(yè)務(wù)模型的概念模型,而邏輯模型則是域模型在關(guān)系型數(shù)據(jù)庫(kù)上的實(shí)例化。
實(shí)體建模法并不是數(shù)據(jù)倉(cāng)庫(kù)建模中常見的一個(gè)方法,它來源于哲學(xué)的一個(gè)流派。從哲學(xué)的意義上說,客觀世界應(yīng)該是可以細(xì)分的,客觀世界應(yīng)該可以分成由一個(gè)個(gè)實(shí)體,以及實(shí)體與實(shí)體之間的關(guān)系組成。那么我們?cè)跀?shù)據(jù)倉(cāng)庫(kù)的建模過程中完全可以引入這個(gè)抽象的方法,將整個(gè)業(yè)務(wù)也可以劃分成一個(gè)個(gè)的實(shí)體,而每個(gè)實(shí)體之間的關(guān)系,以及針對(duì)這些關(guān)系的說明就是我們數(shù)據(jù)建模需要做的工作。
雖然實(shí)體法粗看起來好像有一些抽象,其實(shí)理解起來很容易。即我們可以將任何一個(gè)業(yè)務(wù)過程劃分成 3 個(gè)部分,實(shí)體,事件,說明,如下圖所示:
實(shí)體建模
上圖表述的是一個(gè)抽象的含義,如果我們描述一個(gè)簡(jiǎn)單的事實(shí):“小明開車去學(xué)校上學(xué)”。以這個(gè)業(yè)務(wù)事實(shí)為例,我們可以把“小明”,“學(xué)?!笨闯墒且粋€(gè)實(shí)體,“上學(xué)”描述的是一個(gè)業(yè)務(wù)過程,我們?cè)谶@里可以抽象為一個(gè)具體“事件”,而“開車去”則可以看成是事件“上學(xué)”的一個(gè)說明。
維度模型是數(shù)據(jù)倉(cāng)庫(kù)領(lǐng)域另一位大師Ralph Kimall所倡導(dǎo),他的《數(shù)據(jù)倉(cāng)庫(kù)工具箱》是數(shù)據(jù)倉(cāng)庫(kù)工程領(lǐng)域最流行的數(shù)倉(cāng)建模經(jīng)典。維度建模以分析決策的需求出發(fā)構(gòu)建模型,構(gòu)建的數(shù)據(jù)模型為分析需求服務(wù),因此它重點(diǎn)解決用戶如何更快速完成分析需求,同時(shí)還有較好的大規(guī)模復(fù)雜查詢的響應(yīng)性能。
星形模型
典型的代表是我們比較熟知的星形模型(Star-schema),以及在一些特殊場(chǎng)景下適用的雪花模型(Snow-schema)。
維度建模中比較重要的概念就是 事實(shí)表(Fact table)和維度表(Dimension table)。其最簡(jiǎn)單的描述就是,按照事實(shí)表、維度表來構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)集市。
目前在互聯(lián)網(wǎng)公司最常用的建模方法就是維度建模。
維度建模怎么建:
在實(shí)際業(yè)務(wù)中,給了我們一堆數(shù)據(jù),我們?cè)趺茨眠@些數(shù)據(jù)進(jìn)行數(shù)倉(cāng)建設(shè)呢,數(shù)倉(cāng)工具箱作者根據(jù)自身60多年的實(shí)際業(yè)務(wù)經(jīng)驗(yàn),給我們總結(jié)了如下四步。
數(shù)倉(cāng)工具箱中的維度建模四步走:
維度建模四步走
這四步是環(huán)環(huán)相扣,步步相連。下面詳細(xì)拆解下每個(gè)步驟怎么做:
1、選擇業(yè)務(wù)過程
維度建模是緊貼業(yè)務(wù)的,所以必須以業(yè)務(wù)為根基進(jìn)行建模,那么選擇業(yè)務(wù)過程,顧名思義就是在整個(gè)業(yè)務(wù)流程中選取我們需要建模的業(yè)務(wù),根據(jù)運(yùn)營(yíng)提供的需求及日后的易擴(kuò)展性等進(jìn)行選擇業(yè)務(wù)。比如商城,整個(gè)商城流程分為商家端,用戶端,平臺(tái)端,運(yùn)營(yíng)需求是總訂單量,訂單人數(shù),及用戶的購(gòu)買情況等,我們選擇業(yè)務(wù)過程就選擇用戶端的數(shù)據(jù),商家及平臺(tái)端暫不考慮。業(yè)務(wù)選擇非常重要,因?yàn)楹竺嫠械牟襟E都是基于此業(yè)務(wù)數(shù)據(jù)展開的。
2、聲明粒度
3、確認(rèn)維度
維度表是作為業(yè)務(wù)分析的入口和描述性標(biāo)識(shí),所以也被稱為數(shù)據(jù)倉(cāng)庫(kù)的“靈魂”。在一堆的數(shù)據(jù)中怎么確認(rèn)哪些是維度屬性呢,如果該列是對(duì)具體值的描述,是一個(gè)文本或常量,某一約束和行標(biāo)識(shí)的參與者,此時(shí)該屬性往往是維度屬性,數(shù)倉(cāng)工具箱中告訴我們牢牢掌握事實(shí)表的粒度,就能將所有可能存在的維度區(qū)分開,并且要確保維度表中不能出現(xiàn)重復(fù)數(shù)據(jù),應(yīng)使維度主鍵唯一
4、確認(rèn)事實(shí)
事實(shí)表是用來度量的,基本上都以數(shù)量值表示,事實(shí)表中的每行對(duì)應(yīng)一個(gè)度量,每行中的數(shù)據(jù)是一個(gè)特定級(jí)別的細(xì)節(jié)數(shù)據(jù),稱為粒度。維度建模的核心原則之一是同一事實(shí)表中的所有度量必須具有相同的粒度。這樣能確保不會(huì)出現(xiàn)重復(fù)計(jì)算度量的問題。有時(shí)候往往不能確定該列數(shù)據(jù)是事實(shí)屬性還是維度屬性。記住最實(shí)用的事實(shí)就是數(shù)值類型和可加類事實(shí)。所以可以通過分析該列是否是一種包含多個(gè)值并作為計(jì)算的參與者的度量,這種情況下該列往往是事實(shí)。
其中粒度是非常重要的,粒度用于確定事實(shí)表的行表示什么,建議從關(guān)注原子級(jí)別的粒度數(shù)據(jù)開始設(shè)計(jì),因?yàn)樵恿6饶軌虺惺軣o法預(yù)估的用戶查詢,而且原子數(shù)據(jù)可以以各種可能的方式進(jìn)行上卷,而一旦選擇了高粒度,則無法滿足用戶下鉆細(xì)節(jié)的需求。
事實(shí)是整個(gè)維度建模的核心,其中雪花模型或者星型模型都是基于一張事實(shí)表通過外健關(guān)聯(lián)維表進(jìn)行擴(kuò)展,生成一份能夠支撐可預(yù)知查詢需求的模型寬表,而且最后的查詢也是落在事實(shí)表中進(jìn)行。
數(shù)倉(cāng)分層要結(jié)合公司業(yè)務(wù)進(jìn)行,并且需要清晰明確各層職責(zé),要保證數(shù)據(jù)層的穩(wěn)定又要屏蔽對(duì)下游影響,一般采用如下分層結(jié)構(gòu):
數(shù)據(jù)分層架構(gòu)
使用四張圖說明每層的具體實(shí)現(xiàn)
數(shù)據(jù)源層ODS
數(shù)據(jù)源層
數(shù)據(jù)源層主要將各個(gè)業(yè)務(wù)數(shù)據(jù)導(dǎo)入到大數(shù)據(jù)平臺(tái),作為業(yè)務(wù)數(shù)據(jù)的快照存儲(chǔ)。
數(shù)據(jù)明細(xì)層DW
數(shù)據(jù)明細(xì)層
事實(shí)表中的每行對(duì)應(yīng)一個(gè)度量,每行中的數(shù)據(jù)是一個(gè)特定級(jí)別的細(xì)節(jié)數(shù)據(jù),稱為粒度。維度建模的核心原則之一是同一事實(shí)表中的所有度量必須具有相同的粒度。這樣能確保不會(huì)出現(xiàn)重復(fù)計(jì)算度量的問題。
維度表一般都是單一主鍵,少數(shù)是聯(lián)合主鍵,注意維度表不要出現(xiàn)重復(fù)數(shù)據(jù),否則和事實(shí)表關(guān)聯(lián)會(huì)出現(xiàn)數(shù)據(jù)發(fā)散問題。
有時(shí)候往往不能確定該列數(shù)據(jù)是事實(shí)屬性還是維度屬性。記住最實(shí)用的事實(shí)就是數(shù)值類型和可加類事實(shí)。所以可以通過分析該列是否是一種包含多個(gè)值并作為計(jì)算的參與者的度量,這種情況下該列往往是事實(shí);如果該列是對(duì)具體值的描述,是一個(gè)文本或常量,某一約束和行標(biāo)識(shí)的參與者,此時(shí)該屬性往往是維度屬性。但是還是要結(jié)合業(yè)務(wù)進(jìn)行最終判斷是維度還是事實(shí)。
數(shù)據(jù)輕度匯總層DM
數(shù)據(jù)輕度匯總層
此層命名為輕匯總層,就代表這一層已經(jīng)開始對(duì)數(shù)據(jù)進(jìn)行匯總,但是不是完全匯總,只是對(duì)相同粒度的數(shù)據(jù)進(jìn)行關(guān)聯(lián)匯總,不同粒度但是有關(guān)系的數(shù)據(jù)也可進(jìn)行匯總,此時(shí)需要將粒度通過聚合等操作進(jìn)行統(tǒng)一。
數(shù)據(jù)應(yīng)用層APP
數(shù)據(jù)應(yīng)用層
數(shù)據(jù)應(yīng)用層的表就是提供給用戶使用的,數(shù)倉(cāng)建設(shè)到此就接近尾聲了,接下來就根據(jù)不同的需求進(jìn)行不同的取數(shù),如直接進(jìn)行報(bào)表展示,或提供給數(shù)據(jù)分析的同事所需的數(shù)據(jù),或其他的業(yè)務(wù)支撐。
一張圖總結(jié)下數(shù)據(jù)倉(cāng)庫(kù)的構(gòu)建整體流程:
數(shù)倉(cāng)整體流程
數(shù)倉(cāng)建設(shè)真正的難點(diǎn)不在于數(shù)倉(cāng)設(shè)計(jì),而在于后續(xù)業(yè)務(wù)發(fā)展起來,業(yè)務(wù)線變的龐大之后的數(shù)據(jù)治理,包括資產(chǎn)治理、數(shù)據(jù)質(zhì)量監(jiān)控、數(shù)據(jù)指標(biāo)體系的建設(shè)等。
其實(shí)數(shù)據(jù)治理的范圍很?,包含數(shù)據(jù)本?的管理、數(shù)據(jù)安全、數(shù)據(jù)質(zhì)量、數(shù)據(jù)成本等。在DAMA 數(shù)據(jù)管理知識(shí)體系指南中,數(shù)據(jù)治理位于數(shù)據(jù)管理“車輪圖”的正中央,是數(shù)據(jù)架構(gòu)、數(shù)據(jù)建模、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)安全、數(shù)據(jù)質(zhì)量、元數(shù)據(jù)管理、主數(shù)據(jù)管理等10大數(shù)據(jù)管理領(lǐng)域的總綱,為各項(xiàng)數(shù)據(jù)管理活動(dòng)提供總體指導(dǎo)策略。
為發(fā)揮數(shù)據(jù)價(jià)值需要滿足三個(gè)要素:合理的平臺(tái)架構(gòu)、完善的治理服務(wù)、體系化的運(yùn)營(yíng)手段。
根據(jù)企業(yè)的規(guī)模、所屬行業(yè)、數(shù)據(jù)量等情況選擇合適的平臺(tái)架構(gòu);治理服務(wù)需要貫穿數(shù)據(jù)全生命周期,保證數(shù)據(jù)在采集、加工、共享、存儲(chǔ)、應(yīng)用整個(gè)過程中的完整性、準(zhǔn)確性、一致性和實(shí)效性;運(yùn)營(yíng)手段則應(yīng)當(dāng)包括規(guī)范的優(yōu)化、組織的優(yōu)化、平臺(tái)的優(yōu)化以及流程的優(yōu)化等等方面。
數(shù)據(jù)治理需要循序漸進(jìn),但在建設(shè)初期至少需要關(guān)注三個(gè)方面:數(shù)據(jù)規(guī)范、數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全。規(guī)范化的模型管理是保障數(shù)據(jù)可以被治理的前提條件,高質(zhì)量的數(shù)據(jù)是數(shù)據(jù)可用的前提條件,數(shù)據(jù)的安全管控是數(shù)據(jù)可以共享交換的前提條件。
數(shù)據(jù)治理不是一堆規(guī)范文檔的堆砌,而是需要將治理過程中所產(chǎn)生的的規(guī)范、流程、標(biāo)準(zhǔn)落地到IT平臺(tái)上,在數(shù)據(jù)生產(chǎn)過程中通過“以終為始”前向的方式進(jìn)行數(shù)據(jù)治理,避免事后稽核帶來各種被動(dòng)和運(yùn)維成本的增加。
數(shù)據(jù)治理的本質(zhì)是管理數(shù)據(jù),因此需要加強(qiáng)元數(shù)據(jù)管理和主數(shù)據(jù)管理,從源頭治理數(shù)據(jù),補(bǔ)齊數(shù)據(jù)的相關(guān)屬性和信息,比如:元數(shù)據(jù)、質(zhì)量、安全、業(yè)務(wù)邏輯、血緣等,通過元數(shù)據(jù)驅(qū)動(dòng)的方式管理數(shù)據(jù)生產(chǎn)、加工和使用。
數(shù)據(jù)模型血緣與任務(wù)調(diào)度的一致性是建管一體化的關(guān)鍵,有助于解決數(shù)據(jù)管理與數(shù)據(jù)生產(chǎn)口徑不一致的問題,避免出現(xiàn)兩張皮的低效管理模式。
如上面所說,數(shù)據(jù)治理的范圍非常廣,其中最重要的是數(shù)據(jù)質(zhì)量治理,而數(shù)據(jù)質(zhì)量涉及的范圍也很廣,貫穿數(shù)倉(cāng)的整個(gè)生命周期,從數(shù)據(jù)產(chǎn)生->數(shù)據(jù)接入->數(shù)據(jù)存儲(chǔ)->數(shù)據(jù)處理->數(shù)據(jù)輸出->數(shù)據(jù)展示,每個(gè)階段都需要質(zhì)量治理,評(píng)價(jià)維度包括完整性、規(guī)范性、一致性、準(zhǔn)確性、唯一性、關(guān)聯(lián)性等。
在系統(tǒng)建設(shè)的各個(gè)階段都應(yīng)該根據(jù)標(biāo)準(zhǔn)進(jìn)行數(shù)據(jù)質(zhì)量檢測(cè)和規(guī)范,及時(shí)進(jìn)行治理,避免事后的清洗工作。
質(zhì)量檢測(cè)可參考以下維度:
維度 | 衡量標(biāo)準(zhǔn) |
---|---|
完整性 | 業(yè)務(wù)指定必須的數(shù)據(jù)是否缺失,不允許為空字符或者空值等。例如,數(shù)據(jù)源是否完整、維度取值是否完整、數(shù)據(jù)取值是否完整等 |
時(shí)效性 | 當(dāng)需要使用時(shí),數(shù)據(jù)能否反映當(dāng)前事實(shí)。即數(shù)據(jù)必須及時(shí),能夠滿足系統(tǒng)對(duì)數(shù)據(jù)時(shí)間的要求。例如處理(獲取、整理、清洗、加載等)的及時(shí)性 |
唯一性 | 在指定的數(shù)據(jù)集中數(shù)據(jù)值是否唯一 |
參照完整性 | 數(shù)據(jù)項(xiàng)是否在父表中有定義 |
依賴一致性 | 數(shù)據(jù)項(xiàng)取值是否滿足與其他數(shù)據(jù)項(xiàng)之間的依賴關(guān)系 |
正確性 | 數(shù)據(jù)內(nèi)容和定義是否一致 |
精確性 | 數(shù)據(jù)精度是否達(dá)到業(yè)務(wù)規(guī)則要求的位數(shù) |
技術(shù)有效性 | 數(shù)據(jù)項(xiàng)是否按已定義的格式標(biāo)準(zhǔn)組織 |
業(yè)務(wù)有效性 | 數(shù)據(jù)項(xiàng)是否符合已定義的 |
可信度 | 根據(jù)客戶調(diào)查或客戶主動(dòng)提供獲得 |
可用性 | 數(shù)據(jù)可用的時(shí)間和數(shù)據(jù)需要被訪問時(shí)間的比例 |
可訪問性 | 數(shù)據(jù)是否便于自動(dòng)化讀取 |
下面是根據(jù)美團(tuán)的技術(shù)文章總結(jié)的幾點(diǎn)具體治理方式:
規(guī)范是數(shù)倉(cāng)建設(shè)的保障。為了避免出現(xiàn)指標(biāo)重復(fù)建設(shè)和數(shù)據(jù)質(zhì)量差的情況,統(tǒng)一按照最詳細(xì)、可落地的方法進(jìn)行規(guī)范建設(shè)。
(1) 詞根
詞根是維度和指標(biāo)管理的基礎(chǔ),劃分為普通詞根與專有詞根,提高詞根的易用性和關(guān)聯(lián)性。
普通詞根:描述事物的最小單元體,如:交易-trade。
專有詞根:具備約定成俗或行業(yè)專屬的描述體,如:美元-USD。
(2) 表命名規(guī)范
通用規(guī)范
表名、字段名采用一個(gè)下劃線分隔詞根(示例:clienttype->client_type)。
每部分使用小寫英文單詞,屬于通用字段的必須滿足通用字段信息的定義。
表名、字段名需以字母為開頭。
表名、字段名最長(zhǎng)不超過64個(gè)英文字符。
優(yōu)先使用詞根中已有關(guān)鍵字(數(shù)倉(cāng)標(biāo)準(zhǔn)配置中的詞根管理),定期Review新增命名的不合理性。
在表名自定義部分禁止采用非標(biāo)準(zhǔn)的縮寫。
表命名規(guī)則
表名稱 = 類型 + 業(yè)務(wù)主題 + 子主題 + 表含義 + 存儲(chǔ)格式 + 更新頻率 +結(jié)尾,如下圖所示:
統(tǒng)一的表命名規(guī)范
(3) 指標(biāo)命名規(guī)范
結(jié)合指標(biāo)的特性以及詞根管理規(guī)范,將指標(biāo)進(jìn)行結(jié)構(gòu)化處理。
1、基礎(chǔ)指標(biāo)詞根,即所有指標(biāo)必須包含以下基礎(chǔ)詞根:
2、業(yè)務(wù)修飾詞,用于描述業(yè)務(wù)場(chǎng)景的詞匯,例如trade-交易。
3、日期修飾詞,用于修飾業(yè)務(wù)發(fā)生的時(shí)間區(qū)間。
4、聚合修飾詞,對(duì)結(jié)果進(jìn)行聚集操作。
5、基礎(chǔ)指標(biāo),單一的業(yè)務(wù)修飾詞+基礎(chǔ)指標(biāo)詞根構(gòu)建基礎(chǔ)指標(biāo) ,例如:交易金額-trade_amt。
6、派生指標(biāo),多修飾詞+基礎(chǔ)指標(biāo)詞根構(gòu)建派生指標(biāo)。派生指標(biāo)繼承基礎(chǔ)指標(biāo)的特性,例如:安裝門店數(shù)量-install_poi_cnt。
7、普通指標(biāo)命名規(guī)范,與字段命名規(guī)范一致,由詞匯轉(zhuǎn)換即可以。
(1) 數(shù)據(jù)分層
優(yōu)秀可靠的數(shù)倉(cāng)體系,往往需要清晰的數(shù)據(jù)分層結(jié)構(gòu),即要保證數(shù)據(jù)層的穩(wěn)定又要屏蔽對(duì)下游的影響,并且要避免鏈路過長(zhǎng),一般的分層架構(gòu)如下:
(2) 數(shù)據(jù)流向
穩(wěn)定業(yè)務(wù)按照標(biāo)準(zhǔn)的數(shù)據(jù)流向進(jìn)行開發(fā),即ODS-->DWD-->DWA-->APP。非穩(wěn)定業(yè)務(wù)或探索性需求,可以遵循ODS->DWD->APP或者ODS->DWD->DWT->APP兩個(gè)模型數(shù)據(jù)流。在保障了數(shù)據(jù)鏈路的合理性之后,又在此基礎(chǔ)上確認(rèn)了模型分層引用原則:
正常流向:ODS>DWD->DWT->DWA->APP,當(dāng)出現(xiàn)ODS >DWD->DWA->APP這種關(guān)系時(shí),說明主題域未覆蓋全。應(yīng)將DWD數(shù)據(jù)落到DWT中,對(duì)于使用頻度非常低的表允許DWD->DWA。
盡量避免出現(xiàn)DWA寬表中使用DWD又使用(該DWD所歸屬主題域)DWT的表。
同一主題域內(nèi)對(duì)于DWT生成DWT的表,原則上要盡量避免,否則會(huì)影響ETL的效率。
DWT、DWA和APP中禁止直接使用ODS的表, ODS的表只能被DWD引用。
禁止出現(xiàn)反向依賴,例如DWT的表依賴DWA的表。
元數(shù)據(jù)可分為技術(shù)元數(shù)據(jù)和業(yè)務(wù)元數(shù)據(jù):
技術(shù)元數(shù)據(jù)為開發(fā)和管理數(shù)據(jù)倉(cāng)庫(kù)的IT 人員使用,它描述了與數(shù)據(jù)倉(cāng)庫(kù)開發(fā)、管理和維護(hù)相關(guān)的數(shù)據(jù),包括數(shù)據(jù)源信息、數(shù)據(jù)轉(zhuǎn)換描述、數(shù)據(jù)倉(cāng)庫(kù)模型、數(shù)據(jù)清洗與更新規(guī)則、數(shù)據(jù)映射和訪問權(quán)限等。
常見的技術(shù)元數(shù)據(jù)有:
存儲(chǔ)元數(shù)據(jù):如表、字段、分區(qū)等信息。
運(yùn)行元數(shù)據(jù):如大數(shù)據(jù)平臺(tái)上所有作業(yè)運(yùn)行等信息:類似于 Hive Job 日志,包括作業(yè)類型、實(shí)例名稱、輸入輸出、 SQL 、運(yùn)行參數(shù)、執(zhí)行時(shí)間,執(zhí)行引擎等。
數(shù)據(jù)開發(fā)平臺(tái)中數(shù)據(jù)同步、計(jì)算任務(wù)、任務(wù)調(diào)度等信息:包括數(shù)據(jù)同步的輸入輸出表和字段,以及同步任務(wù)本身的節(jié)點(diǎn)信息:計(jì)算任務(wù)主要有輸入輸出、任務(wù)本身的節(jié)點(diǎn)信息 任務(wù)調(diào)度主要有任務(wù)的依賴類型、依賴關(guān)系等,以及不同類型調(diào)度任務(wù)的運(yùn)行日志等。
數(shù)據(jù)質(zhì)量和運(yùn)維相關(guān)元數(shù)據(jù):如任務(wù)監(jiān)控、運(yùn)維報(bào)警、數(shù)據(jù)質(zhì)量、故障等信息,包括任務(wù)監(jiān)控運(yùn)行日志、告警配置及運(yùn)行日志、故障信息等。
業(yè)務(wù)元數(shù)據(jù)為管理層和業(yè)務(wù)分析人員服務(wù),從業(yè)務(wù)角度描述數(shù)據(jù),包括商務(wù)術(shù)語(yǔ)、數(shù)據(jù)倉(cāng)庫(kù)中有什么數(shù)據(jù)、數(shù)據(jù)的位置和數(shù)據(jù)的可用性等,幫助業(yè)務(wù)人員更好地理解數(shù)據(jù)倉(cāng)庫(kù)中哪些數(shù)據(jù)是可用的以及如何使用。
常見的業(yè)務(wù)元數(shù)據(jù)有維度及屬性(包括維度編碼,字段類型,創(chuàng)建人,創(chuàng)建時(shí)間,狀態(tài)等)、業(yè)務(wù)過程、指標(biāo)(包含指標(biāo)名稱,指標(biāo)編碼,業(yè)務(wù)口徑,指標(biāo)類型,責(zé)任人,創(chuàng)建時(shí)間,狀態(tài),sql等),安全等級(jí),計(jì)算邏輯等的規(guī)范化定義,用于更好地管理和使用數(shù)據(jù)。數(shù)據(jù)應(yīng)用元數(shù)據(jù),如數(shù)據(jù)報(bào)表、數(shù)據(jù)產(chǎn)品等的配置和運(yùn)行元數(shù)據(jù)。
元數(shù)據(jù)不僅定義了數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)的模式、來源、抽取和轉(zhuǎn)換規(guī)則等,而且是整個(gè)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)運(yùn)行的基礎(chǔ),元數(shù)據(jù)把數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)中各個(gè)松散的組件聯(lián)系起來,組成了一個(gè)有機(jī)的整體。
元數(shù)據(jù)治理主要解決三個(gè)問題:
1、通過建立相應(yīng)的組織、流程和工具,推動(dòng)業(yè)務(wù)標(biāo)準(zhǔn)的落地實(shí)施,實(shí)現(xiàn)指標(biāo)的規(guī)范定義,消除指標(biāo)認(rèn)知的歧義;
2、基于業(yè)務(wù)現(xiàn)狀和未來的演進(jìn)方式,對(duì)業(yè)務(wù)模型進(jìn)行抽象,制定清晰的主題、業(yè)務(wù)過程和分析方向,構(gòu)建完備的技術(shù)元數(shù)據(jù),對(duì)物理模型進(jìn)行準(zhǔn)確完善的描述,并打通技術(shù)元數(shù)據(jù)與業(yè)務(wù)元數(shù)據(jù)的關(guān)系,對(duì)物理模型進(jìn)行完備的刻畫;
3、通過元數(shù)據(jù)建設(shè),為使用數(shù)據(jù)提效,解決“找數(shù)、理解數(shù)、評(píng)估”難題以及“取數(shù)、數(shù)據(jù)可視化”等難題。
圍繞數(shù)據(jù)安全標(biāo)準(zhǔn),首先要有數(shù)據(jù)的分級(jí)、分類標(biāo)準(zhǔn),確保數(shù)據(jù)在上線前有著準(zhǔn)確的密級(jí)。第二,針對(duì)數(shù)據(jù)使用方,要有明確的角色授權(quán)標(biāo)準(zhǔn),通過分級(jí)分類和角色授權(quán),來保障重要數(shù)據(jù)拿不走。第三,針對(duì)敏感數(shù)據(jù),要有隱私管理標(biāo)準(zhǔn),保障敏感數(shù)據(jù)的安全存儲(chǔ),即使未授權(quán)用戶繞過權(quán)限管理拿到敏感數(shù)據(jù),也要確保其看不懂。第四,通過制定審計(jì)標(biāo)準(zhǔn),為后續(xù)的審計(jì)提供審計(jì)依據(jù),確保數(shù)據(jù)走不脫。
任何事物都具有一定的生命周期,數(shù)據(jù)也不例外。從數(shù)據(jù)的產(chǎn)生、加工、使用乃至消亡都應(yīng)該有一個(gè)科學(xué)的管理辦法,將極少或者不再使用的數(shù)據(jù)從系統(tǒng)中剝離出來,并通過核實(shí)的存儲(chǔ)設(shè)備進(jìn)行保留,不僅能夠提高系統(tǒng)的運(yùn)行效率,更好的服務(wù)客戶,還能大幅度減少因?yàn)閿?shù)據(jù)長(zhǎng)期保存帶來的儲(chǔ)存成本。數(shù)據(jù)生命周期一般包含在線階段、歸檔階段(有時(shí)還會(huì)進(jìn)一步劃分為在線歸檔階段和離線歸檔階段)、銷毀階段三大階段,管理內(nèi)容包括建立合理的數(shù)據(jù)類別,針對(duì)不同類別的數(shù)據(jù)制定各個(gè)階段的保留時(shí)間、存儲(chǔ)介質(zhì)、清理規(guī)則和方式、注意事項(xiàng)等。
從上圖數(shù)據(jù)生命周期中各參數(shù)間的關(guān)系中我們可以了解到,數(shù)據(jù)生命周期管理可以使得高價(jià)值數(shù)據(jù)的查詢效率大幅提升,而且高價(jià)格的存儲(chǔ)介質(zhì)的采購(gòu)量也可以減少很多;但是隨著數(shù)據(jù)的使用程度的下降,數(shù)據(jù)被逐漸歸檔,查詢時(shí)間也慢慢的變長(zhǎng);最后隨著數(shù)據(jù)的使用頻率和價(jià)值基本沒有了之后,就可以逐漸銷毀了。
參考鏈接:
https://mp.weixin.qq.com/s/h6HnkROzljralUj2aZyNUQ
https://zhuanlan.zhihu.com/p/137454121
https://www.infoq.cn/article/KJzDGU6IkWKyaPZXbFkB
https://blog.csdn.net/MeituanTech/article/details/102617733
https://baijiahao.baidu.com/s?id=1699535513357258268
https://tech.meituan.com/2020/03/12/delivery-data-governance.html
--END--
本文為作者獨(dú)立觀點(diǎn),不代表鳥哥筆記立場(chǎng),未經(jīng)允許不得轉(zhuǎn)載。
《鳥哥筆記版權(quán)及免責(zé)申明》 如對(duì)文章、圖片、字體等版權(quán)有疑問,請(qǐng)點(diǎn)擊 反饋舉報(bào)
我們致力于提供一個(gè)高質(zhì)量?jī)?nèi)容的交流平臺(tái)。為落實(shí)國(guó)家互聯(lián)網(wǎng)信息辦公室“依法管網(wǎng)、依法辦網(wǎng)、依法上網(wǎng)”的要求,為完善跟帖評(píng)論自律管理,為了保護(hù)用戶創(chuàng)造的內(nèi)容、維護(hù)開放、真實(shí)、專業(yè)的平臺(tái)氛圍,我們團(tuán)隊(duì)將依據(jù)本公約中的條款對(duì)注冊(cè)用戶和發(fā)布在本平臺(tái)的內(nèi)容進(jìn)行管理。平臺(tái)鼓勵(lì)用戶創(chuàng)作、發(fā)布優(yōu)質(zhì)內(nèi)容,同時(shí)也將采取必要措施管理違法、侵權(quán)或有其他不良影響的網(wǎng)絡(luò)信息。
一、根據(jù)《網(wǎng)絡(luò)信息內(nèi)容生態(tài)治理規(guī)定》《中華人民共和國(guó)未成年人保護(hù)法》等法律法規(guī),對(duì)以下違法、不良信息或存在危害的行為進(jìn)行處理。
1. 違反法律法規(guī)的信息,主要表現(xiàn)為:
1)反對(duì)憲法所確定的基本原則;
2)危害國(guó)家安全,泄露國(guó)家秘密,顛覆國(guó)家政權(quán),破壞國(guó)家統(tǒng)一,損害國(guó)家榮譽(yù)和利益;
3)侮辱、濫用英烈形象,歪曲、丑化、褻瀆、否定英雄烈士事跡和精神,以侮辱、誹謗或者其他方式侵害英雄烈士的姓名、肖像、名譽(yù)、榮譽(yù);
4)宣揚(yáng)恐怖主義、極端主義或者煽動(dòng)實(shí)施恐怖活動(dòng)、極端主義活動(dòng);
5)煽動(dòng)民族仇恨、民族歧視,破壞民族團(tuán)結(jié);
6)破壞國(guó)家宗教政策,宣揚(yáng)邪教和封建迷信;
7)散布謠言,擾亂社會(huì)秩序,破壞社會(huì)穩(wěn)定;
8)宣揚(yáng)淫穢、色情、賭博、暴力、兇殺、恐怖或者教唆犯罪;
9)煽動(dòng)非法集會(huì)、結(jié)社、游行、示威、聚眾擾亂社會(huì)秩序;
10)侮辱或者誹謗他人,侵害他人名譽(yù)、隱私和其他合法權(quán)益;
11)通過網(wǎng)絡(luò)以文字、圖片、音視頻等形式,對(duì)未成年人實(shí)施侮辱、誹謗、威脅或者惡意損害未成年人形象進(jìn)行網(wǎng)絡(luò)欺凌的;
12)危害未成年人身心健康的;
13)含有法律、行政法規(guī)禁止的其他內(nèi)容;
2. 不友善:不尊重用戶及其所貢獻(xiàn)內(nèi)容的信息或行為。主要表現(xiàn)為:
1)輕蔑:貶低、輕視他人及其勞動(dòng)成果;
2)誹謗:捏造、散布虛假事實(shí),損害他人名譽(yù);
3)嘲諷:以比喻、夸張、侮辱性的手法對(duì)他人或其行為進(jìn)行揭露或描述,以此來激怒他人;
4)挑釁:以不友好的方式激怒他人,意圖使對(duì)方對(duì)自己的言論作出回應(yīng),蓄意制造事端;
5)羞辱:貶低他人的能力、行為、生理或身份特征,讓對(duì)方難堪;
6)謾罵:以不文明的語(yǔ)言對(duì)他人進(jìn)行負(fù)面評(píng)價(jià);
7)歧視:煽動(dòng)人群歧視、地域歧視等,針對(duì)他人的民族、種族、宗教、性取向、性別、年齡、地域、生理特征等身份或者歸類的攻擊;
8)威脅:許諾以不良的后果來迫使他人服從自己的意志;
3. 發(fā)布垃圾廣告信息:以推廣曝光為目的,發(fā)布影響用戶體驗(yàn)、擾亂本網(wǎng)站秩序的內(nèi)容,或進(jìn)行相關(guān)行為。主要表現(xiàn)為:
1)多次發(fā)布包含售賣產(chǎn)品、提供服務(wù)、宣傳推廣內(nèi)容的垃圾廣告。包括但不限于以下幾種形式:
2)單個(gè)帳號(hào)多次發(fā)布包含垃圾廣告的內(nèi)容;
3)多個(gè)廣告帳號(hào)互相配合發(fā)布、傳播包含垃圾廣告的內(nèi)容;
4)多次發(fā)布包含欺騙性外鏈的內(nèi)容,如未注明的淘寶客鏈接、跳轉(zhuǎn)網(wǎng)站等,誘騙用戶點(diǎn)擊鏈接
5)發(fā)布大量包含推廣鏈接、產(chǎn)品、品牌等內(nèi)容獲取搜索引擎中的不正當(dāng)曝光;
6)購(gòu)買或出售帳號(hào)之間虛假地互動(dòng),發(fā)布干擾網(wǎng)站秩序的推廣內(nèi)容及相關(guān)交易。
7)發(fā)布包含欺騙性的惡意營(yíng)銷內(nèi)容,如通過偽造經(jīng)歷、冒充他人等方式進(jìn)行惡意營(yíng)銷;
8)使用特殊符號(hào)、圖片等方式規(guī)避垃圾廣告內(nèi)容審核的廣告內(nèi)容。
4. 色情低俗信息,主要表現(xiàn)為:
1)包含自己或他人性經(jīng)驗(yàn)的細(xì)節(jié)描述或露骨的感受描述;
2)涉及色情段子、兩性笑話的低俗內(nèi)容;
3)配圖、頭圖中包含庸俗或挑逗性圖片的內(nèi)容;
4)帶有性暗示、性挑逗等易使人產(chǎn)生性聯(lián)想;
5)展現(xiàn)血腥、驚悚、殘忍等致人身心不適;
6)炒作緋聞、丑聞、劣跡等;
7)宣揚(yáng)低俗、庸俗、媚俗內(nèi)容。
5. 不實(shí)信息,主要表現(xiàn)為:
1)可能存在事實(shí)性錯(cuò)誤或者造謠等內(nèi)容;
2)存在事實(shí)夸大、偽造虛假經(jīng)歷等誤導(dǎo)他人的內(nèi)容;
3)偽造身份、冒充他人,通過頭像、用戶名等個(gè)人信息暗示自己具有特定身份,或與特定機(jī)構(gòu)或個(gè)人存在關(guān)聯(lián)。
6. 傳播封建迷信,主要表現(xiàn)為:
1)找人算命、測(cè)字、占卜、解夢(mèng)、化解厄運(yùn)、使用迷信方式治??;
2)求推薦算命看相大師;
3)針對(duì)具體風(fēng)水等問題進(jìn)行求助或咨詢;
4)問自己或他人的八字、六爻、星盤、手相、面相、五行缺失,包括通過占卜方法問婚姻、前程、運(yùn)勢(shì),東西寵物丟了能不能找回、取名改名等;
7. 文章標(biāo)題黨,主要表現(xiàn)為:
1)以各種夸張、獵奇、不合常理的表現(xiàn)手法等行為來誘導(dǎo)用戶;
2)內(nèi)容與標(biāo)題之間存在嚴(yán)重不實(shí)或者原意扭曲;
3)使用夸張標(biāo)題,內(nèi)容與標(biāo)題嚴(yán)重不符的。
8.「飯圈」亂象行為,主要表現(xiàn)為:
1)誘導(dǎo)未成年人應(yīng)援集資、高額消費(fèi)、投票打榜
2)粉絲互撕謾罵、拉踩引戰(zhàn)、造謠攻擊、人肉搜索、侵犯隱私
3)鼓動(dòng)「飯圈」粉絲攀比炫富、奢靡享樂等行為
4)以號(hào)召粉絲、雇用網(wǎng)絡(luò)水軍、「養(yǎng)號(hào)」形式刷量控評(píng)等行為
5)通過「蹭熱點(diǎn)」、制造話題等形式干擾輿論,影響傳播秩序
9. 其他危害行為或內(nèi)容,主要表現(xiàn)為:
1)可能引發(fā)未成年人模仿不安全行為和違反社會(huì)公德行為、誘導(dǎo)未成年人不良嗜好影響未成年人身心健康的;
2)不當(dāng)評(píng)述自然災(zāi)害、重大事故等災(zāi)難的;
3)美化、粉飾侵略戰(zhàn)爭(zhēng)行為的;
4)法律、行政法規(guī)禁止,或可能對(duì)網(wǎng)絡(luò)生態(tài)造成不良影響的其他內(nèi)容。
二、違規(guī)處罰
本網(wǎng)站通過主動(dòng)發(fā)現(xiàn)和接受用戶舉報(bào)兩種方式收集違規(guī)行為信息。所有有意的降低內(nèi)容質(zhì)量、傷害平臺(tái)氛圍及欺凌未成年人或危害未成年人身心健康的行為都是不能容忍的。
當(dāng)一個(gè)用戶發(fā)布違規(guī)內(nèi)容時(shí),本網(wǎng)站將依據(jù)相關(guān)用戶違規(guī)情節(jié)嚴(yán)重程度,對(duì)帳號(hào)進(jìn)行禁言 1 天、7 天、15 天直至永久禁言或封停賬號(hào)的處罰。當(dāng)涉及欺凌未成年人、危害未成年人身心健康、通過作弊手段注冊(cè)、使用帳號(hào),或者濫用多個(gè)帳號(hào)發(fā)布違規(guī)內(nèi)容時(shí),本網(wǎng)站將加重處罰。
三、申訴
隨著平臺(tái)管理經(jīng)驗(yàn)的不斷豐富,本網(wǎng)站出于維護(hù)本網(wǎng)站氛圍和秩序的目的,將不斷完善本公約。
如果本網(wǎng)站用戶對(duì)本網(wǎng)站基于本公約規(guī)定做出的處理有異議,可以通過「建議反饋」功能向本網(wǎng)站進(jìn)行反饋。
(規(guī)則的最終解釋權(quán)歸屬本網(wǎng)站所有)