很可惜 T 。T 您現(xiàn)在還不是作者身份,不能自主發(fā)稿哦~
如有投稿需求,請(qǐng)把文章發(fā)送到郵箱tougao@appcpx.com,一經(jīng)錄用會(huì)有專人和您聯(lián)系
咨詢?nèi)绾纬蔀榇河鹱髡哒?qǐng)聯(lián)系:鳥哥筆記小羽毛(ngbjxym)
數(shù)據(jù)是企業(yè)數(shù)字化轉(zhuǎn)型的核心要素,大數(shù)據(jù)建設(shè)的目標(biāo)是為了融合組織數(shù)據(jù),增加組織的洞察力和競(jìng)爭(zhēng)力,實(shí)現(xiàn)業(yè)務(wù)創(chuàng)新和產(chǎn)業(yè)升級(jí)。而數(shù)據(jù)能發(fā)揮價(jià)值的大小依賴于其數(shù)據(jù)的質(zhì)量高低。
如果沒有良好的數(shù)據(jù)質(zhì)量,大數(shù)據(jù)將會(huì)對(duì)決策產(chǎn)生誤導(dǎo),甚至產(chǎn)生有害的結(jié)果,比如:
在金融企業(yè)中,因數(shù)據(jù)質(zhì)量問題導(dǎo)致的信用卡欺詐失察在2008年即造成48億美元的損失;
在商業(yè)上,美國(guó)零售業(yè)每年僅因標(biāo)價(jià)錯(cuò)誤就損失25億美元;
在經(jīng)濟(jì)損失上,數(shù)據(jù)錯(cuò)誤每年對(duì)美國(guó)工業(yè)界造成的經(jīng)濟(jì)損失約占GDP的6%;
在醫(yī)療事故上,美國(guó)醫(yī)療委員會(huì)統(tǒng)計(jì)表明,由于數(shù)據(jù)錯(cuò)誤引起的醫(yī)療事故僅在美國(guó)每年就導(dǎo)致高達(dá)98000名患者喪生;
在電信產(chǎn)業(yè)上,數(shù)據(jù)錯(cuò)誤經(jīng)常導(dǎo)致故障排除的延誤、多余設(shè)備租用和服務(wù)費(fèi)收取錯(cuò)誤,損害了企業(yè)信譽(yù)甚至?xí)虼耸ズ芏嘤脩簦?/p>
在數(shù)倉(cāng)建設(shè)上,50%的數(shù)據(jù)倉(cāng)庫因數(shù)據(jù)質(zhì)量而被取消或延遲……
提高數(shù)據(jù)質(zhì)量是為了鞏固大數(shù)據(jù)建設(shè)成果,因此,高質(zhì)量的數(shù)據(jù)是企業(yè)業(yè)務(wù)能力的基礎(chǔ)。今天小億就來為大家說說什么是數(shù)據(jù)質(zhì)量管理?數(shù)據(jù)質(zhì)量問題產(chǎn)生的原因是什么?以及我們?cè)撊绾巫龊脭?shù)據(jù)質(zhì)量管理?
一、什么是數(shù)據(jù)質(zhì)量管理?
1.數(shù)據(jù)質(zhì)量
數(shù)據(jù)質(zhì)量在業(yè)務(wù)環(huán)境下,數(shù)據(jù)符合數(shù)據(jù)消費(fèi)者的使用目的,數(shù)據(jù)質(zhì)量需要滿足業(yè)務(wù)場(chǎng)景具體的需求。數(shù)據(jù)質(zhì)量包含兩個(gè)方面:數(shù)據(jù)自身的質(zhì)量和數(shù)據(jù)的過程質(zhì)量。
數(shù)據(jù)自身的質(zhì)量很好理解,比如數(shù)據(jù)必須真實(shí)準(zhǔn)確地反映實(shí)際發(fā)生的業(yè)務(wù),任何業(yè)務(wù)操作的數(shù)據(jù)都沒有被遺漏,數(shù)據(jù)存在各種約束條件,這種約束條件不能自相矛盾等等。
數(shù)據(jù)的過程質(zhì)量就是數(shù)據(jù)的使用過程符合標(biāo)準(zhǔn)規(guī)范,比如數(shù)據(jù)存儲(chǔ):數(shù)據(jù)是否被安全的存儲(chǔ)到了合適的介質(zhì)上,能夠保證數(shù)據(jù)不受外來因素的破壞。當(dāng)然數(shù)據(jù)存儲(chǔ)只是數(shù)據(jù)使用過程的一個(gè)環(huán)節(jié),除此之外還包括獲取、傳輸、應(yīng)用和刪除等一系列的使用過程,這其實(shí)也是數(shù)據(jù)生命周期的各個(gè)階段。
2.數(shù)據(jù)質(zhì)量管理
數(shù)據(jù)質(zhì)量管理指對(duì)數(shù)據(jù)在每個(gè)階段里可能引發(fā)的各類數(shù)據(jù)質(zhì)量問題進(jìn)行識(shí)別、度量、監(jiān)控、預(yù)警等一系列管理活動(dòng),并通過改善和提高組織的管理水平確保數(shù)據(jù)質(zhì)量的提升。
換句話說,數(shù)據(jù)質(zhì)量管理是一個(gè)集方法論、管理、技術(shù)和業(yè)務(wù)為一體的解決方案,不是一時(shí)的數(shù)據(jù)治理方法,是一個(gè)不斷循環(huán)的管理過程。一方面反映出企業(yè)數(shù)據(jù)很難一次性就達(dá)到使用的標(biāo)準(zhǔn)規(guī)范,畢竟數(shù)據(jù)治理是一個(gè)相對(duì)漫長(zhǎng)的過程;另一方面也反映出數(shù)據(jù)質(zhì)量的重要性以及數(shù)據(jù)質(zhì)量工作的零散性和瑣碎性。
3.數(shù)據(jù)質(zhì)量評(píng)估
至于如何去評(píng)估數(shù)據(jù)質(zhì)量管理的過程的好壞,我們可以從以下五個(gè)維度來進(jìn)行數(shù)據(jù)質(zhì)量評(píng)估:
(1)完整性:描述信息的完整程度,如電話號(hào)碼是否有空值;
(2)準(zhǔn)確性:描述數(shù)據(jù)和客觀實(shí)體的特征是否相一致,如數(shù)據(jù)庫中記錄的電話和實(shí)際電話不一致;
(3)有效性:數(shù)據(jù)是否滿足用戶定義條件、內(nèi)容規(guī)范約束等,如年齡為-32歲,違反常理;
(4)一致性:描述同一個(gè)信息主體在不同數(shù)據(jù)集中的屬性是否相同,如崗位名稱在CRM系統(tǒng)中和人力系統(tǒng)中不一致;
(5)及時(shí)性:描述從業(yè)務(wù)發(fā)生到相關(guān)數(shù)據(jù)能夠被使用的及時(shí)程度,如實(shí)時(shí)查看用戶行為相關(guān)數(shù)據(jù)。
五個(gè)維度共同構(gòu)成了數(shù)據(jù)質(zhì)量評(píng)估的基本框架,每個(gè)維度都可以通過設(shè)置評(píng)估問卷隨機(jī)抽取一些問題然后收集相應(yīng)的數(shù)據(jù);注意收集數(shù)據(jù)的時(shí)候可以采用不同的方式,訪談、發(fā)放鏈接、隨機(jī)抽檢等等。
二、數(shù)據(jù)質(zhì)量問題產(chǎn)生的原因
大數(shù)據(jù)的建設(shè)和管理是一個(gè)專業(yè)且復(fù)雜的工程,涵蓋了業(yè)務(wù)梳理、標(biāo)準(zhǔn)制定、元數(shù)據(jù)管理、數(shù)據(jù)模型管理、數(shù)據(jù)匯聚、清洗加工、中心存儲(chǔ)、資源目錄編制、共享交換、數(shù)據(jù)維護(hù)、數(shù)據(jù)失效等等過程,在任何一個(gè)環(huán)節(jié)中出錯(cuò),都將導(dǎo)致數(shù)據(jù)的錯(cuò)誤。因此數(shù)據(jù)質(zhì)量問題產(chǎn)生的原因主要有以下3類:
1.技術(shù)原因
(1)數(shù)據(jù)標(biāo)準(zhǔn)制定
數(shù)據(jù)輸入規(guī)范不統(tǒng)一,不同的業(yè)務(wù)部門、不同的時(shí)間、甚至在處理相同業(yè)務(wù)的時(shí)候,由于數(shù)據(jù)輸入規(guī)范不同,造成數(shù)據(jù)沖突或矛盾。如果在數(shù)據(jù)的生成過程中包含主觀判斷的結(jié)果,必然會(huì)導(dǎo)致數(shù)據(jù)中含有主觀的偏見因素。并且,不是所有行業(yè)都有公認(rèn)可信的數(shù)據(jù)標(biāo)準(zhǔn),而組織標(biāo)準(zhǔn)制定過程中容易出現(xiàn)數(shù)據(jù)元描述及理解錯(cuò)誤,代碼碼集定義不正確、不完整等情況。
(2)數(shù)據(jù)模型設(shè)計(jì)
由于對(duì)業(yè)務(wù)理解的不到位或技術(shù)實(shí)踐水平不到位,數(shù)據(jù)庫表結(jié)構(gòu)、數(shù)據(jù)庫約束條件、數(shù)據(jù)校驗(yàn)規(guī)則的設(shè)計(jì)不合理,造成數(shù)據(jù)存儲(chǔ)混亂、重復(fù)、不完整、不準(zhǔn)確。
(3)數(shù)據(jù)源本身
在生產(chǎn)系統(tǒng)中有些數(shù)據(jù)就存在不規(guī)范、不完整、不準(zhǔn)確、不一致等問題,而采集過程沒有對(duì)這些問題做清洗加工處理,或清洗加工的程序代碼不正確。
(4)數(shù)據(jù)梳理過程
在數(shù)據(jù)采集之前,需要梳理組織機(jī)構(gòu)、業(yè)務(wù)事項(xiàng)、信息系統(tǒng)、數(shù)據(jù)資源清單等信息,那么對(duì)業(yè)務(wù)的理解不到位,將造成梳理報(bào)告的不完整或不正確。
(5)數(shù)據(jù)采集過程
采集點(diǎn)、采集頻率、采集內(nèi)容、映射關(guān)系等采集參數(shù)和流程設(shè)置的不正確,數(shù)據(jù)采集接口效率低,導(dǎo)致的數(shù)據(jù)采集失敗、數(shù)據(jù)丟失、數(shù)據(jù)映射和轉(zhuǎn)換失敗。
(6)數(shù)據(jù)清洗加工
數(shù)據(jù)清洗規(guī)則、數(shù)據(jù)轉(zhuǎn)換規(guī)則、數(shù)據(jù)裝載規(guī)則配置有問題,甚至未按照數(shù)據(jù)標(biāo)準(zhǔn)開展相應(yīng)的清洗加工工作,自由發(fā)揮的空間過大。并且在數(shù)據(jù)匯聚的過程中,沒有及時(shí)建立數(shù)據(jù)的相關(guān)性,導(dǎo)致后期很難補(bǔ)充完善。
2.業(yè)務(wù)原因
(1)業(yè)務(wù)理解不到位
數(shù)據(jù)的業(yè)務(wù)描述、業(yè)務(wù)規(guī)則、相關(guān)性分析不到位,導(dǎo)致技術(shù)無法構(gòu)建出合理、正確的數(shù)據(jù)模型。
(2)業(yè)務(wù)流程的變更
業(yè)務(wù)流程一變,數(shù)據(jù)模型設(shè)計(jì)、數(shù)據(jù)錄入、數(shù)據(jù)采集、數(shù)據(jù)傳輸、數(shù)據(jù)清洗、數(shù)據(jù)存儲(chǔ)等環(huán)節(jié)都會(huì)受到影響,稍有不慎就會(huì)導(dǎo)致數(shù)據(jù)質(zhì)量問題的發(fā)生。
(3)數(shù)據(jù)輸入不規(guī)范
常見的數(shù)據(jù)錄入問題,如:大小寫、全半角、特殊字符等一不小心就會(huì)錄錯(cuò),甚至還會(huì)將數(shù)據(jù)輸入到錯(cuò)誤的字段中,造成“張冠李戴”。人工錄入的數(shù)據(jù)質(zhì)量與錄數(shù)據(jù)的業(yè)務(wù)人員密切相關(guān),錄數(shù)據(jù)的人工作嚴(yán)謹(jǐn)、認(rèn)真,數(shù)據(jù)質(zhì)量就相對(duì)較好,反之就較差。
(4)業(yè)務(wù)系統(tǒng)煙囪林立
過去 20 年中,只要是稍大一點(diǎn)的企業(yè)和政府部門,都建設(shè)了一批信息化系統(tǒng)來解決業(yè)務(wù)問題,但也導(dǎo)致了如今信息化整合的痛點(diǎn)和困難,變先發(fā)優(yōu)勢(shì)為數(shù)據(jù)困境。
(5)數(shù)據(jù)作假
操作人員為了提高或降低考核指標(biāo),對(duì)一些數(shù)據(jù)進(jìn)行處理,使得數(shù)據(jù)真實(shí)性無法保證。
3.管理原因
(1)人才缺乏
組織以自身的業(yè)務(wù)發(fā)展的主要原則組建團(tuán)隊(duì),數(shù)據(jù)建設(shè)則依賴于外部服務(wù)公司,而自身沒有建立相應(yīng)的管理手段和監(jiān)督機(jī)制,從而無法準(zhǔn)確判斷數(shù)據(jù)項(xiàng)目的建設(shè)成效。
(2)流程管理不完善
缺乏有效的數(shù)據(jù)質(zhì)量保障機(jī)制和問題處理機(jī)制,數(shù)據(jù)質(zhì)量問題從發(fā)現(xiàn)、指派、處理、優(yōu)化沒有一個(gè)統(tǒng)一的流程和制度支撐,數(shù)據(jù)質(zhì)量問題無法閉環(huán)。
(3)成員意識(shí)不開放
組織管理缺乏數(shù)據(jù)思維,沒有認(rèn)識(shí)到數(shù)據(jù)質(zhì)量的重要性,重系統(tǒng)而輕數(shù)據(jù),認(rèn)為系統(tǒng)是萬能的,數(shù)據(jù)質(zhì)量差些也沒關(guān)系。組織成員沒有從組織戰(zhàn)略的視角來看待數(shù)據(jù)資產(chǎn),而把數(shù)據(jù)看成是創(chuàng)造它的部門的資產(chǎn),從而導(dǎo)致數(shù)據(jù)冗余、數(shù)據(jù)不一致、數(shù)據(jù)割裂,從而導(dǎo)致數(shù)據(jù)價(jià)值難以發(fā)掘。
(4)獎(jiǎng)懲機(jī)制不明確
沒有明確數(shù)據(jù)歸口管理部門或崗位,缺乏數(shù)據(jù)認(rèn)責(zé)機(jī)制,出現(xiàn)數(shù)據(jù)質(zhì)量問題找不到權(quán)威源頭或找不到負(fù)責(zé)人。缺乏數(shù)據(jù)規(guī)劃,沒有明確的數(shù)據(jù)質(zhì)量目標(biāo),沒有制定數(shù)據(jù)質(zhì)量相關(guān)的政策和制度。
三、如何做好數(shù)據(jù)質(zhì)量管理
1.從數(shù)據(jù)的整個(gè)生命周期來管理
即在數(shù)據(jù)生命周期的任何一個(gè)階段,都有嚴(yán)格的數(shù)據(jù)規(guī)劃和約束來防止臟數(shù)據(jù)產(chǎn)生,總的來說將其分為事前預(yù)防、事中監(jiān)控、事后改善三個(gè)階段。
(1)事前預(yù)防
①制定質(zhì)量管理機(jī)制:基于數(shù)據(jù)管理的復(fù)雜性和誘因的多重性特點(diǎn),解決數(shù)據(jù)質(zhì)量問題僅僅依靠一個(gè)技術(shù)工具是不夠的,我們需要建立長(zhǎng)效工作機(jī)制。即根據(jù)組織特點(diǎn),制定符合自身環(huán)境的工作制度,制定每個(gè)環(huán)節(jié)的工作流程,規(guī)定各個(gè)參與方的責(zé)任,確定各項(xiàng)數(shù)據(jù)的權(quán)威部門,制定數(shù)據(jù)質(zhì)量指標(biāo),制定數(shù)據(jù)質(zhì)量修復(fù)流程等等;
②制定數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn):數(shù)據(jù)標(biāo)準(zhǔn)成功定義的與否,直接決定了大數(shù)據(jù)建設(shè)的成果和數(shù)據(jù)質(zhì)量的高低,需要在融合國(guó)家標(biāo)準(zhǔn)、行業(yè)標(biāo)準(zhǔn)和地方標(biāo)準(zhǔn)的基礎(chǔ)上,融合組織自身的業(yè)務(wù)特色需求;
③制定質(zhì)量監(jiān)測(cè)模型:數(shù)據(jù)質(zhì)量模型代表的是業(yè)務(wù)需求,它是從業(yè)務(wù)需求的角度而描述出來的質(zhì)量需求;
④制定質(zhì)量監(jiān)測(cè)規(guī)則:數(shù)據(jù)監(jiān)測(cè)規(guī)則代表的具體的質(zhì)量檢測(cè)手段,它是從技術(shù)角度來描述數(shù)據(jù)質(zhì)量要求是如何被滿足的,包括規(guī)范性、完整性、準(zhǔn)確性、致性、時(shí)效性、可訪問性,等等。
(2)事中監(jiān)控
①監(jiān)控原始數(shù)據(jù)質(zhì)量:數(shù)據(jù)采集工作從數(shù)據(jù)源頭獲取最原始的數(shù)據(jù),在數(shù)據(jù)采集過程中將數(shù)據(jù)分為“好數(shù)據(jù)”“壞數(shù)據(jù)”,“好數(shù)據(jù)”入庫,“壞數(shù)據(jù)”則反饋給源頭修復(fù),因?yàn)閿?shù)據(jù)來源部門最懂這些數(shù)據(jù),也最能在源頭上把數(shù)據(jù)問題徹底修復(fù)掉。
②監(jiān)控?cái)?shù)據(jù)中心質(zhì)量:經(jīng)過各種采集、清洗、加工過程,數(shù)據(jù)被存入數(shù)據(jù)倉(cāng)庫中,這些數(shù)據(jù)也將被業(yè)務(wù)部門使用,所以,對(duì)于這些成果數(shù)據(jù)的質(zhì)量監(jiān)控和修復(fù)則猶為重要。對(duì)于這類數(shù)據(jù)問題,我們可能使用簡(jiǎn)單的空值檢查、規(guī)范性檢查、值域檢查、邏輯檢查、一致性檢查、等等規(guī)則就可以檢查出來,也可能需要諸如多源比較、數(shù)據(jù)佐證、數(shù)據(jù)探索、波動(dòng)檢查、離群檢查等等方法才可以檢查出來。
③反饋數(shù)據(jù)質(zhì)量問題:數(shù)據(jù)質(zhì)量監(jiān)控過程中,會(huì)發(fā)現(xiàn)兩類問題,一類是源頭的數(shù)據(jù)質(zhì)量問題,一類是數(shù)據(jù)中心的數(shù)據(jù)質(zhì)量問題,數(shù)據(jù)質(zhì)量團(tuán)隊(duì)需要將這些問題及時(shí)反饋給源頭部門和數(shù)據(jù)倉(cāng)庫建設(shè)團(tuán)隊(duì)。
④考核數(shù)據(jù)質(zhì)量考核:數(shù)據(jù)質(zhì)量的考核是為了能夠引起各個(gè)參與部門和參與團(tuán)隊(duì)對(duì)數(shù)據(jù)質(zhì)量的重視,需要及時(shí)統(tǒng)計(jì)分析各種數(shù)據(jù)質(zhì)量問題,并制定出相應(yīng)的應(yīng)對(duì)措施。
(3)事后改善
①修復(fù)數(shù)據(jù)質(zhì)量問題:發(fā)現(xiàn)質(zhì)量問題不是最終的目標(biāo),我們?nèi)砸⑾嚓P(guān)的流程和工具,通過手工、工單、自動(dòng)化等等手段將質(zhì)量問題修復(fù)掉,從而為業(yè)務(wù)創(chuàng)新提供可靠的數(shù)據(jù)支撐。
②收集數(shù)據(jù)質(zhì)量需求:通過數(shù)據(jù)中心的建設(shè),質(zhì)量問題的修復(fù),必然能夠促進(jìn)數(shù)據(jù)的應(yīng)用,我們?nèi)砸⑼〞车臄?shù)據(jù)質(zhì)量反饋通道,讓各個(gè)部門參與到數(shù)據(jù)質(zhì)量的再次完善中來,從而形成建設(shè)、應(yīng)用和反饋的良性循環(huán)。
③完善質(zhì)量管理制度:制度和流程的建設(shè)并不是一蹴而就的,我們要在數(shù)據(jù)建設(shè)和質(zhì)量完善的過程中,結(jié)合自身組織結(jié)構(gòu)和業(yè)務(wù)特色,不斷完善工作制度。
④完善數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn):各行各業(yè)不斷涌現(xiàn)新的業(yè)務(wù)形態(tài),原有的業(yè)務(wù)也在不斷的變化,我們要緊跟業(yè)務(wù)的變化,不斷完善符合業(yè)務(wù)需求的數(shù)據(jù)標(biāo)準(zhǔn)。
⑤完善質(zhì)量監(jiān)測(cè)模型:如前所述,監(jiān)測(cè)模型代表的業(yè)務(wù)需求,業(yè)務(wù)形態(tài)的變化、數(shù)據(jù)標(biāo)準(zhǔn)的變化和質(zhì)量新需求的出現(xiàn),同樣要求監(jiān)測(cè)模型能夠做出相應(yīng)的變化。
⑥完善質(zhì)量監(jiān)測(cè)規(guī)則:同樣,如今的信息化技術(shù)發(fā)展日新月異,我們要不斷引入各種新技術(shù)來更加智能地發(fā)現(xiàn)和修復(fù)數(shù)據(jù)質(zhì)量問題。
2.從數(shù)據(jù)質(zhì)量問題解決依賴的知識(shí)來管理
(1)數(shù)據(jù)梳理
數(shù)據(jù)梳理是明確企業(yè)數(shù)據(jù)現(xiàn)狀,知道整體數(shù)據(jù)質(zhì)量情況,將具有共同的特征數(shù)據(jù)提取出來,按照主題域的方式進(jìn)行劃分,方便后續(xù)的數(shù)據(jù)管理。先明確企業(yè)數(shù)據(jù)的種類,根據(jù)數(shù)據(jù)的不同分類,選擇不同的提升數(shù)據(jù)質(zhì)量的方法。
梳理企業(yè)目前的數(shù)據(jù)情況,知道企業(yè)現(xiàn)階段有什么數(shù)據(jù),數(shù)據(jù)來自什么業(yè)務(wù)系統(tǒng),數(shù)據(jù)用在哪里,數(shù)據(jù)如何存儲(chǔ),數(shù)據(jù)安全和數(shù)據(jù)隱私是什么情況;業(yè)務(wù)可以采集到什么數(shù)據(jù);還缺什么數(shù)據(jù)以及目前企業(yè)數(shù)據(jù)建設(shè)的情況,做好數(shù)據(jù)評(píng)估與分析報(bào)告,為數(shù)據(jù)質(zhì)量提升提供一個(gè)全方位的數(shù)據(jù)現(xiàn)狀參考。
從業(yè)務(wù)角度出發(fā),梳理出目前企業(yè)數(shù)據(jù)之間的流向關(guān)系、數(shù)據(jù)的分類情況和數(shù)據(jù)分類之間的關(guān)系,明確什么數(shù)據(jù)是基礎(chǔ)數(shù)據(jù),什么數(shù)據(jù)是由基礎(chǔ)數(shù)據(jù)衍生出來的只有先梳理清楚目前企業(yè)數(shù)據(jù)情況,才能認(rèn)清企業(yè)數(shù)據(jù)的情況,從中找到提升數(shù)據(jù)質(zhì)量的關(guān)鍵突破點(diǎn)。
正所謂,工欲善其事,必先利其器。億信華辰睿治數(shù)據(jù)治理平臺(tái)的數(shù)據(jù)質(zhì)量管理模塊以全面質(zhì)量管理PDCA循環(huán)管理方法為指導(dǎo),充分結(jié)合國(guó)內(nèi)數(shù)據(jù)質(zhì)量管理工作的特點(diǎn),運(yùn)用元數(shù)據(jù)管理、數(shù)據(jù)挖掘、數(shù)據(jù)分析、工作流、評(píng)分卡、可視化等技術(shù)最終幫助企業(yè)和政府建立數(shù)據(jù)質(zhì)量管理體系,全面提升數(shù)據(jù)的完整性、規(guī)范性、及時(shí)性、一致性、邏輯性等,降低數(shù)據(jù)管理成本,減少因數(shù)據(jù)不可靠導(dǎo)致的決策偏差和損失。
(2)數(shù)據(jù)規(guī)范
主要從數(shù)據(jù)模型和數(shù)據(jù)標(biāo)準(zhǔn)兩個(gè)方面定義好數(shù)據(jù)規(guī)范:
①數(shù)據(jù)模型:是數(shù)據(jù)特征的抽象,是獲取和明確企業(yè)數(shù)據(jù)需求的方法,也是數(shù)據(jù)需求分析與建模工作的基礎(chǔ),通過對(duì)展現(xiàn)客觀事物的信息進(jìn)行抽象、綜合、分類,組織為具有某種結(jié)構(gòu)的數(shù)據(jù),對(duì)這些數(shù)據(jù)結(jié)構(gòu)、其相互之間邏輯關(guān)系、數(shù)據(jù)操作方式及約束的描述。在實(shí)際的建模過程中,數(shù)據(jù)模型所描述的內(nèi)容包括數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)操作、數(shù)據(jù)約束三個(gè)部分。
②數(shù)據(jù)標(biāo)準(zhǔn):是對(duì)數(shù)據(jù)模型的另一種延伸,是數(shù)據(jù)資產(chǎn)管理的核心基礎(chǔ),也是對(duì)企業(yè)數(shù)據(jù)資產(chǎn)化進(jìn)行準(zhǔn)確重定義的過程。數(shù)據(jù)標(biāo)準(zhǔn)可以促進(jìn)企業(yè)數(shù)據(jù)模型落地,對(duì)企業(yè)業(yè)務(wù)系統(tǒng)中關(guān)鍵數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化起到了關(guān)鍵性作用。但是,真正數(shù)據(jù)標(biāo)準(zhǔn)并不是規(guī)范文檔、流程文檔、制度文檔等,而是通過一套由管理規(guī)范、管控流程與技術(shù)工具共同組成的體系逐步實(shí)現(xiàn)數(shù)據(jù)信息化標(biāo)準(zhǔn)的過程。
在數(shù)據(jù)模型的落地和推動(dòng)過程當(dāng)中,往往會(huì)遇到由于各組織人員認(rèn)知不同、看待問題的角度不同以及其他內(nèi)外部原因等限制,導(dǎo)致數(shù)據(jù)在集成與互通的時(shí)候會(huì)遇到數(shù)據(jù)不一致的問題。所以,在做業(yè)務(wù)系統(tǒng)的數(shù)據(jù)模型設(shè)計(jì)之前,企業(yè)要設(shè)計(jì)一套相對(duì)標(biāo)準(zhǔn)的數(shù)據(jù)規(guī)范。通過數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范來反向推動(dòng)業(yè)務(wù)進(jìn)行數(shù)據(jù)收集,解決數(shù)據(jù)不一致的問題。
常用的策略有以下幾種:
①在需求規(guī)劃階段:梳理企業(yè)現(xiàn)有的數(shù)據(jù)模型是否合理,有則改之無則加勉,然后根據(jù)現(xiàn)有的模型來設(shè)計(jì)整體系統(tǒng)的模型,整個(gè)過程始終遵循數(shù)據(jù)標(biāo)準(zhǔn)的規(guī)范要求;
②在數(shù)據(jù)獲取階段:重點(diǎn)關(guān)注數(shù)據(jù)的安全性與隱私性問題、數(shù)據(jù)的及時(shí)性問題,數(shù)據(jù)傳輸?shù)葐栴};
③在數(shù)據(jù)存儲(chǔ)和共享階段:重點(diǎn)關(guān)注數(shù)據(jù)的整合問題,數(shù)據(jù)的一致性問題,數(shù)據(jù)的完整性等問題。
四、注意事項(xiàng)
1.數(shù)據(jù)質(zhì)量管理要對(duì)其業(yè)務(wù)目標(biāo),企業(yè)的數(shù)據(jù)治理不是為了治理數(shù)據(jù)而治理數(shù)據(jù),其最終目的都是為了支持業(yè)務(wù)和管理目標(biāo)實(shí)現(xiàn)。因此提升數(shù)據(jù)質(zhì)量的主要目的是推動(dòng)業(yè)務(wù)發(fā)展;
2.企業(yè)要不時(shí)進(jìn)行主動(dòng)的數(shù)據(jù)清理和處理補(bǔ)救,以糾正現(xiàn)有的數(shù)據(jù)問題,因?yàn)楸M管有效數(shù)據(jù)質(zhì)量控制可以在很大程度上起到控制和預(yù)防不良數(shù)據(jù)發(fā)生的作用,但事實(shí)上,再嚴(yán)格的質(zhì)量控制也無法做到100%數(shù)據(jù)問題防治,甚至有時(shí)候嚴(yán)格的數(shù)據(jù)質(zhì)量控制還會(huì)引出其他更多的數(shù)據(jù)問題;
3.建立企業(yè)組織保障體系,企業(yè)需要建立一種文化,以讓更多的人認(rèn)識(shí)到數(shù)據(jù)質(zhì)量的重要性,比如成立數(shù)據(jù)治理委員會(huì),為數(shù)據(jù)質(zhì)量定下基調(diào),制定有關(guān)數(shù)據(jù)基礎(chǔ)架構(gòu)和流程的決策等。
五、小結(jié)
對(duì)于不同行業(yè)、不同規(guī)模、甚至處于不同發(fā)展階段的企業(yè)來說,按照同樣的業(yè)務(wù)規(guī)則產(chǎn)出的數(shù)據(jù),數(shù)據(jù)質(zhì)量是不一樣的,因此我們首先要記住的是數(shù)據(jù)質(zhì)量的高低本質(zhì)上代表了這些數(shù)據(jù)使用者的滿意程度。
其次,數(shù)據(jù)質(zhì)量管理是數(shù)據(jù)治理很重要的一個(gè)部分,企業(yè)數(shù)據(jù)治理的所有工作都是圍繞著提升數(shù)據(jù)質(zhì)量目標(biāo)而展開的,但是治理與管理是兩個(gè)矛盾的對(duì)立面,數(shù)據(jù)的質(zhì)量歸根結(jié)底主要是受到人的影響,對(duì)于管理類的數(shù)據(jù)質(zhì)量問題,更多往往在于企業(yè)人對(duì)于數(shù)據(jù)的理解、支持和認(rèn)知程度有很大的關(guān)系,通??梢詮臄?shù)據(jù)規(guī)劃、數(shù)據(jù)治理的組織與職責(zé)、數(shù)據(jù)規(guī)范的制度和流程等方面去做工程規(guī)劃。
本文為作者獨(dú)立觀點(diǎn),不代表鳥哥筆記立場(chǎng),未經(jīng)允許不得轉(zhuǎn)載。
《鳥哥筆記版權(quán)及免責(zé)申明》 如對(duì)文章、圖片、字體等版權(quán)有疑問,請(qǐng)點(diǎn)擊 反饋舉報(bào)
我們致力于提供一個(gè)高質(zhì)量?jī)?nèi)容的交流平臺(tái)。為落實(shí)國(guó)家互聯(lián)網(wǎng)信息辦公室“依法管網(wǎng)、依法辦網(wǎng)、依法上網(wǎng)”的要求,為完善跟帖評(píng)論自律管理,為了保護(hù)用戶創(chuàng)造的內(nèi)容、維護(hù)開放、真實(shí)、專業(yè)的平臺(tái)氛圍,我們團(tuán)隊(duì)將依據(jù)本公約中的條款對(duì)注冊(cè)用戶和發(fā)布在本平臺(tái)的內(nèi)容進(jìn)行管理。平臺(tái)鼓勵(lì)用戶創(chuàng)作、發(fā)布優(yōu)質(zhì)內(nèi)容,同時(shí)也將采取必要措施管理違法、侵權(quán)或有其他不良影響的網(wǎng)絡(luò)信息。
一、根據(jù)《網(wǎng)絡(luò)信息內(nèi)容生態(tài)治理規(guī)定》《中華人民共和國(guó)未成年人保護(hù)法》等法律法規(guī),對(duì)以下違法、不良信息或存在危害的行為進(jìn)行處理。
1. 違反法律法規(guī)的信息,主要表現(xiàn)為:
1)反對(duì)憲法所確定的基本原則;
2)危害國(guó)家安全,泄露國(guó)家秘密,顛覆國(guó)家政權(quán),破壞國(guó)家統(tǒng)一,損害國(guó)家榮譽(yù)和利益;
3)侮辱、濫用英烈形象,歪曲、丑化、褻瀆、否定英雄烈士事跡和精神,以侮辱、誹謗或者其他方式侵害英雄烈士的姓名、肖像、名譽(yù)、榮譽(yù);
4)宣揚(yáng)恐怖主義、極端主義或者煽動(dòng)實(shí)施恐怖活動(dòng)、極端主義活動(dòng);
5)煽動(dòng)民族仇恨、民族歧視,破壞民族團(tuán)結(jié);
6)破壞國(guó)家宗教政策,宣揚(yáng)邪教和封建迷信;
7)散布謠言,擾亂社會(huì)秩序,破壞社會(huì)穩(wěn)定;
8)宣揚(yáng)淫穢、色情、賭博、暴力、兇殺、恐怖或者教唆犯罪;
9)煽動(dòng)非法集會(huì)、結(jié)社、游行、示威、聚眾擾亂社會(huì)秩序;
10)侮辱或者誹謗他人,侵害他人名譽(yù)、隱私和其他合法權(quán)益;
11)通過網(wǎng)絡(luò)以文字、圖片、音視頻等形式,對(duì)未成年人實(shí)施侮辱、誹謗、威脅或者惡意損害未成年人形象進(jìn)行網(wǎng)絡(luò)欺凌的;
12)危害未成年人身心健康的;
13)含有法律、行政法規(guī)禁止的其他內(nèi)容;
2. 不友善:不尊重用戶及其所貢獻(xiàn)內(nèi)容的信息或行為。主要表現(xiàn)為:
1)輕蔑:貶低、輕視他人及其勞動(dòng)成果;
2)誹謗:捏造、散布虛假事實(shí),損害他人名譽(yù);
3)嘲諷:以比喻、夸張、侮辱性的手法對(duì)他人或其行為進(jìn)行揭露或描述,以此來激怒他人;
4)挑釁:以不友好的方式激怒他人,意圖使對(duì)方對(duì)自己的言論作出回應(yīng),蓄意制造事端;
5)羞辱:貶低他人的能力、行為、生理或身份特征,讓對(duì)方難堪;
6)謾罵:以不文明的語言對(duì)他人進(jìn)行負(fù)面評(píng)價(jià);
7)歧視:煽動(dòng)人群歧視、地域歧視等,針對(duì)他人的民族、種族、宗教、性取向、性別、年齡、地域、生理特征等身份或者歸類的攻擊;
8)威脅:許諾以不良的后果來迫使他人服從自己的意志;
3. 發(fā)布垃圾廣告信息:以推廣曝光為目的,發(fā)布影響用戶體驗(yàn)、擾亂本網(wǎng)站秩序的內(nèi)容,或進(jìn)行相關(guān)行為。主要表現(xiàn)為:
1)多次發(fā)布包含售賣產(chǎn)品、提供服務(wù)、宣傳推廣內(nèi)容的垃圾廣告。包括但不限于以下幾種形式:
2)單個(gè)帳號(hào)多次發(fā)布包含垃圾廣告的內(nèi)容;
3)多個(gè)廣告帳號(hào)互相配合發(fā)布、傳播包含垃圾廣告的內(nèi)容;
4)多次發(fā)布包含欺騙性外鏈的內(nèi)容,如未注明的淘寶客鏈接、跳轉(zhuǎn)網(wǎng)站等,誘騙用戶點(diǎn)擊鏈接
5)發(fā)布大量包含推廣鏈接、產(chǎn)品、品牌等內(nèi)容獲取搜索引擎中的不正當(dāng)曝光;
6)購(gòu)買或出售帳號(hào)之間虛假地互動(dòng),發(fā)布干擾網(wǎng)站秩序的推廣內(nèi)容及相關(guān)交易。
7)發(fā)布包含欺騙性的惡意營(yíng)銷內(nèi)容,如通過偽造經(jīng)歷、冒充他人等方式進(jìn)行惡意營(yíng)銷;
8)使用特殊符號(hào)、圖片等方式規(guī)避垃圾廣告內(nèi)容審核的廣告內(nèi)容。
4. 色情低俗信息,主要表現(xiàn)為:
1)包含自己或他人性經(jīng)驗(yàn)的細(xì)節(jié)描述或露骨的感受描述;
2)涉及色情段子、兩性笑話的低俗內(nèi)容;
3)配圖、頭圖中包含庸俗或挑逗性圖片的內(nèi)容;
4)帶有性暗示、性挑逗等易使人產(chǎn)生性聯(lián)想;
5)展現(xiàn)血腥、驚悚、殘忍等致人身心不適;
6)炒作緋聞、丑聞、劣跡等;
7)宣揚(yáng)低俗、庸俗、媚俗內(nèi)容。
5. 不實(shí)信息,主要表現(xiàn)為:
1)可能存在事實(shí)性錯(cuò)誤或者造謠等內(nèi)容;
2)存在事實(shí)夸大、偽造虛假經(jīng)歷等誤導(dǎo)他人的內(nèi)容;
3)偽造身份、冒充他人,通過頭像、用戶名等個(gè)人信息暗示自己具有特定身份,或與特定機(jī)構(gòu)或個(gè)人存在關(guān)聯(lián)。
6. 傳播封建迷信,主要表現(xiàn)為:
1)找人算命、測(cè)字、占卜、解夢(mèng)、化解厄運(yùn)、使用迷信方式治病;
2)求推薦算命看相大師;
3)針對(duì)具體風(fēng)水等問題進(jìn)行求助或咨詢;
4)問自己或他人的八字、六爻、星盤、手相、面相、五行缺失,包括通過占卜方法問婚姻、前程、運(yùn)勢(shì),東西寵物丟了能不能找回、取名改名等;
7. 文章標(biāo)題黨,主要表現(xiàn)為:
1)以各種夸張、獵奇、不合常理的表現(xiàn)手法等行為來誘導(dǎo)用戶;
2)內(nèi)容與標(biāo)題之間存在嚴(yán)重不實(shí)或者原意扭曲;
3)使用夸張標(biāo)題,內(nèi)容與標(biāo)題嚴(yán)重不符的。
8.「飯圈」亂象行為,主要表現(xiàn)為:
1)誘導(dǎo)未成年人應(yīng)援集資、高額消費(fèi)、投票打榜
2)粉絲互撕謾罵、拉踩引戰(zhàn)、造謠攻擊、人肉搜索、侵犯隱私
3)鼓動(dòng)「飯圈」粉絲攀比炫富、奢靡享樂等行為
4)以號(hào)召粉絲、雇用網(wǎng)絡(luò)水軍、「養(yǎng)號(hào)」形式刷量控評(píng)等行為
5)通過「蹭熱點(diǎn)」、制造話題等形式干擾輿論,影響傳播秩序
9. 其他危害行為或內(nèi)容,主要表現(xiàn)為:
1)可能引發(fā)未成年人模仿不安全行為和違反社會(huì)公德行為、誘導(dǎo)未成年人不良嗜好影響未成年人身心健康的;
2)不當(dāng)評(píng)述自然災(zāi)害、重大事故等災(zāi)難的;
3)美化、粉飾侵略戰(zhàn)爭(zhēng)行為的;
4)法律、行政法規(guī)禁止,或可能對(duì)網(wǎng)絡(luò)生態(tài)造成不良影響的其他內(nèi)容。
二、違規(guī)處罰
本網(wǎng)站通過主動(dòng)發(fā)現(xiàn)和接受用戶舉報(bào)兩種方式收集違規(guī)行為信息。所有有意的降低內(nèi)容質(zhì)量、傷害平臺(tái)氛圍及欺凌未成年人或危害未成年人身心健康的行為都是不能容忍的。
當(dāng)一個(gè)用戶發(fā)布違規(guī)內(nèi)容時(shí),本網(wǎng)站將依據(jù)相關(guān)用戶違規(guī)情節(jié)嚴(yán)重程度,對(duì)帳號(hào)進(jìn)行禁言 1 天、7 天、15 天直至永久禁言或封停賬號(hào)的處罰。當(dāng)涉及欺凌未成年人、危害未成年人身心健康、通過作弊手段注冊(cè)、使用帳號(hào),或者濫用多個(gè)帳號(hào)發(fā)布違規(guī)內(nèi)容時(shí),本網(wǎng)站將加重處罰。
三、申訴
隨著平臺(tái)管理經(jīng)驗(yàn)的不斷豐富,本網(wǎng)站出于維護(hù)本網(wǎng)站氛圍和秩序的目的,將不斷完善本公約。
如果本網(wǎng)站用戶對(duì)本網(wǎng)站基于本公約規(guī)定做出的處理有異議,可以通過「建議反饋」功能向本網(wǎng)站進(jìn)行反饋。
(規(guī)則的最終解釋權(quán)歸屬本網(wǎng)站所有)