chinesefreesexvideos高潮,欧美极品少妇性运交,久久久国产一区二区三区,99久久婷婷国产综合精品,成人国产一区二区三区

APP推廣合作
聯(lián)系“鳥哥筆記小喬”
(下)原理都懂,就是不會建模?來,頂尖數(shù)據(jù)模型走一波
2021-03-13 20:00:00

前言

上文咱開了個頭,給大家分享了一下什么是FSLDM,以及FSLDM是怎么切分主題域的。我們簡單回顧一下:

建模的核心是對現(xiàn)實世界的抽象。一個好的模型應該是穩(wěn)定的是靈活、可擴展的,是規(guī)范的,是中性的、通用的。

這其中最重要的,不是穩(wěn)定,不是靈活、可擴展,不是規(guī)范,而是中性、通用。

我們建的模型應該把抽象出來的對象盡可能的打散、重組,然后抽象、再重組,直到能夠非常通用才可以。

因為只有這樣,我們建設的模型,才能為同類型的新業(yè)務服務,甚至外延到其他BU。才可能穩(wěn)定、靈活、可擴展。

LDM位置

上次其實忘記說一個很重要的點:LDM是干啥的。在流程圖中,LDM已經(jīng)搞定到邏輯建模這個位置了:

但是在數(shù)據(jù)倉庫的架構中,它的位置處于中間這個位置:

有同學就好奇了,為啥LDM會在這里呢?為啥LDM不把上面的維度建模也搞定呢?還有上面的Cube也建起來,不是更牛X么?

昨天群里有個同學也問,DWD層寬表的元素構成主要考慮那些因素?是要更多的考慮下一層所需的靈活性,多弄一些字段,還是為了降低存儲壓力,減少一些字段呢?

這就得回到分層建設的核心目標是什么。你認為是什么?

分層是為了解耦。

解什么的耦?解業(yè)務和數(shù)據(jù)的耦。這也是LDM為什么要通用的原因。LDM通用了,上層的業(yè)務隨便改,下面的LDM不用改。下面的數(shù)據(jù)結構變了,LDM也不用大改。

所以回到文章最開始說的,什么是好的模型?為什么要做到靈活性、穩(wěn)定性、通用性?

因為要解耦。

好,剛才那位同學的問題,你覺得應該怎么回答?

首先第一點:現(xiàn)在存儲很便宜,所以不需要節(jié)省存儲空間。

第二點:單純的追求靈活性是不夠的,極致的靈活,就是所有的數(shù)據(jù)都存,也就是現(xiàn)在的數(shù)據(jù)湖的套路。

OK,我個人的理解是這樣的:DWD層可以不用考慮節(jié)省存儲的問題,必須要追求靈活性,但是同樣要考慮到通用性、規(guī)范性和穩(wěn)定性。所以,合適的抽象和選擇,是更重要的。但是如果是靈活性和存儲兩個選項,我選靈活性。

因為LDM的任務是解耦,為了節(jié)省空間,失去了解耦的靈活性,就舍本逐末了。

不過,盡信書不如無書。我們學習經(jīng)典,也要跟追時代的步法,否則就變成老古董了。

上圖中,業(yè)務系統(tǒng)和LDM都必須遵循三范式。但是現(xiàn)在互聯(lián)網(wǎng)行業(yè)由于高并發(fā)的場景,業(yè)務庫設計的時候就已經(jīng)退化范式了,尤其是一些大數(shù)據(jù)環(huán)境,從工具層面就已經(jīng)退化了。所以我們得結合實際去看哈。

當事人主題域

上篇文章里,我們看了一下FSLDM的十大主題域,分別是:當事人、資產(chǎn)、財務、區(qū)域、營銷活動、協(xié)議、事件、內(nèi)部組織、產(chǎn)品和渠道。

下面,我們拿其中一個主題域詳細說說,看看他們具體是怎么設計的。

先上定義,比較枯燥,嫌費勁可以先略過:

當事人是指任意的個人或團體。比如:客戶、潛在客戶、各種組織、雇員、銀行分行、內(nèi)部部門等等。是客戶概念的外延,能支持不同的關系(父子、雇傭、夫妻等);可以是一個具備相同目的的個體組合,如協(xié)會、社會團體、家庭、親友團等;可以是一個外部或內(nèi)部的組織機構。

然后呢?為啥要叫“當事人”?叫“客戶”不行么?想解釋這個問題,很簡單,看你要解決多大的問題。

如果你要說抽象到客戶一層,也可以。但是你還得弄一個“員工”。而且出現(xiàn)內(nèi)部員工也是客戶的情況咋辦?保險的客戶和基金的客戶是一樣的嗎?醫(yī)院的病人是不是也可以算是客戶的?學校的學生呢?

哥們是不是覺得我在抬杠?有哥們會說了,我*,直接抽象成人不就完事了?整那么復雜!

嘿嘿,真的嗎?企業(yè)是否也可以成為我們的客戶?可以吧?那你是不是還要出現(xiàn)一個企業(yè)的實體?嗯?搞定企業(yè)就行了?我能不能發(fā)展政府部門的生意?

你是不是想說加一個字段區(qū)分?。?/span>

嘿嘿,光有一個字段區(qū)分還不行,因為個人、公司和政府的唯一碼不一樣,所以可能還得分兩張表。而且,他們的層級、關系都不一樣,購買的產(chǎn)品和對應的政策也都是兩套。你看,暈了吧?

之所以出現(xiàn)這些問題,是因為抽象的還不夠高。當然,不是說抽象的越高越好啊,咱還得根據(jù)咱的實際業(yè)務去走。

比如FSLDM的當事人定義為:“任意個人或者團體”,這從最根本上就解釋了:“我們是為誰服務的”這個問題。同理,IBM的BMDW也不是客戶,而是關系人。

然后咱再往下梳理:當事人有幾種?不同的當事人的屬性也不一樣,那必須得分開啊。他們之間是否還有層級關系?也要體現(xiàn)出來了。

所以,F(xiàn)SDLM當事人的模型就是就是這么構建的(懶,沒用PD,大家湊合看哈,意思到了就行):

這樣的結構可以完美解決上述的各種問題。最上一層,抽象為當事人,往下分為個人和團體機構。

個人和團體各自有自己的細分、關系、屬性,各自分的清清楚楚,明明白白的。

個人又會衍生出兩種不同的關系,一種是家庭,一種是員工。

機構呢,則細分為內(nèi)部機構和外部機構,各自又有細分和上下級關系。

個人與個人、個人與家庭、機構與機構、個人與機構,都是可以發(fā)生任意關系的,這些關系都會在關系表中。

所以什么是檢驗模型好壞的標準?是你設計的模型,能夠承接當前商業(yè)環(huán)境下任意的業(yè)務關系。

不好的模型是什么樣的?這邊業(yè)務邏輯稍微變一點,數(shù)據(jù)模型就沒法支撐,就得加字段、加表,甚至重構。

到這里就結束了嗎?遠遠沒有。

前面說過,F(xiàn)SLDM第一層是10個主題域,第二層是50多個實體,第三層是近3000個實體和一萬多個屬性,以及300多個邏輯模型。

10個主題域我們說過了。并且選了其中一個,闡述了其中“當事人”領域,學習了他們是怎么抽象一個能夠支撐核心業(yè)務的核心實體,以組建“當事人”主題域的。再往下一步就得再解剖一個核心實體,看看這個實體具體怎么設計的。 

個人實體

很多人具體到建更細的實體的時候,就會有各種問題,這個屬性怎么關聯(lián)?有共性的該咋弄?這個是不是要單獨建一個屬性/實體等等。

其實這些問題我也不能給你準確的答復,也沒有一個絕對標準的回答。在建模這塊,基礎的共識是:根據(jù)建模師的經(jīng)驗和喜好,比較自由的去構建。

這個有點像建筑設計師的感覺。只要結構合理,力量支撐到位,對下層的操作數(shù)據(jù)友善,對上層的業(yè)務拓展開放,就是一個非常好的建模。

在FSLDM的當事人主題-個人域中,是這樣構建的(圖片不嚴謹,湊合看哈):

中間是當事人-個人主題域的層級關系。這里核心實體有3個:當事人、個人、雇員。

為什么語言放在當事人實體上呢?我們思考一下,當事人除了人,其實還有組織機構。組織機構其實也是有語言偏好的。好比我們給各大領事館打電話,用他們的官方語言是尊重的表現(xiàn),即便是他們也懂中文。

但是職業(yè)歷史、個人技能、婚姻狀況等就只能放在“個人”實體上了。而下面雇員其實也有自己的屬性,這我就沒畫出來了。

在個人層面,各種屬性就不說了,根據(jù)業(yè)務要求來。請注意右側,還有一個付款時序和獎勵時序。這兩個就跟銀行的業(yè)務關系非常緊密了,而且后續(xù)可以做很多的業(yè)務洞察。

有人說了,那銀行保險之類的公司最重要的不是額度、簽約歷史、聯(lián)系方式、身份驗證等,這些信息在哪里?

嘿嘿,這些信息是非常重要,但是不單單是只有個人才有哦!機構也是有的。所以這些統(tǒng)統(tǒng)都放在“當事人”那一層,比如這樣:

并且,因為額度、身份、簽約、聯(lián)系信息等內(nèi)容其實都是會變化的,有些信息變化可能還會很頻繁,所以建歷史表是最合適的了。

那跟其他主題域發(fā)生關系咋弄?你得有一個區(qū)域,專門放當事人跟其他主題域的關聯(lián)關系。

那有其他業(yè)務怎么辦?具體看是什么業(yè)務,如果是核心業(yè)務,比如協(xié)議、產(chǎn)品,用上面的關聯(lián)關系直接連通到其他主題域。

如果是風險、信用報告、資產(chǎn)和負債等與當事人關系非常緊密的,單獨劃分一個個的小區(qū)域,專門存放這類模型。

所以當事人這個大的主題域下,還會細分以下部分:

個人、機構業(yè)務、機構信息、關系、分類、風險、信用報告、資產(chǎn)、負債等等。

每個小塊中都是以當事人為核心,各自展開。當然,關注的內(nèi)容、建立的實體、關系都完全不一樣,相互獨立,卻有互相關聯(lián)、支撐。這有點MECE的那個意思。

順序

這一個主題域我們說完了,這還有9個呢。怎么搞?按什么順序建呢?有些同學喜歡按照重要程度去建設,前面不是已經(jīng)整理出來了么?跟其他主題域關系最緊密的就是啊。那就是當事人、協(xié)議和組織了。

這個邏輯很有道理,但是你貿(mào)然決策,就肯定會踩坑。因為有些領域是非常個性化的,非常耗費時間,有些領域還沒啥產(chǎn)出。

而且,你評判主題域是否重要的指標是什么?跟其他領域的關系密切程度嗎?那個的確能代表重要程度,但是這同樣也代表了復雜程度啊。

我的經(jīng)驗是重要性+價值度,評價出優(yōu)先級別。這樣的好處是邊建設,邊有業(yè)務產(chǎn)出。

不過FSLDM的建設邏輯既不是按上面說的那種重要程度排序,也不是按重要+價值綜合評定,而是按這個邏輯:

這也是分輕重的,但是有沒有發(fā)現(xiàn)規(guī)律?那就是除了重要、價值兩個維度之外,還有一個“數(shù)據(jù)”的維度。

為啥要加這個維度?因為沒參考數(shù)據(jù),建模的工作就是空對空啊,全憑想象。而且,建模之后有一個非常關鍵的動作,就是模型的驗證。沒數(shù)據(jù),也沒辦法驗證你這個模型的好壞。

所以,加入數(shù)據(jù)因素,綜合評判,更適合建模工作的推進。

你是不是好奇FSLDM的建模工作推進流程?這個當然不能少了!

簡單來說,項目得分準備、研討、分析源系統(tǒng)、業(yè)務定義、客戶化和模型驗證6個環(huán)節(jié)。

不過這個參考意義不大,因為他們已經(jīng)有標準模型了,相當于是改裝車的工作流程,而不是造車的流程。

其中比較有意思的環(huán)節(jié)是研討環(huán)節(jié)。這個環(huán)節(jié)相當于是在拉平認知。后面的事情就好辦了。

為什么說參考意義不大呢?因為現(xiàn)在,已經(jīng)沒有哪個公司愿意這么做了。主要的原因一言難盡吶!如果你感興趣,就繼續(xù)點“在看”,我看有沒有足夠的動力,推動我去吐槽一下現(xiàn)在行業(yè)數(shù)據(jù)倉庫工作狀態(tài)和未來發(fā)展方向。

結語

建模是一件非??简灁?shù)據(jù)建模工程師功底、專業(yè)性極強的工作。模型架構的合理不合理,完全取決于你對于業(yè)務的理解、對于方法的熟練掌控能力,以及對于數(shù)據(jù)的結構性架構的能力。

提升能力的方法,最好的辦法就是閱讀經(jīng)典,理解、掌握其內(nèi)在邏輯,不斷的思考、總結、提煉,然后在實踐中磨煉。祝好!

感謝閱讀,本次分享的內(nèi)容就結束了。本公眾號目前保持日更3000字,為你提供優(yōu)秀的數(shù)據(jù)領域的分享。本篇如果有幫助的話,還請點贊、在看分享一波!

歡迎大家加我微信好友,盡個點贊之交,有需要的可以拉你進數(shù)據(jù)建模交流群,2021更上一層樓!

推薦閱讀

數(shù)字化轉(zhuǎn)型案例失利的3大原因 by 彭文華

數(shù)倉的建模和BI的建模有啥區(qū)別?by彭文華

一口氣講完數(shù)據(jù)倉建模方法--數(shù)據(jù)倉庫架構師碎碎念

傳統(tǒng)數(shù)倉和大數(shù)據(jù)數(shù)倉的區(qū)別是什么?

傳統(tǒng)數(shù)據(jù)倉庫轉(zhuǎn)型最佳目標:Kylin!


更多精彩:

分享到朋友圈
收藏
收藏
評分

綜合評分:

我的評分
Xinstall 15天會員特權
Xinstall是專業(yè)的數(shù)據(jù)分析服務商,幫企業(yè)追蹤渠道安裝來源、裂變拉新統(tǒng)計、廣告流量指導等,廣泛應用于廣告效果統(tǒng)計、APP地推與CPS/CPA歸屬統(tǒng)計等方面。
20羽毛
立即兌換
一書一課30天會員體驗卡
領30天VIP會員,110+門職場大課,250+本精讀好書免費學!助你提升職場力!
20羽毛
立即兌換
順豐同城急送全國通用20元優(yōu)惠券
順豐同城急送是順豐推出的平均1小時送全城的即時快送服務,專業(yè)安全,準時送達!
30羽毛
立即兌換
大數(shù)據(jù)架構師
大數(shù)據(jù)架構師
發(fā)表文章270
歷任多家公司大數(shù)據(jù)總監(jiān)、大數(shù)據(jù)架構師,專注于數(shù)字化轉(zhuǎn)型領域。
確認要消耗 羽毛購買
(下)原理都懂,就是不會建模?來,頂尖數(shù)據(jù)模型走一波嗎?
考慮一下
很遺憾,羽毛不足
我知道了

我們致力于提供一個高質(zhì)量內(nèi)容的交流平臺。為落實國家互聯(lián)網(wǎng)信息辦公室“依法管網(wǎng)、依法辦網(wǎng)、依法上網(wǎng)”的要求,為完善跟帖評論自律管理,為了保護用戶創(chuàng)造的內(nèi)容、維護開放、真實、專業(yè)的平臺氛圍,我們團隊將依據(jù)本公約中的條款對注冊用戶和發(fā)布在本平臺的內(nèi)容進行管理。平臺鼓勵用戶創(chuàng)作、發(fā)布優(yōu)質(zhì)內(nèi)容,同時也將采取必要措施管理違法、侵權或有其他不良影響的網(wǎng)絡信息。


一、根據(jù)《網(wǎng)絡信息內(nèi)容生態(tài)治理規(guī)定》《中華人民共和國未成年人保護法》等法律法規(guī),對以下違法、不良信息或存在危害的行為進行處理。
1. 違反法律法規(guī)的信息,主要表現(xiàn)為:
    1)反對憲法所確定的基本原則;
    2)危害國家安全,泄露國家秘密,顛覆國家政權,破壞國家統(tǒng)一,損害國家榮譽和利益;
    3)侮辱、濫用英烈形象,歪曲、丑化、褻瀆、否定英雄烈士事跡和精神,以侮辱、誹謗或者其他方式侵害英雄烈士的姓名、肖像、名譽、榮譽;
    4)宣揚恐怖主義、極端主義或者煽動實施恐怖活動、極端主義活動;
    5)煽動民族仇恨、民族歧視,破壞民族團結;
    6)破壞國家宗教政策,宣揚邪教和封建迷信;
    7)散布謠言,擾亂社會秩序,破壞社會穩(wěn)定;
    8)宣揚淫穢、色情、賭博、暴力、兇殺、恐怖或者教唆犯罪;
    9)煽動非法集會、結社、游行、示威、聚眾擾亂社會秩序;
    10)侮辱或者誹謗他人,侵害他人名譽、隱私和其他合法權益;
    11)通過網(wǎng)絡以文字、圖片、音視頻等形式,對未成年人實施侮辱、誹謗、威脅或者惡意損害未成年人形象進行網(wǎng)絡欺凌的;
    12)危害未成年人身心健康的;
    13)含有法律、行政法規(guī)禁止的其他內(nèi)容;


2. 不友善:不尊重用戶及其所貢獻內(nèi)容的信息或行為。主要表現(xiàn)為:
    1)輕蔑:貶低、輕視他人及其勞動成果;
    2)誹謗:捏造、散布虛假事實,損害他人名譽;
    3)嘲諷:以比喻、夸張、侮辱性的手法對他人或其行為進行揭露或描述,以此來激怒他人;
    4)挑釁:以不友好的方式激怒他人,意圖使對方對自己的言論作出回應,蓄意制造事端;
    5)羞辱:貶低他人的能力、行為、生理或身份特征,讓對方難堪;
    6)謾罵:以不文明的語言對他人進行負面評價;
    7)歧視:煽動人群歧視、地域歧視等,針對他人的民族、種族、宗教、性取向、性別、年齡、地域、生理特征等身份或者歸類的攻擊;
    8)威脅:許諾以不良的后果來迫使他人服從自己的意志;


3. 發(fā)布垃圾廣告信息:以推廣曝光為目的,發(fā)布影響用戶體驗、擾亂本網(wǎng)站秩序的內(nèi)容,或進行相關行為。主要表現(xiàn)為:
    1)多次發(fā)布包含售賣產(chǎn)品、提供服務、宣傳推廣內(nèi)容的垃圾廣告。包括但不限于以下幾種形式:
    2)單個帳號多次發(fā)布包含垃圾廣告的內(nèi)容;
    3)多個廣告帳號互相配合發(fā)布、傳播包含垃圾廣告的內(nèi)容;
    4)多次發(fā)布包含欺騙性外鏈的內(nèi)容,如未注明的淘寶客鏈接、跳轉(zhuǎn)網(wǎng)站等,誘騙用戶點擊鏈接
    5)發(fā)布大量包含推廣鏈接、產(chǎn)品、品牌等內(nèi)容獲取搜索引擎中的不正當曝光;
    6)購買或出售帳號之間虛假地互動,發(fā)布干擾網(wǎng)站秩序的推廣內(nèi)容及相關交易。
    7)發(fā)布包含欺騙性的惡意營銷內(nèi)容,如通過偽造經(jīng)歷、冒充他人等方式進行惡意營銷;
    8)使用特殊符號、圖片等方式規(guī)避垃圾廣告內(nèi)容審核的廣告內(nèi)容。


4. 色情低俗信息,主要表現(xiàn)為:
    1)包含自己或他人性經(jīng)驗的細節(jié)描述或露骨的感受描述;
    2)涉及色情段子、兩性笑話的低俗內(nèi)容;
    3)配圖、頭圖中包含庸俗或挑逗性圖片的內(nèi)容;
    4)帶有性暗示、性挑逗等易使人產(chǎn)生性聯(lián)想;
    5)展現(xiàn)血腥、驚悚、殘忍等致人身心不適;
    6)炒作緋聞、丑聞、劣跡等;
    7)宣揚低俗、庸俗、媚俗內(nèi)容。


5. 不實信息,主要表現(xiàn)為:
    1)可能存在事實性錯誤或者造謠等內(nèi)容;
    2)存在事實夸大、偽造虛假經(jīng)歷等誤導他人的內(nèi)容;
    3)偽造身份、冒充他人,通過頭像、用戶名等個人信息暗示自己具有特定身份,或與特定機構或個人存在關聯(lián)。


6. 傳播封建迷信,主要表現(xiàn)為:
    1)找人算命、測字、占卜、解夢、化解厄運、使用迷信方式治??;
    2)求推薦算命看相大師;
    3)針對具體風水等問題進行求助或咨詢;
    4)問自己或他人的八字、六爻、星盤、手相、面相、五行缺失,包括通過占卜方法問婚姻、前程、運勢,東西寵物丟了能不能找回、取名改名等;


7. 文章標題黨,主要表現(xiàn)為:
    1)以各種夸張、獵奇、不合常理的表現(xiàn)手法等行為來誘導用戶;
    2)內(nèi)容與標題之間存在嚴重不實或者原意扭曲;
    3)使用夸張標題,內(nèi)容與標題嚴重不符的。


8.「飯圈」亂象行為,主要表現(xiàn)為:
    1)誘導未成年人應援集資、高額消費、投票打榜
    2)粉絲互撕謾罵、拉踩引戰(zhàn)、造謠攻擊、人肉搜索、侵犯隱私
    3)鼓動「飯圈」粉絲攀比炫富、奢靡享樂等行為
    4)以號召粉絲、雇用網(wǎng)絡水軍、「養(yǎng)號」形式刷量控評等行為
    5)通過「蹭熱點」、制造話題等形式干擾輿論,影響傳播秩序


9. 其他危害行為或內(nèi)容,主要表現(xiàn)為:
    1)可能引發(fā)未成年人模仿不安全行為和違反社會公德行為、誘導未成年人不良嗜好影響未成年人身心健康的;
    2)不當評述自然災害、重大事故等災難的;
    3)美化、粉飾侵略戰(zhàn)爭行為的;
    4)法律、行政法規(guī)禁止,或可能對網(wǎng)絡生態(tài)造成不良影響的其他內(nèi)容。


二、違規(guī)處罰
本網(wǎng)站通過主動發(fā)現(xiàn)和接受用戶舉報兩種方式收集違規(guī)行為信息。所有有意的降低內(nèi)容質(zhì)量、傷害平臺氛圍及欺凌未成年人或危害未成年人身心健康的行為都是不能容忍的。
當一個用戶發(fā)布違規(guī)內(nèi)容時,本網(wǎng)站將依據(jù)相關用戶違規(guī)情節(jié)嚴重程度,對帳號進行禁言 1 天、7 天、15 天直至永久禁言或封停賬號的處罰。當涉及欺凌未成年人、危害未成年人身心健康、通過作弊手段注冊、使用帳號,或者濫用多個帳號發(fā)布違規(guī)內(nèi)容時,本網(wǎng)站將加重處罰。


三、申訴
隨著平臺管理經(jīng)驗的不斷豐富,本網(wǎng)站出于維護本網(wǎng)站氛圍和秩序的目的,將不斷完善本公約。
如果本網(wǎng)站用戶對本網(wǎng)站基于本公約規(guī)定做出的處理有異議,可以通過「建議反饋」功能向本網(wǎng)站進行反饋。
(規(guī)則的最終解釋權歸屬本網(wǎng)站所有)

我知道了
恭喜你~答對了
+5羽毛
下一次認真讀哦
成功推薦給其他人
+ 10羽毛
評論成功且進入審核!審核通過后,您將獲得10羽毛的獎勵。分享本文章給好友閱讀最高再得15羽毛~
(羽毛可至 "羽毛精選" 兌換禮品)
好友微信掃一掃
復制鏈接