chinesefreesexvideos高潮,欧美极品少妇性运交,久久久国产一区二区三区,99久久婷婷国产综合精品,成人国产一区二区三区

APP推廣合作
聯(lián)系“鳥哥筆記小喬”
OLAP:實(shí)現(xiàn)高效BI分析的必備技術(shù)
2022-06-15 17:21:51

“ 每個(gè)做大數(shù)據(jù)的同學(xué),都應(yīng)該聽過OLAP或者實(shí)踐過。”

什么是OLAP多維分析,它究竟有啥作用,如今都有哪些流行的技術(shù)解決方案來實(shí)現(xiàn)?今天我們?cè)敿?xì)聊一聊。

文中部分內(nèi)容參考了朱凱老師的《ClickHouse原理解析》,感興趣的朋友可以買來讀一讀。

BI系統(tǒng)的演進(jìn)

在聊OLAP之前,我們先把時(shí)間拉長(zhǎng),聊聊BI系統(tǒng)。

(1)傳統(tǒng)BI系統(tǒng)

上個(gè)世紀(jì),IT技術(shù)迅猛發(fā)展,主要特征就是線下工作的線上化。各種各樣的IT系統(tǒng)(比如ERP、CRM等)在各個(gè)行業(yè)落地實(shí)施。相應(yīng)的,我們把這類系統(tǒng)稱之為聯(lián)機(jī)事務(wù)處理(OLTP)系統(tǒng)。

但是在企業(yè)的運(yùn)行過程中,不只是有流程審批這些工作,還有很多報(bào)表統(tǒng)計(jì)、分析決策相關(guān)的訴求。但是早期的IT系統(tǒng)的數(shù)據(jù)各自獨(dú)立,互相割裂,給分析帶來了極大的困難。

為了解決這一問題,人們提出了數(shù)據(jù)倉庫的概念,把數(shù)據(jù)集中在一起,打通隔閡,并通過分層的方式處理數(shù)據(jù)。

逐步的,在數(shù)倉基礎(chǔ)上提供數(shù)據(jù)分析的系統(tǒng)慢慢發(fā)展起來。直到90年代,BI系統(tǒng)的概念提出來,專門指代這類分析系統(tǒng)。相對(duì)于OLTP系統(tǒng),這類BI系統(tǒng)被稱為聯(lián)機(jī)分析(OLAP)系統(tǒng)。

傳統(tǒng)BI系統(tǒng)解決了很多問題,但是存在的瓶頸也是很多的。比如數(shù)據(jù)的分析效率底下、研發(fā)迭代緩慢等,都對(duì)應(yīng)用效果產(chǎn)生了負(fù)面影響。

(2)現(xiàn)代BI系統(tǒng)

最近幾年,SaaS模式的興起,為BI系統(tǒng)帶來了新的發(fā)展機(jī)遇。例如我們熟知的GA、神策分析、友盟分析等,采取的服務(wù)模式都是SaaS化。很多中小型公司的BI系統(tǒng)不再依賴于數(shù)倉的搭建。

而現(xiàn)代BI系統(tǒng)背后的OLAP技術(shù)也在不斷發(fā)展。

什么是OLAP

下面我們?cè)敿?xì)聊聊OLAP。

OLAP即聯(lián)機(jī)分析,又可以稱為多維分析,是關(guān)系型數(shù)據(jù)庫之父Edgar Frank于1993年提出的概念。它指的是通過多種不同的維度審視數(shù)據(jù),進(jìn)行深層次分析。主要的操作包括下鉆、上卷、切片、切塊等。

參考Excel的數(shù)據(jù)透視表的功能,大家就好理解這些操作了。數(shù)據(jù)透視表實(shí)現(xiàn)了對(duì)原始數(shù)據(jù)的各種聚合、分解、切片等操作,OLAP也是如此??梢园袿LAP理解成對(duì)公司數(shù)據(jù)庫建立一個(gè)大的透視表,通過這個(gè)透視表進(jìn)行各種維度的分析,這就是OLAP。

說白了,OLAP是用于我們進(jìn)行分析的引擎。在很多公司的數(shù)據(jù)架構(gòu)中,OLAP作為頂層分析應(yīng)用層與數(shù)據(jù)存儲(chǔ)層的中間處理層。其核心解決的是和數(shù)據(jù)分析相關(guān)的需求。

常見的OLAP架構(gòu)可以分為三類。

(1)ROLAP

第一種架構(gòu)稱為ROLAP(Relational OLAP),即關(guān)系型OLAP。顧名思義,是直接使用關(guān)系模型進(jìn)行構(gòu)建的。因此,多維分析的操作是可以直接轉(zhuǎn)換成SQL進(jìn)行查詢的。

這種架構(gòu)對(duì)數(shù)據(jù)的實(shí)時(shí)處理能力要求很高。像ClickHouse、Impala、Presto都是典型的RLOAP代表。

(2)MOLAP

第二種架構(gòu)稱為MOLAP(Multidimensional OLAP),即多維型OLAP。

MOLAP的出現(xiàn)是為了緩解ROLAP的性能問題。其核心思路是對(duì)數(shù)據(jù)預(yù)先聚合處理,以存儲(chǔ)空間換查詢時(shí)間的減少。典型的MOLAP包括Kylin、Druid等。

容易想到,如果維度較多,需要存儲(chǔ)的數(shù)據(jù)量級(jí)會(huì)有指數(shù)級(jí)地上漲。一張千萬級(jí)別的數(shù)據(jù)表,可能膨脹到需要存儲(chǔ)億級(jí)別的體量。

另外,由于需要進(jìn)行預(yù)計(jì)算,MOLAP的數(shù)據(jù)會(huì)有一定的滯后性,不能實(shí)時(shí)進(jìn)行數(shù)據(jù)分析。并且由于只保留了聚合后的結(jié)果數(shù)據(jù),無法查詢明細(xì)數(shù)據(jù)。

(3)HOLAP

第三類架構(gòu)稱為HOLAP(Hybrid OLAP),即混合架構(gòu)OLAP。

這種架構(gòu)可以理解成ROLAP和MOLAP的集成。

OLAP實(shí)現(xiàn)技術(shù)的演進(jìn)

前面我們也陸續(xù)介紹了OLAP相關(guān)的一些技術(shù)。下面我們簡(jiǎn)單聊聊OLAP技術(shù)的演進(jìn)過程。

(1)傳統(tǒng)關(guān)系型數(shù)據(jù)庫階段

第一個(gè)階段稱為傳統(tǒng)的關(guān)系型數(shù)據(jù)庫階段。在這個(gè)階段中,OLAP主要是以O(shè)racle、MySQL等關(guān)系型數(shù)據(jù)庫實(shí)現(xiàn)。

在ROLAP架構(gòu)下,直接使用這些數(shù)據(jù)庫作為存儲(chǔ)和計(jì)算的載體;在MOLAP架構(gòu)下,則借助物化視圖的形式實(shí)現(xiàn)數(shù)據(jù)立方體。

該階段中,無論是ROLAP還是MOLAP,當(dāng)數(shù)據(jù)體量大、維度數(shù)目多的時(shí)候,都存在嚴(yán)重的性能問題,甚至存在根本查不出結(jié)果的情況。

(2)大數(shù)據(jù)技術(shù)階段

第二個(gè)極端可以稱為大數(shù)據(jù)階段。在這個(gè)階段,主要依賴Hive等大數(shù)據(jù)技術(shù)進(jìn)行實(shí)現(xiàn)。

以ROLAP為例,傳統(tǒng)的關(guān)系型數(shù)據(jù)庫唄Hive和SparkSQL這類新型技術(shù)所取代。相比傳統(tǒng)的數(shù)據(jù)庫而言,面向海量數(shù)據(jù)的處理性能明顯提升了很多。但是在提供實(shí)時(shí)的在線查詢服務(wù)時(shí),仍然需要幾十秒甚至數(shù)分鐘才能返回。

(3)最新階段

最近幾年,一款新的OLAP解決方案ClickHouse走進(jìn)了大家的視野。其優(yōu)越的查詢計(jì)算性能讓人驚嘆。頭條、阿里、騰訊等大廠也紛紛進(jìn)行使用。

ClickHouse是由來自俄羅斯的Yandex公司研發(fā)的(Yandex類似于中國的百度,是俄羅斯的本土搜索引擎,占據(jù)俄國47%的搜索市場(chǎng)),是一款開源軟件。

其他一些常見的OLAP技術(shù)方案對(duì)比如下,供參考。

不同的技術(shù),也都存在各自的優(yōu)點(diǎn)和缺點(diǎn)。在目前階段,沒有哪種OLAP技術(shù)是萬能的靈丹妙藥,可以解決所有問題。大家在技術(shù)選型時(shí),需要結(jié)合自己的業(yè)務(wù)數(shù)據(jù)特點(diǎn),進(jìn)行選擇。不知道未來是否有一天,能出現(xiàn)完美的OLAP解決方案,一統(tǒng)江湖。期待吧。

關(guān)于OLAP就分享這些,歡迎繼續(xù)關(guān)注~

首席數(shù)據(jù)科學(xué)家
分享到朋友圈
收藏
收藏
評(píng)分

綜合評(píng)分:

我的評(píng)分
Xinstall 15天會(huì)員特權(quán)
Xinstall是專業(yè)的數(shù)據(jù)分析服務(wù)商,幫企業(yè)追蹤渠道安裝來源、裂變拉新統(tǒng)計(jì)、廣告流量指導(dǎo)等,廣泛應(yīng)用于廣告效果統(tǒng)計(jì)、APP地推與CPS/CPA歸屬統(tǒng)計(jì)等方面。
20羽毛
立即兌換
一書一課30天會(huì)員體驗(yàn)卡
領(lǐng)30天VIP會(huì)員,110+門職場(chǎng)大課,250+本精讀好書免費(fèi)學(xué)!助你提升職場(chǎng)力!
20羽毛
立即兌換
順豐同城急送全國通用20元優(yōu)惠券
順豐同城急送是順豐推出的平均1小時(shí)送全城的即時(shí)快送服務(wù),專業(yè)安全,準(zhǔn)時(shí)送達(dá)!
30羽毛
立即兌換
首席數(shù)據(jù)科學(xué)家
用數(shù)據(jù)科學(xué)的方法賦能業(yè)務(wù),發(fā)揮數(shù)據(jù)價(jià)值,做業(yè)界最好的數(shù)據(jù)科學(xué)家。
確認(rèn)要消耗 羽毛購買
OLAP:實(shí)現(xiàn)高效BI分析的必備技術(shù)嗎?
考慮一下
很遺憾,羽毛不足
我知道了

我們致力于提供一個(gè)高質(zhì)量?jī)?nèi)容的交流平臺(tái)。為落實(shí)國家互聯(lián)網(wǎng)信息辦公室“依法管網(wǎng)、依法辦網(wǎng)、依法上網(wǎng)”的要求,為完善跟帖評(píng)論自律管理,為了保護(hù)用戶創(chuàng)造的內(nèi)容、維護(hù)開放、真實(shí)、專業(yè)的平臺(tái)氛圍,我們團(tuán)隊(duì)將依據(jù)本公約中的條款對(duì)注冊(cè)用戶和發(fā)布在本平臺(tái)的內(nèi)容進(jìn)行管理。平臺(tái)鼓勵(lì)用戶創(chuàng)作、發(fā)布優(yōu)質(zhì)內(nèi)容,同時(shí)也將采取必要措施管理違法、侵權(quán)或有其他不良影響的網(wǎng)絡(luò)信息。


一、根據(jù)《網(wǎng)絡(luò)信息內(nèi)容生態(tài)治理規(guī)定》《中華人民共和國未成年人保護(hù)法》等法律法規(guī),對(duì)以下違法、不良信息或存在危害的行為進(jìn)行處理。
1. 違反法律法規(guī)的信息,主要表現(xiàn)為:
    1)反對(duì)憲法所確定的基本原則;
    2)危害國家安全,泄露國家秘密,顛覆國家政權(quán),破壞國家統(tǒng)一,損害國家榮譽(yù)和利益;
    3)侮辱、濫用英烈形象,歪曲、丑化、褻瀆、否定英雄烈士事跡和精神,以侮辱、誹謗或者其他方式侵害英雄烈士的姓名、肖像、名譽(yù)、榮譽(yù);
    4)宣揚(yáng)恐怖主義、極端主義或者煽動(dòng)實(shí)施恐怖活動(dòng)、極端主義活動(dòng);
    5)煽動(dòng)民族仇恨、民族歧視,破壞民族團(tuán)結(jié);
    6)破壞國家宗教政策,宣揚(yáng)邪教和封建迷信;
    7)散布謠言,擾亂社會(huì)秩序,破壞社會(huì)穩(wěn)定;
    8)宣揚(yáng)淫穢、色情、賭博、暴力、兇殺、恐怖或者教唆犯罪;
    9)煽動(dòng)非法集會(huì)、結(jié)社、游行、示威、聚眾擾亂社會(huì)秩序;
    10)侮辱或者誹謗他人,侵害他人名譽(yù)、隱私和其他合法權(quán)益;
    11)通過網(wǎng)絡(luò)以文字、圖片、音視頻等形式,對(duì)未成年人實(shí)施侮辱、誹謗、威脅或者惡意損害未成年人形象進(jìn)行網(wǎng)絡(luò)欺凌的;
    12)危害未成年人身心健康的;
    13)含有法律、行政法規(guī)禁止的其他內(nèi)容;


2. 不友善:不尊重用戶及其所貢獻(xiàn)內(nèi)容的信息或行為。主要表現(xiàn)為:
    1)輕蔑:貶低、輕視他人及其勞動(dòng)成果;
    2)誹謗:捏造、散布虛假事實(shí),損害他人名譽(yù);
    3)嘲諷:以比喻、夸張、侮辱性的手法對(duì)他人或其行為進(jìn)行揭露或描述,以此來激怒他人;
    4)挑釁:以不友好的方式激怒他人,意圖使對(duì)方對(duì)自己的言論作出回應(yīng),蓄意制造事端;
    5)羞辱:貶低他人的能力、行為、生理或身份特征,讓對(duì)方難堪;
    6)謾罵:以不文明的語言對(duì)他人進(jìn)行負(fù)面評(píng)價(jià);
    7)歧視:煽動(dòng)人群歧視、地域歧視等,針對(duì)他人的民族、種族、宗教、性取向、性別、年齡、地域、生理特征等身份或者歸類的攻擊;
    8)威脅:許諾以不良的后果來迫使他人服從自己的意志;


3. 發(fā)布垃圾廣告信息:以推廣曝光為目的,發(fā)布影響用戶體驗(yàn)、擾亂本網(wǎng)站秩序的內(nèi)容,或進(jìn)行相關(guān)行為。主要表現(xiàn)為:
    1)多次發(fā)布包含售賣產(chǎn)品、提供服務(wù)、宣傳推廣內(nèi)容的垃圾廣告。包括但不限于以下幾種形式:
    2)單個(gè)帳號(hào)多次發(fā)布包含垃圾廣告的內(nèi)容;
    3)多個(gè)廣告帳號(hào)互相配合發(fā)布、傳播包含垃圾廣告的內(nèi)容;
    4)多次發(fā)布包含欺騙性外鏈的內(nèi)容,如未注明的淘寶客鏈接、跳轉(zhuǎn)網(wǎng)站等,誘騙用戶點(diǎn)擊鏈接
    5)發(fā)布大量包含推廣鏈接、產(chǎn)品、品牌等內(nèi)容獲取搜索引擎中的不正當(dāng)曝光;
    6)購買或出售帳號(hào)之間虛假地互動(dòng),發(fā)布干擾網(wǎng)站秩序的推廣內(nèi)容及相關(guān)交易。
    7)發(fā)布包含欺騙性的惡意營(yíng)銷內(nèi)容,如通過偽造經(jīng)歷、冒充他人等方式進(jìn)行惡意營(yíng)銷;
    8)使用特殊符號(hào)、圖片等方式規(guī)避垃圾廣告內(nèi)容審核的廣告內(nèi)容。


4. 色情低俗信息,主要表現(xiàn)為:
    1)包含自己或他人性經(jīng)驗(yàn)的細(xì)節(jié)描述或露骨的感受描述;
    2)涉及色情段子、兩性笑話的低俗內(nèi)容;
    3)配圖、頭圖中包含庸俗或挑逗性圖片的內(nèi)容;
    4)帶有性暗示、性挑逗等易使人產(chǎn)生性聯(lián)想;
    5)展現(xiàn)血腥、驚悚、殘忍等致人身心不適;
    6)炒作緋聞、丑聞、劣跡等;
    7)宣揚(yáng)低俗、庸俗、媚俗內(nèi)容。


5. 不實(shí)信息,主要表現(xiàn)為:
    1)可能存在事實(shí)性錯(cuò)誤或者造謠等內(nèi)容;
    2)存在事實(shí)夸大、偽造虛假經(jīng)歷等誤導(dǎo)他人的內(nèi)容;
    3)偽造身份、冒充他人,通過頭像、用戶名等個(gè)人信息暗示自己具有特定身份,或與特定機(jī)構(gòu)或個(gè)人存在關(guān)聯(lián)。


6. 傳播封建迷信,主要表現(xiàn)為:
    1)找人算命、測(cè)字、占卜、解夢(mèng)、化解厄運(yùn)、使用迷信方式治病;
    2)求推薦算命看相大師;
    3)針對(duì)具體風(fēng)水等問題進(jìn)行求助或咨詢;
    4)問自己或他人的八字、六爻、星盤、手相、面相、五行缺失,包括通過占卜方法問婚姻、前程、運(yùn)勢(shì),東西寵物丟了能不能找回、取名改名等;


7. 文章標(biāo)題黨,主要表現(xiàn)為:
    1)以各種夸張、獵奇、不合常理的表現(xiàn)手法等行為來誘導(dǎo)用戶;
    2)內(nèi)容與標(biāo)題之間存在嚴(yán)重不實(shí)或者原意扭曲;
    3)使用夸張標(biāo)題,內(nèi)容與標(biāo)題嚴(yán)重不符的。


8.「飯圈」亂象行為,主要表現(xiàn)為:
    1)誘導(dǎo)未成年人應(yīng)援集資、高額消費(fèi)、投票打榜
    2)粉絲互撕謾罵、拉踩引戰(zhàn)、造謠攻擊、人肉搜索、侵犯隱私
    3)鼓動(dòng)「飯圈」粉絲攀比炫富、奢靡享樂等行為
    4)以號(hào)召粉絲、雇用網(wǎng)絡(luò)水軍、「養(yǎng)號(hào)」形式刷量控評(píng)等行為
    5)通過「蹭熱點(diǎn)」、制造話題等形式干擾輿論,影響傳播秩序


9. 其他危害行為或內(nèi)容,主要表現(xiàn)為:
    1)可能引發(fā)未成年人模仿不安全行為和違反社會(huì)公德行為、誘導(dǎo)未成年人不良嗜好影響未成年人身心健康的;
    2)不當(dāng)評(píng)述自然災(zāi)害、重大事故等災(zāi)難的;
    3)美化、粉飾侵略戰(zhàn)爭(zhēng)行為的;
    4)法律、行政法規(guī)禁止,或可能對(duì)網(wǎng)絡(luò)生態(tài)造成不良影響的其他內(nèi)容。


二、違規(guī)處罰
本網(wǎng)站通過主動(dòng)發(fā)現(xiàn)和接受用戶舉報(bào)兩種方式收集違規(guī)行為信息。所有有意的降低內(nèi)容質(zhì)量、傷害平臺(tái)氛圍及欺凌未成年人或危害未成年人身心健康的行為都是不能容忍的。
當(dāng)一個(gè)用戶發(fā)布違規(guī)內(nèi)容時(shí),本網(wǎng)站將依據(jù)相關(guān)用戶違規(guī)情節(jié)嚴(yán)重程度,對(duì)帳號(hào)進(jìn)行禁言 1 天、7 天、15 天直至永久禁言或封停賬號(hào)的處罰。當(dāng)涉及欺凌未成年人、危害未成年人身心健康、通過作弊手段注冊(cè)、使用帳號(hào),或者濫用多個(gè)帳號(hào)發(fā)布違規(guī)內(nèi)容時(shí),本網(wǎng)站將加重處罰。


三、申訴
隨著平臺(tái)管理經(jīng)驗(yàn)的不斷豐富,本網(wǎng)站出于維護(hù)本網(wǎng)站氛圍和秩序的目的,將不斷完善本公約。
如果本網(wǎng)站用戶對(duì)本網(wǎng)站基于本公約規(guī)定做出的處理有異議,可以通過「建議反饋」功能向本網(wǎng)站進(jìn)行反饋。
(規(guī)則的最終解釋權(quán)歸屬本網(wǎng)站所有)

我知道了
恭喜你~答對(duì)了
+5羽毛
下一次認(rèn)真讀哦
成功推薦給其他人
+ 10羽毛
評(píng)論成功且進(jìn)入審核!審核通過后,您將獲得10羽毛的獎(jiǎng)勵(lì)。分享本文章給好友閱讀最高再得15羽毛~
(羽毛可至 "羽毛精選" 兌換禮品)
好友微信掃一掃
復(fù)制鏈接