chinesefreesexvideos高潮,欧美极品少妇性运交,久久久国产一区二区三区,99久久婷婷国产综合精品,成人国产一区二区三区

APP推廣合作
聯(lián)系“鳥哥筆記小喬”
OLAP:實現(xiàn)高效BI分析的必備技術(shù)
2022-06-15 17:21:51

“ 每個做大數(shù)據(jù)的同學(xué),都應(yīng)該聽過OLAP或者實踐過。”

什么是OLAP多維分析,它究竟有啥作用,如今都有哪些流行的技術(shù)解決方案來實現(xiàn)?今天我們詳細(xì)聊一聊。

文中部分內(nèi)容參考了朱凱老師的《ClickHouse原理解析》,感興趣的朋友可以買來讀一讀。

BI系統(tǒng)的演進

在聊OLAP之前,我們先把時間拉長,聊聊BI系統(tǒng)。

(1)傳統(tǒng)BI系統(tǒng)

上個世紀(jì),IT技術(shù)迅猛發(fā)展,主要特征就是線下工作的線上化。各種各樣的IT系統(tǒng)(比如ERP、CRM等)在各個行業(yè)落地實施。相應(yīng)的,我們把這類系統(tǒng)稱之為聯(lián)機事務(wù)處理(OLTP)系統(tǒng)。

但是在企業(yè)的運行過程中,不只是有流程審批這些工作,還有很多報表統(tǒng)計、分析決策相關(guān)的訴求。但是早期的IT系統(tǒng)的數(shù)據(jù)各自獨立,互相割裂,給分析帶來了極大的困難。

為了解決這一問題,人們提出了數(shù)據(jù)倉庫的概念,把數(shù)據(jù)集中在一起,打通隔閡,并通過分層的方式處理數(shù)據(jù)。

逐步的,在數(shù)倉基礎(chǔ)上提供數(shù)據(jù)分析的系統(tǒng)慢慢發(fā)展起來。直到90年代,BI系統(tǒng)的概念提出來,專門指代這類分析系統(tǒng)。相對于OLTP系統(tǒng),這類BI系統(tǒng)被稱為聯(lián)機分析(OLAP)系統(tǒng)。

傳統(tǒng)BI系統(tǒng)解決了很多問題,但是存在的瓶頸也是很多的。比如數(shù)據(jù)的分析效率底下、研發(fā)迭代緩慢等,都對應(yīng)用效果產(chǎn)生了負(fù)面影響。

(2)現(xiàn)代BI系統(tǒng)

最近幾年,SaaS模式的興起,為BI系統(tǒng)帶來了新的發(fā)展機遇。例如我們熟知的GA、神策分析、友盟分析等,采取的服務(wù)模式都是SaaS化。很多中小型公司的BI系統(tǒng)不再依賴于數(shù)倉的搭建。

而現(xiàn)代BI系統(tǒng)背后的OLAP技術(shù)也在不斷發(fā)展。

什么是OLAP

下面我們詳細(xì)聊聊OLAP。

OLAP即聯(lián)機分析,又可以稱為多維分析,是關(guān)系型數(shù)據(jù)庫之父Edgar Frank于1993年提出的概念。它指的是通過多種不同的維度審視數(shù)據(jù),進行深層次分析。主要的操作包括下鉆、上卷、切片、切塊等。

參考Excel的數(shù)據(jù)透視表的功能,大家就好理解這些操作了。數(shù)據(jù)透視表實現(xiàn)了對原始數(shù)據(jù)的各種聚合、分解、切片等操作,OLAP也是如此。可以把OLAP理解成對公司數(shù)據(jù)庫建立一個大的透視表,通過這個透視表進行各種維度的分析,這就是OLAP。

說白了,OLAP是用于我們進行分析的引擎。在很多公司的數(shù)據(jù)架構(gòu)中,OLAP作為頂層分析應(yīng)用層與數(shù)據(jù)存儲層的中間處理層。其核心解決的是和數(shù)據(jù)分析相關(guān)的需求。

常見的OLAP架構(gòu)可以分為三類。

(1)ROLAP

第一種架構(gòu)稱為ROLAP(Relational OLAP),即關(guān)系型OLAP。顧名思義,是直接使用關(guān)系模型進行構(gòu)建的。因此,多維分析的操作是可以直接轉(zhuǎn)換成SQL進行查詢的。

這種架構(gòu)對數(shù)據(jù)的實時處理能力要求很高。像ClickHouse、Impala、Presto都是典型的RLOAP代表。

(2)MOLAP

第二種架構(gòu)稱為MOLAP(Multidimensional OLAP),即多維型OLAP。

MOLAP的出現(xiàn)是為了緩解ROLAP的性能問題。其核心思路是對數(shù)據(jù)預(yù)先聚合處理,以存儲空間換查詢時間的減少。典型的MOLAP包括Kylin、Druid等。

容易想到,如果維度較多,需要存儲的數(shù)據(jù)量級會有指數(shù)級地上漲。一張千萬級別的數(shù)據(jù)表,可能膨脹到需要存儲億級別的體量。

另外,由于需要進行預(yù)計算,MOLAP的數(shù)據(jù)會有一定的滯后性,不能實時進行數(shù)據(jù)分析。并且由于只保留了聚合后的結(jié)果數(shù)據(jù),無法查詢明細(xì)數(shù)據(jù)。

(3)HOLAP

第三類架構(gòu)稱為HOLAP(Hybrid OLAP),即混合架構(gòu)OLAP。

這種架構(gòu)可以理解成ROLAP和MOLAP的集成。

OLAP實現(xiàn)技術(shù)的演進

前面我們也陸續(xù)介紹了OLAP相關(guān)的一些技術(shù)。下面我們簡單聊聊OLAP技術(shù)的演進過程。

(1)傳統(tǒng)關(guān)系型數(shù)據(jù)庫階段

第一個階段稱為傳統(tǒng)的關(guān)系型數(shù)據(jù)庫階段。在這個階段中,OLAP主要是以O(shè)racle、MySQL等關(guān)系型數(shù)據(jù)庫實現(xiàn)。

在ROLAP架構(gòu)下,直接使用這些數(shù)據(jù)庫作為存儲和計算的載體;在MOLAP架構(gòu)下,則借助物化視圖的形式實現(xiàn)數(shù)據(jù)立方體。

該階段中,無論是ROLAP還是MOLAP,當(dāng)數(shù)據(jù)體量大、維度數(shù)目多的時候,都存在嚴(yán)重的性能問題,甚至存在根本查不出結(jié)果的情況。

(2)大數(shù)據(jù)技術(shù)階段

第二個極端可以稱為大數(shù)據(jù)階段。在這個階段,主要依賴Hive等大數(shù)據(jù)技術(shù)進行實現(xiàn)。

以ROLAP為例,傳統(tǒng)的關(guān)系型數(shù)據(jù)庫唄Hive和SparkSQL這類新型技術(shù)所取代。相比傳統(tǒng)的數(shù)據(jù)庫而言,面向海量數(shù)據(jù)的處理性能明顯提升了很多。但是在提供實時的在線查詢服務(wù)時,仍然需要幾十秒甚至數(shù)分鐘才能返回。

(3)最新階段

最近幾年,一款新的OLAP解決方案ClickHouse走進了大家的視野。其優(yōu)越的查詢計算性能讓人驚嘆。頭條、阿里、騰訊等大廠也紛紛進行使用。

ClickHouse是由來自俄羅斯的Yandex公司研發(fā)的(Yandex類似于中國的百度,是俄羅斯的本土搜索引擎,占據(jù)俄國47%的搜索市場),是一款開源軟件。

其他一些常見的OLAP技術(shù)方案對比如下,供參考。

不同的技術(shù),也都存在各自的優(yōu)點和缺點。在目前階段,沒有哪種OLAP技術(shù)是萬能的靈丹妙藥,可以解決所有問題。大家在技術(shù)選型時,需要結(jié)合自己的業(yè)務(wù)數(shù)據(jù)特點,進行選擇。不知道未來是否有一天,能出現(xiàn)完美的OLAP解決方案,一統(tǒng)江湖。期待吧。

關(guān)于OLAP就分享這些,歡迎繼續(xù)關(guān)注~

首席數(shù)據(jù)科學(xué)家
分享到朋友圈
收藏
收藏
評分

綜合評分:

我的評分
Xinstall 15天會員特權(quán)
Xinstall是專業(yè)的數(shù)據(jù)分析服務(wù)商,幫企業(yè)追蹤渠道安裝來源、裂變拉新統(tǒng)計、廣告流量指導(dǎo)等,廣泛應(yīng)用于廣告效果統(tǒng)計、APP地推與CPS/CPA歸屬統(tǒng)計等方面。
20羽毛
立即兌換
一書一課30天會員體驗卡
領(lǐng)30天VIP會員,110+門職場大課,250+本精讀好書免費學(xué)!助你提升職場力!
20羽毛
立即兌換
順豐同城急送全國通用20元優(yōu)惠券
順豐同城急送是順豐推出的平均1小時送全城的即時快送服務(wù),專業(yè)安全,準(zhǔn)時送達!
30羽毛
立即兌換
首席數(shù)據(jù)科學(xué)家
用數(shù)據(jù)科學(xué)的方法賦能業(yè)務(wù),發(fā)揮數(shù)據(jù)價值,做業(yè)界最好的數(shù)據(jù)科學(xué)家。
確認(rèn)要消耗 羽毛購買
OLAP:實現(xiàn)高效BI分析的必備技術(shù)嗎?
考慮一下
很遺憾,羽毛不足
我知道了

我們致力于提供一個高質(zhì)量內(nèi)容的交流平臺。為落實國家互聯(lián)網(wǎng)信息辦公室“依法管網(wǎng)、依法辦網(wǎng)、依法上網(wǎng)”的要求,為完善跟帖評論自律管理,為了保護用戶創(chuàng)造的內(nèi)容、維護開放、真實、專業(yè)的平臺氛圍,我們團隊將依據(jù)本公約中的條款對注冊用戶和發(fā)布在本平臺的內(nèi)容進行管理。平臺鼓勵用戶創(chuàng)作、發(fā)布優(yōu)質(zhì)內(nèi)容,同時也將采取必要措施管理違法、侵權(quán)或有其他不良影響的網(wǎng)絡(luò)信息。


一、根據(jù)《網(wǎng)絡(luò)信息內(nèi)容生態(tài)治理規(guī)定》《中華人民共和國未成年人保護法》等法律法規(guī),對以下違法、不良信息或存在危害的行為進行處理。
1. 違反法律法規(guī)的信息,主要表現(xiàn)為:
    1)反對憲法所確定的基本原則;
    2)危害國家安全,泄露國家秘密,顛覆國家政權(quán),破壞國家統(tǒng)一,損害國家榮譽和利益;
    3)侮辱、濫用英烈形象,歪曲、丑化、褻瀆、否定英雄烈士事跡和精神,以侮辱、誹謗或者其他方式侵害英雄烈士的姓名、肖像、名譽、榮譽;
    4)宣揚恐怖主義、極端主義或者煽動實施恐怖活動、極端主義活動;
    5)煽動民族仇恨、民族歧視,破壞民族團結(jié);
    6)破壞國家宗教政策,宣揚邪教和封建迷信;
    7)散布謠言,擾亂社會秩序,破壞社會穩(wěn)定;
    8)宣揚淫穢、色情、賭博、暴力、兇殺、恐怖或者教唆犯罪;
    9)煽動非法集會、結(jié)社、游行、示威、聚眾擾亂社會秩序;
    10)侮辱或者誹謗他人,侵害他人名譽、隱私和其他合法權(quán)益;
    11)通過網(wǎng)絡(luò)以文字、圖片、音視頻等形式,對未成年人實施侮辱、誹謗、威脅或者惡意損害未成年人形象進行網(wǎng)絡(luò)欺凌的;
    12)危害未成年人身心健康的;
    13)含有法律、行政法規(guī)禁止的其他內(nèi)容;


2. 不友善:不尊重用戶及其所貢獻內(nèi)容的信息或行為。主要表現(xiàn)為:
    1)輕蔑:貶低、輕視他人及其勞動成果;
    2)誹謗:捏造、散布虛假事實,損害他人名譽;
    3)嘲諷:以比喻、夸張、侮辱性的手法對他人或其行為進行揭露或描述,以此來激怒他人;
    4)挑釁:以不友好的方式激怒他人,意圖使對方對自己的言論作出回應(yīng),蓄意制造事端;
    5)羞辱:貶低他人的能力、行為、生理或身份特征,讓對方難堪;
    6)謾罵:以不文明的語言對他人進行負(fù)面評價;
    7)歧視:煽動人群歧視、地域歧視等,針對他人的民族、種族、宗教、性取向、性別、年齡、地域、生理特征等身份或者歸類的攻擊;
    8)威脅:許諾以不良的后果來迫使他人服從自己的意志;


3. 發(fā)布垃圾廣告信息:以推廣曝光為目的,發(fā)布影響用戶體驗、擾亂本網(wǎng)站秩序的內(nèi)容,或進行相關(guān)行為。主要表現(xiàn)為:
    1)多次發(fā)布包含售賣產(chǎn)品、提供服務(wù)、宣傳推廣內(nèi)容的垃圾廣告。包括但不限于以下幾種形式:
    2)單個帳號多次發(fā)布包含垃圾廣告的內(nèi)容;
    3)多個廣告帳號互相配合發(fā)布、傳播包含垃圾廣告的內(nèi)容;
    4)多次發(fā)布包含欺騙性外鏈的內(nèi)容,如未注明的淘寶客鏈接、跳轉(zhuǎn)網(wǎng)站等,誘騙用戶點擊鏈接
    5)發(fā)布大量包含推廣鏈接、產(chǎn)品、品牌等內(nèi)容獲取搜索引擎中的不正當(dāng)曝光;
    6)購買或出售帳號之間虛假地互動,發(fā)布干擾網(wǎng)站秩序的推廣內(nèi)容及相關(guān)交易。
    7)發(fā)布包含欺騙性的惡意營銷內(nèi)容,如通過偽造經(jīng)歷、冒充他人等方式進行惡意營銷;
    8)使用特殊符號、圖片等方式規(guī)避垃圾廣告內(nèi)容審核的廣告內(nèi)容。


4. 色情低俗信息,主要表現(xiàn)為:
    1)包含自己或他人性經(jīng)驗的細(xì)節(jié)描述或露骨的感受描述;
    2)涉及色情段子、兩性笑話的低俗內(nèi)容;
    3)配圖、頭圖中包含庸俗或挑逗性圖片的內(nèi)容;
    4)帶有性暗示、性挑逗等易使人產(chǎn)生性聯(lián)想;
    5)展現(xiàn)血腥、驚悚、殘忍等致人身心不適;
    6)炒作緋聞、丑聞、劣跡等;
    7)宣揚低俗、庸俗、媚俗內(nèi)容。


5. 不實信息,主要表現(xiàn)為:
    1)可能存在事實性錯誤或者造謠等內(nèi)容;
    2)存在事實夸大、偽造虛假經(jīng)歷等誤導(dǎo)他人的內(nèi)容;
    3)偽造身份、冒充他人,通過頭像、用戶名等個人信息暗示自己具有特定身份,或與特定機構(gòu)或個人存在關(guān)聯(lián)。


6. 傳播封建迷信,主要表現(xiàn)為:
    1)找人算命、測字、占卜、解夢、化解厄運、使用迷信方式治病;
    2)求推薦算命看相大師;
    3)針對具體風(fēng)水等問題進行求助或咨詢;
    4)問自己或他人的八字、六爻、星盤、手相、面相、五行缺失,包括通過占卜方法問婚姻、前程、運勢,東西寵物丟了能不能找回、取名改名等;


7. 文章標(biāo)題黨,主要表現(xiàn)為:
    1)以各種夸張、獵奇、不合常理的表現(xiàn)手法等行為來誘導(dǎo)用戶;
    2)內(nèi)容與標(biāo)題之間存在嚴(yán)重不實或者原意扭曲;
    3)使用夸張標(biāo)題,內(nèi)容與標(biāo)題嚴(yán)重不符的。


8.「飯圈」亂象行為,主要表現(xiàn)為:
    1)誘導(dǎo)未成年人應(yīng)援集資、高額消費、投票打榜
    2)粉絲互撕謾罵、拉踩引戰(zhàn)、造謠攻擊、人肉搜索、侵犯隱私
    3)鼓動「飯圈」粉絲攀比炫富、奢靡享樂等行為
    4)以號召粉絲、雇用網(wǎng)絡(luò)水軍、「養(yǎng)號」形式刷量控評等行為
    5)通過「蹭熱點」、制造話題等形式干擾輿論,影響傳播秩序


9. 其他危害行為或內(nèi)容,主要表現(xiàn)為:
    1)可能引發(fā)未成年人模仿不安全行為和違反社會公德行為、誘導(dǎo)未成年人不良嗜好影響未成年人身心健康的;
    2)不當(dāng)評述自然災(zāi)害、重大事故等災(zāi)難的;
    3)美化、粉飾侵略戰(zhàn)爭行為的;
    4)法律、行政法規(guī)禁止,或可能對網(wǎng)絡(luò)生態(tài)造成不良影響的其他內(nèi)容。


二、違規(guī)處罰
本網(wǎng)站通過主動發(fā)現(xiàn)和接受用戶舉報兩種方式收集違規(guī)行為信息。所有有意的降低內(nèi)容質(zhì)量、傷害平臺氛圍及欺凌未成年人或危害未成年人身心健康的行為都是不能容忍的。
當(dāng)一個用戶發(fā)布違規(guī)內(nèi)容時,本網(wǎng)站將依據(jù)相關(guān)用戶違規(guī)情節(jié)嚴(yán)重程度,對帳號進行禁言 1 天、7 天、15 天直至永久禁言或封停賬號的處罰。當(dāng)涉及欺凌未成年人、危害未成年人身心健康、通過作弊手段注冊、使用帳號,或者濫用多個帳號發(fā)布違規(guī)內(nèi)容時,本網(wǎng)站將加重處罰。


三、申訴
隨著平臺管理經(jīng)驗的不斷豐富,本網(wǎng)站出于維護本網(wǎng)站氛圍和秩序的目的,將不斷完善本公約。
如果本網(wǎng)站用戶對本網(wǎng)站基于本公約規(guī)定做出的處理有異議,可以通過「建議反饋」功能向本網(wǎng)站進行反饋。
(規(guī)則的最終解釋權(quán)歸屬本網(wǎng)站所有)

我知道了
恭喜你~答對了
+5羽毛
下一次認(rèn)真讀哦
成功推薦給其他人
+ 10羽毛
評論成功且進入審核!審核通過后,您將獲得10羽毛的獎勵。分享本文章給好友閱讀最高再得15羽毛~
(羽毛可至 "羽毛精選" 兌換禮品)
好友微信掃一掃
復(fù)制鏈接