2人贊同了該回答
? 數(shù)據(jù)分析,數(shù)據(jù)是根本。首先,我們要保證拿到的是可靠、真實(shí)的數(shù)據(jù),然后再把這些數(shù)據(jù)分析基礎(chǔ)運(yùn)用到實(shí)際的工作業(yè)務(wù)中,好好理解業(yè)務(wù)邏輯,真正用數(shù)據(jù)分析驅(qū)動(dòng)網(wǎng)站運(yùn)營(yíng)、業(yè)務(wù)管理,發(fā)揮數(shù)據(jù)的價(jià)值。那么,到底在哪里才能獲取到可靠的數(shù)據(jù)呢?拿到以后又怎樣去展示他們?
1.GitHub—Awesome Public Datasets
?。╤ttps://github.com/caesar0301/awesome-public-datasets)
這個(gè)我一定要放第一個(gè),太驚艷了。一個(gè)大神整理的非常全面的數(shù)據(jù)獲取渠道,包含各個(gè)細(xì)分領(lǐng)域的數(shù)據(jù)庫(kù)資源。領(lǐng)域科研研究,從這里開始。
涉及的領(lǐng)域包括:農(nóng)業(yè)、生物學(xué)、氣候、計(jì)算機(jī)網(wǎng)絡(luò)、數(shù)據(jù)科學(xué)、地球科學(xué)、經(jīng)濟(jì)學(xué)、教育、能源、金融學(xué)、GIS、圖像處理、機(jī)器學(xué)習(xí)、自然語(yǔ)言、神經(jīng)科學(xué)、物理學(xué)、心理學(xué)、社會(huì)科學(xué)....
oh,看到英語(yǔ)不用害怕。谷歌瀏覽器,你值得擁有。
2. 亞馬遜AWS
?。╤ttps://aws.amazon.com/cn/datasets/?nc1=h_ls)
來(lái)自亞馬遜的跨科學(xué)云數(shù)據(jù)平臺(tái),包含化學(xué)、生物學(xué)、經(jīng)濟(jì)學(xué)、天文學(xué)等多個(gè)領(lǐng)域的數(shù)據(jù)集。同樣是公開數(shù)據(jù)集,涉及領(lǐng)域較少但是非常權(quán)威。
3.UCI
?。╤ttp://archive.ics.uci.edu/ml/datasets.html)
加州大學(xué)歐文分校開放的經(jīng)典數(shù)據(jù)集,可以說(shuō)非常經(jīng)典了,被很多機(jī)器學(xué)習(xí)實(shí)驗(yàn)室采用。機(jī)器學(xué)習(xí)必選數(shù)據(jù)。
1.國(guó)家數(shù)據(jù)
?。╤ttp://data.stats.gov.cn/)
這個(gè)數(shù)據(jù)庫(kù)信息內(nèi)容涵蓋范圍全面、詳實(shí),并且有些數(shù)據(jù)已經(jīng)做好了可視化,所以具有很高的實(shí)用性;基本只要和國(guó)情相關(guān)的信息都會(huì)在里邊發(fā)布;比如地區(qū)房?jī)r(jià)、工業(yè)、能源、居民消費(fèi)總額、房地產(chǎn)投資甚至食品的平均價(jià)格。
國(guó)家統(tǒng)計(jì)數(shù)據(jù)庫(kù)包括歷年月、季、年度數(shù)據(jù),可通過(guò)數(shù)據(jù)庫(kù)“搜索”、選擇“指標(biāo)”等方式,方便快捷地查詢到歷年、分地區(qū)、分專業(yè)的數(shù)據(jù)。
2.中華人民共和國(guó)國(guó)家統(tǒng)計(jì)局
?。╤ttp://www.stats.gov.cn/)
這個(gè)網(wǎng)站的信息是比較宏觀的,國(guó)家統(tǒng)計(jì)局一般只發(fā)布全國(guó)和分省的宏觀統(tǒng)計(jì)數(shù)據(jù)。但如果想獲取市級(jí)、地級(jí)信息,也可以底部的友情鏈接中獲取。
網(wǎng)絡(luò)爬蟲,做數(shù)據(jù)分析的,相信大家都聽說(shuō)過(guò)。但很多人就說(shuō),我不會(huì)寫Python,也沒時(shí)間學(xué)。很多公司需要數(shù)據(jù)的時(shí)候常常也會(huì)將要爬取的網(wǎng)站外包出去。但其實(shí)還有一種方式,就是采集器采集。
1.八爪魚采集器
?。╤ttp://www.bazhuayu.com/)
這是一款免費(fèi)的數(shù)據(jù)采集工具,而且沒有功能限制,幾乎所有網(wǎng)站都能采集,最大的特點(diǎn)是上手快,免費(fèi)采集幾萬(wàn)條數(shù)據(jù)沒壓力,當(dāng)然也有付費(fèi)增值服務(wù)可選。
不得不承認(rèn),做數(shù)據(jù)分析的時(shí)候,我最喜歡的就是地圖了。因?yàn)榭梢宰约哼x擇、編輯、繪制地圖。而地圖的美觀程度直接影響了我的心情。當(dāng)然最重要的還是里面的開源數(shù)據(jù)。
1.OSGeo中國(guó)中心
?。╤ttp://www.osgeo.cn/)
OSGeo中國(guó)中心的使命是支持開源地理信息軟件和遙感軟件的開發(fā)以及推動(dòng)其更廣泛的應(yīng)用,尤其是幫助中國(guó)地區(qū)的用戶和開發(fā)者。涉及生態(tài)領(lǐng)域、地理、氣候資源較多。
2.ArcGIS
(https://hub.arcgis.com/pages/open-data)
3.OSM
?。╫penstreetmap.org/)
OpenStreetMap 是一個(gè)世界地圖,可依據(jù)開放許可協(xié)議自由使用、編輯、繪制。目標(biāo)是創(chuàng)造一個(gè)內(nèi)容自由且能讓所有人編輯的世界地圖。設(shè)計(jì)屬于自己的地圖,從這里開始。
數(shù)據(jù)源的獲取我知道的都已經(jīng)分享給大家了。但拿到數(shù)據(jù)以后還需要用可視化工具展示出來(lái)。接下來(lái)我會(huì)整理關(guān)于如何展示數(shù)據(jù)的內(nèi)容。
發(fā)布于2023-04-20