QQ在線(xiàn)
企業(yè)微信
資訊
314
怎樣利用大數(shù)據(jù)變廢為寶？
這幾年很多人都在討論大數(shù)據(jù)，如果數(shù)據(jù)不經(jīng)過(guò)處理，其實(shí)并不是有用的。例如每天跑步帶個(gè)手環(huán)收集的也是數(shù)據(jù)，網(wǎng)上這么多網(wǎng)站也是數(shù)據(jù)，簡(jiǎn)稱(chēng)為Data，數(shù)據(jù)本身并沒(méi)有什么作用，但是數(shù)據(jù)里面包含一些很重要的東西，叫做信息(Information)，數(shù)據(jù)雜亂無(wú)章，只有經(jīng)過(guò)了梳理和清洗，才能夠稱(chēng)為信息。信息里面包含了很多規(guī)律，我們需要從眾多信息中將規(guī)律總結(jié)出來(lái)，才能稱(chēng)為知識(shí)，知識(shí)才能改變命運(yùn)。
信息是很多的，但是很多人看到了信息相當(dāng)于白看，但是有人就能從信息中看到了電商的未來(lái)，有人看到了直播的未來(lái)，所以人家就牛了，如果沒(méi)有從信息中提取出知識(shí)，天天只知道刷朋友圈，也只能在如今互聯(lián)網(wǎng)滾滾大潮中做個(gè)看客。有了知識(shí)，然后利用這些知識(shí)去應(yīng)用于實(shí)踐，有的人就會(huì)做得非常好，這個(gè)東西叫做智慧Intelligence。有知識(shí)并不一定有智慧，很多學(xué)者很有知識(shí)，已經(jīng)發(fā)生的事情可以從各個(gè)角度分析的頭頭是道，但一到實(shí)踐就歇菜，并不能轉(zhuǎn)化成為真正的智慧。而很多的創(chuàng)業(yè)家之所以偉大，就是通過(guò)獲得的知識(shí)應(yīng)用于實(shí)踐，最后做成了很大的生意。
數(shù)據(jù)的處理分五個(gè)步驟，全部完成了才最后才會(huì)升華智慧。第一個(gè)步驟：數(shù)據(jù)的收集。首先得有數(shù)據(jù)，數(shù)據(jù)的收集有兩個(gè)方式，第一個(gè)方式是拿(Pull)，專(zhuān)業(yè)點(diǎn)的叫爬取或者抓取，常見(jiàn)的搜索引擎就是這么干的，它把網(wǎng)上的信息都下載到它的數(shù)據(jù)中心，然后被你搜索出來(lái)。比如你去搜索的時(shí)候，返回的是一個(gè)列表，這個(gè)列表為什么會(huì)在搜索引擎的公司里面呢，就是因?yàn)樗堰@個(gè)數(shù)據(jù)都爬下來(lái)了。
但是你一點(diǎn)鏈接，點(diǎn)出來(lái)這個(gè)網(wǎng)站就不在搜索引擎它們公司了。比如說(shuō)搜狐有個(gè)新聞，你拿百度搜出來(lái)，你不點(diǎn)的時(shí)候，那一頁(yè)在百度數(shù)據(jù)中心，一點(diǎn)出來(lái)的網(wǎng)頁(yè)就跳轉(zhuǎn)到搜狐的數(shù)據(jù)中心了。另外一個(gè)方式就是推送，有很多終端可以幫我收集數(shù)據(jù)，比如說(shuō)智能手環(huán)，可以將你每天跑步的數(shù)據(jù)，血壓的數(shù)據(jù)，心跳的數(shù)據(jù)都上傳到數(shù)據(jù)中心里面。
第二個(gè)步驟是數(shù)據(jù)的傳輸。常見(jiàn)的會(huì)通過(guò)隊(duì)列方式進(jìn)行，數(shù)據(jù)量實(shí)在是太大了，數(shù)據(jù)必須經(jīng)過(guò)處理才會(huì)有用，但是系統(tǒng)處理不過(guò)來(lái)，只好排排隊(duì)，一條條地處理。
第三個(gè)步驟是數(shù)據(jù)的存儲(chǔ)?，F(xiàn)在數(shù)據(jù)就是Money，掌握了數(shù)據(jù)就相當(dāng)于掌握了金錢(qián)。要不然你看購(gòu)物網(wǎng)站怎么知道你想買(mǎi)什么呢？就是因?yàn)樗心銡v史的交易信息，然后通過(guò)這個(gè)信息分析出你的購(gòu)物習(xí)慣。
第四個(gè)步驟是數(shù)據(jù)的處理和分析。上面存儲(chǔ)的數(shù)據(jù)是原始數(shù)據(jù)，原始數(shù)據(jù)多是雜亂的，還有很多垃圾數(shù)據(jù)，因而需要清洗和過(guò)濾。對(duì)于整理過(guò)的數(shù)據(jù)，就可以進(jìn)行分析，從而對(duì)數(shù)據(jù)進(jìn)行歸類(lèi)，或者發(fā)現(xiàn)數(shù)據(jù)之間的相互關(guān)系。比如著名的啤酒和紙尿布的故事，就是通過(guò)對(duì)人們的購(gòu)買(mǎi)數(shù)據(jù)進(jìn)行比對(duì)分析，發(fā)現(xiàn)了男人在買(mǎi)尿布的時(shí)候，會(huì)同時(shí)想要購(gòu)買(mǎi)啤酒，這樣就發(fā)現(xiàn)了啤酒和尿布之間的對(duì)應(yīng)關(guān)系，掌握了規(guī)律，然后應(yīng)用到實(shí)踐中，將啤酒和尿布的柜臺(tái)放到一起，這就是一種智慧。
第五個(gè)步驟就是對(duì)于數(shù)據(jù)的檢索和挖掘。檢索就是搜索，俗話(huà)說(shuō)外事不決問(wèn)谷歌，內(nèi)事不決問(wèn)百度。兩大搜索引擎都是將分析歸納后的數(shù)據(jù)放入搜索引擎，從而方便人們找到想要的信息。還有一個(gè)就是挖掘，搜索出來(lái)的信息還需要從中挖掘出相互的關(guān)系。例如財(cái)經(jīng)檢索，當(dāng)搜索某個(gè)公司股票的時(shí)候，該公司的管理層是不是也應(yīng)該被挖掘出來(lái)?如果僅僅搜索出這個(gè)公司的股票漲的特別好，你就去買(mǎi)了，結(jié)果第二天就跌了，這不坑人么?所以通過(guò)各種算法挖掘數(shù)據(jù)中的關(guān)系，形成知識(shí)數(shù)據(jù)庫(kù)，十分重要。
數(shù)據(jù)分析是一項(xiàng)很有意思的技術(shù)，其功能就是幫我們梳理數(shù)據(jù)，存儲(chǔ)信息，并從信息中總結(jié)規(guī)律。當(dāng)數(shù)據(jù)量很小的時(shí)候，幾臺(tái)機(jī)器就能分析并解決問(wèn)題。但是，慢慢的當(dāng)數(shù)據(jù)量越來(lái)越大，大到最強(qiáng)的超級(jí)計(jì)算機(jī)都解決不了問(wèn)題的時(shí)候，該怎么辦呢？這時(shí)就要聚合多臺(tái)機(jī)器的力量，也就是使用云計(jì)算的力量。
對(duì)于數(shù)據(jù)的收集，以物聯(lián)網(wǎng)為例，外面部署這成千上億的檢測(cè)設(shè)備，將大量的溫度，濕度，PH值，PM2.5等等數(shù)據(jù)統(tǒng)統(tǒng)收集上來(lái)，對(duì)于網(wǎng)頁(yè)的搜索引擎來(lái)講，需要將整個(gè)互聯(lián)網(wǎng)所有的網(wǎng)頁(yè)都下載下來(lái)，這顯然一臺(tái)服務(wù)器做不到，需要多臺(tái)服務(wù)器組成分布式系統(tǒng)，每臺(tái)機(jī)器下載一部分，同時(shí)工作，才能在有限的時(shí)間內(nèi)，將海量的網(wǎng)頁(yè)下載完畢。
對(duì)于數(shù)據(jù)的傳輸，一個(gè)內(nèi)存里面的隊(duì)列肯定會(huì)被大量的數(shù)據(jù)擠爆，于是就產(chǎn)生了基于存儲(chǔ)系統(tǒng)的分布式隊(duì)列，這樣的隊(duì)列可以多臺(tái)服務(wù)器同時(shí)傳輸，隨你數(shù)據(jù)量多大，只要我的隊(duì)伍足夠多，隊(duì)列足夠粗，就能夠撐得住。
對(duì)于數(shù)據(jù)的存儲(chǔ)也是一樣，一臺(tái)服務(wù)器的文件系統(tǒng)肯定是放不下了，那我們就做一個(gè)很大的分布式文件系統(tǒng)來(lái)做這件事情，把多臺(tái)機(jī)器的硬盤(pán)打成一塊大的文件系統(tǒng)。再比如數(shù)據(jù)的分析，可能需要對(duì)大量的數(shù)據(jù)做分類(lèi)，統(tǒng)計(jì)，聚合，一臺(tái)服務(wù)器肯定搞不定，處理幾百年也分析不完，于是就有了分布式計(jì)算的方法，將大量的數(shù)據(jù)分成小份，每臺(tái)服務(wù)器處理一小份，多臺(tái)服務(wù)器并行處理，很快就能算完。
