什么是大數(shù)據(jù)?大數(shù)據(jù)能做什么?

6 評(píng)論 25397 瀏覽 124 收藏 12 分鐘

本篇文章主要為我們介紹了大數(shù)據(jù)的概念、發(fā)展以及相關(guān)應(yīng)用。

“Big Data is like teenage sex:Everyone talks about it,nobody really knows how to do it,everyone thinks everyone else is doing it,so everyone claims they are doing it too.”

2013年被稱(chēng)為大數(shù)據(jù)元年,各行各業(yè)都逐漸開(kāi)啟大數(shù)據(jù)應(yīng)用時(shí)代。直至現(xiàn)在,大數(shù)據(jù)依然為人所津津樂(lè)道。

何為大數(shù)據(jù)?

1PB夠大嗎?

如果你沒(méi)有直觀印象,可以聯(lián)想一下你的電腦硬盤(pán)容量,標(biāo)配是500G-1TB,大部分人用了一兩年,可能這部分容量都沒(méi)用完。而1PB=1024TB=1048576GB。

在實(shí)際中,一個(gè)小有名氣的游戲一天的數(shù)據(jù)量就在數(shù)十TB左右,甚至更多。

如果你以為PB單位已經(jīng)是最大了?那就大錯(cuò)特錯(cuò)了?。。。?/p>

在PB之上,還有EB(Exabyte 百億億字節(jié) 艾字節(jié)),ZB(Zettabyte 十萬(wàn)億億字節(jié) 澤字節(jié)),YB(Yottabyte 一億億億字節(jié) 堯字節(jié)),而這些單位也只是為了方便統(tǒng)計(jì)海量數(shù)據(jù)所給出的當(dāng)前單位,在未來(lái)還可能出現(xiàn)更大的單位。

因特爾公司首席執(zhí)行官Brian Krzanich表示,2020年互聯(lián)網(wǎng)用戶(hù)每天將產(chǎn)生1.5GB的數(shù)據(jù)。

HIS數(shù)據(jù)預(yù)測(cè),到2025年,全球互聯(lián)網(wǎng)(IoT)連接設(shè)備的總安裝量預(yù)計(jì)將達(dá)到754.4億,這部分設(shè)備每天產(chǎn)生的數(shù)據(jù)量可想而知。

按照前面的數(shù)據(jù)關(guān)系,得出1ZB大概是1.1萬(wàn)億GB,等同于全世界沙子數(shù)量總和。

從上圖中不難看出,互聯(lián)網(wǎng)數(shù)據(jù)每年都在爆炸式增長(zhǎng)。當(dāng)然,大數(shù)據(jù)并不只是數(shù)據(jù)量大而已,它還有其他更深的含義。

對(duì)于大數(shù)據(jù),麥肯錫全球研究所給出的定義是:

”一種規(guī)模大到在獲取、存儲(chǔ)、管理、分析方面大大超出了傳統(tǒng)數(shù)據(jù)庫(kù)軟件工具能力范圍的數(shù)據(jù)集合?!?/p>

大數(shù)據(jù)具有五大特點(diǎn),稱(chēng)為5V。

1. 多樣(Variety)

大數(shù)據(jù)的多樣性是指數(shù)據(jù)的種類(lèi)和來(lái)源是多樣化的,數(shù)據(jù)可以是結(jié)構(gòu)化的、半結(jié)構(gòu)化的以及非結(jié)構(gòu)化的,數(shù)據(jù)的呈現(xiàn)形式包括但不僅限于文本,圖像,視頻,HTML頁(yè)面等等。

2. 大量(Volume)

大數(shù)據(jù)的大量性是指數(shù)據(jù)量的大小,這個(gè)就是上面筆者介紹的內(nèi)容,不再贅述。

3. 高速(Velocity)

大數(shù)據(jù)的高速性是指數(shù)據(jù)增長(zhǎng)快速,處理快速,每一天,各行各業(yè)的數(shù)據(jù)都在呈現(xiàn)指數(shù)性爆炸增長(zhǎng)。在許多場(chǎng)景下,數(shù)據(jù)都具有時(shí)效性,如搜索引擎要在幾秒中內(nèi)呈現(xiàn)出用戶(hù)所需數(shù)據(jù)。企業(yè)或系統(tǒng)在面對(duì)快速增長(zhǎng)的海量數(shù)據(jù)時(shí),必須要高速處理,快速響應(yīng)。

4. 低價(jià)值密度(Value)

大數(shù)據(jù)的低價(jià)值密度性是指在海量的數(shù)據(jù)源中,真正有價(jià)值的數(shù)據(jù)少之又少,許多數(shù)據(jù)可能是錯(cuò)誤的,是不完整的,是無(wú)法利用的。總體而言,有價(jià)值的數(shù)據(jù)占據(jù)數(shù)據(jù)總量的密度極低,提煉數(shù)據(jù)好比浪里淘沙。

5. 真實(shí)性(Veracity)

大數(shù)據(jù)的真實(shí)性是指數(shù)據(jù)的準(zhǔn)確度和可信賴(lài)度,代表數(shù)據(jù)的質(zhì)量。

數(shù)據(jù)一直都在,變革的是方式

大數(shù)據(jù)的意義不僅僅在于生產(chǎn)和掌握龐大的數(shù)據(jù)信息,更重要的是對(duì)有價(jià)值的數(shù)據(jù)進(jìn)行專(zhuān)業(yè)化處理。

人類(lèi)從來(lái)不缺數(shù)據(jù),缺的是對(duì)數(shù)據(jù)進(jìn)行深度價(jià)值挖掘與利用??梢哉f(shuō),從人類(lèi)社會(huì)有了文字以來(lái),數(shù)據(jù)就開(kāi)始存在了,現(xiàn)在亦是如此。這其中唯一改變的是數(shù)據(jù)從產(chǎn)生,到記錄,再到使用這整個(gè)流程的形式。

1. 數(shù)據(jù)生產(chǎn)

在人類(lèi)社會(huì)的早期,民以食為天,數(shù)據(jù)的產(chǎn)生大多與商品,食物,土地等掛鉤。舊石器時(shí)代的部落人民在樹(shù)枝或骨頭上刻下凹痕來(lái)記錄日常的交易活動(dòng)或物品供應(yīng)。

為了衡量商品長(zhǎng)度,中國(guó)人發(fā)明了尺、里、寸、丈、步、仞等長(zhǎng)度單位;為了衡量重量,發(fā)明了升、斗,斛等重量單位。

在互聯(lián)網(wǎng)時(shí)代,數(shù)據(jù)的生產(chǎn)變得更為容易。美國(guó)互聯(lián)網(wǎng)數(shù)據(jù)中心曾指出,互聯(lián)網(wǎng)上的數(shù)據(jù)每年都將增長(zhǎng)50%,每?jī)赡瓯銓⒎槐?,而目前世界?0%以上的數(shù)據(jù)是最近幾年才產(chǎn)生的。

每人每天都會(huì)產(chǎn)生海量數(shù)據(jù),如視頻數(shù)據(jù),電商數(shù)據(jù),社交數(shù)據(jù)等等。

全球每60秒產(chǎn)生的數(shù)據(jù)

2. 數(shù)據(jù)記錄

千年之前,人們用龜甲石鼓、簡(jiǎn)牘絹帛到造紙術(shù)成熟后的刻本等一切觸手可及的器物來(lái)作為數(shù)據(jù)的載體。

千年之后,人們用圖書(shū),報(bào)紙,硬盤(pán),光盤(pán),存儲(chǔ)器等各種更為靈活,簡(jiǎn)便的方式記錄數(shù)據(jù)。

3. 數(shù)據(jù)利用

古人利用利用甲骨文占卜判斷兇吉,利用占星術(shù)預(yù)測(cè)朝代興衰;利用螞蟻搬家,燕子低飛,蚯蚓出洞來(lái)預(yù)測(cè)天氣。

互聯(lián)網(wǎng)時(shí)代,企業(yè)或產(chǎn)品利用電商數(shù)據(jù)為用戶(hù)推薦商品,利用社交數(shù)據(jù)做廣告營(yíng)銷(xiāo)等等。

在大數(shù)據(jù)概念興起之前,大部分企業(yè)并沒(méi)有注意到數(shù)據(jù)的寶貴價(jià)值,只是在純粹的生產(chǎn)和記錄數(shù)據(jù)。更有甚者視海量數(shù)據(jù)為累贅,因?yàn)閿?shù)據(jù)的存儲(chǔ)與管理需要耗費(fèi)企業(yè)大量的成本,極少有企業(yè)能把數(shù)據(jù)作為一種資源,嗅到大數(shù)據(jù)背后的價(jià)值,從而加以利用。就算到現(xiàn)在,數(shù)據(jù)資源的整合利用能力依然是考驗(yàn)每個(gè)企業(yè)的一大難點(diǎn)。

大數(shù)據(jù)應(yīng)用

大數(shù)據(jù)作為一個(gè)能夠改變產(chǎn)業(yè)應(yīng)用的技術(shù),只有切實(shí)落地才能帶來(lái)真正的價(jià)值。

其實(shí)大數(shù)據(jù)的應(yīng)用范圍非常廣,不單單限于互聯(lián)網(wǎng)行業(yè),在其他諸如金融,制造業(yè),交通物流方面也都有非常大的應(yīng)用價(jià)值。

1. 大數(shù)據(jù)讓借貸款更加放心

在金融行業(yè)中,以借貸款為例。在貸款前,貸款借出方會(huì)先利用大數(shù)據(jù)對(duì)借款人進(jìn)行貸前審核,以此來(lái)保障貸后的還款率。

借出方從各個(gè)渠道合法收集借款人的標(biāo)簽信息,如學(xué)歷,職業(yè),薪資狀況,歷史借還款情況等(據(jù)說(shuō)一個(gè)用戶(hù)的標(biāo)簽維度可以達(dá)到7000個(gè))。海量數(shù)據(jù)被放入反欺詐模型,還款能力模型,身份驗(yàn)證模型等數(shù)個(gè)中做訓(xùn)練,最終得出是否通過(guò)本次貸款申請(qǐng),貸款的額度,貸款人的還款意愿等評(píng)估信息。

借款人數(shù)據(jù)收集的越多,標(biāo)簽維度越細(xì),數(shù)據(jù)越真實(shí),則審核效果越全面。

2. 大數(shù)據(jù)讓廣告營(yíng)銷(xiāo)更高效

廣告作為互聯(lián)網(wǎng)行業(yè)最常見(jiàn)的變現(xiàn)手段之一,大數(shù)據(jù)賦能廣告營(yíng)銷(xiāo),讓廣告從惹人惱轉(zhuǎn)變?yōu)閺V告即內(nèi)容,廣告即服務(wù)。

曾幾何時(shí),你會(huì)發(fā)現(xiàn)日常生活中看到的廣告居然那么懂你。點(diǎn)開(kāi)淘寶,你最?lèi)?ài)的商品被推薦在Banner首頁(yè);打開(kāi)微信朋友圈,映入眼簾的是你正想要做的汽車(chē)保養(yǎng);打開(kāi)百度搜索,你前兩天看的別墅信息赫然出現(xiàn)。

這一切的實(shí)現(xiàn)都得益于大數(shù)據(jù)賦能廣告。

在廣告投放前期,通過(guò)大數(shù)據(jù)手段大量的整合、分析數(shù)據(jù),包括用戶(hù)的瀏覽習(xí)慣、消費(fèi)行為、瀏覽記錄、對(duì)廣告的點(diǎn)擊數(shù)量等,并從中挖掘出有效的信息;構(gòu)建全面的用戶(hù)畫(huà)像,結(jié)合廣告業(yè)務(wù),精準(zhǔn)定位目標(biāo)用戶(hù),保證廣告定向投放。

大數(shù)據(jù)構(gòu)建用戶(hù)畫(huà)像

在廣告投放的中后期,通過(guò)實(shí)時(shí)數(shù)據(jù)反饋,結(jié)合用戶(hù)所處地域,時(shí)間的變化,動(dòng)態(tài)優(yōu)化廣告素材,調(diào)整廣告的呈現(xiàn)方式與廣告的展覽位置,讓同一個(gè)用戶(hù)在不同的場(chǎng)景下享受不一樣的廣告服務(wù),實(shí)現(xiàn)一人千面,增加廣告營(yíng)銷(xiāo)效果,提升廣告主KPI。

3. 大數(shù)據(jù)賦能零售

新零售時(shí)代,客戶(hù)的需求無(wú)時(shí)無(wú)刻不在變化,大數(shù)據(jù)賦能零售,讓零售在人,貨,場(chǎng)上進(jìn)行變革。

零售商可以借助大數(shù)據(jù)對(duì)未來(lái)市場(chǎng)需求進(jìn)行預(yù)測(cè),搶先一步對(duì)庫(kù)存進(jìn)行管理。在流量高發(fā)的前期,及時(shí)補(bǔ)足庫(kù)存,提升商品供應(yīng)率;在流量散去的前期,及時(shí)去庫(kù)存,避免庫(kù)存積壓。

借助大數(shù)據(jù)分析用戶(hù)地域分布情況,商店流量,消費(fèi)者習(xí)慣等那個(gè),在合適的地區(qū)開(kāi)設(shè)商店,建造倉(cāng)庫(kù)。在物流發(fā)貨時(shí),從數(shù)據(jù)出發(fā),合理規(guī)劃運(yùn)輸路勁,降低運(yùn)輸成本。

利用數(shù)據(jù)還可以統(tǒng)一上下游供應(yīng)鏈交互,解決數(shù)據(jù)不對(duì)成問(wèn)題,減小牛鞭效應(yīng),提升供應(yīng)鏈中每個(gè)環(huán)節(jié)的利用效率。

總結(jié)

數(shù)據(jù)一直都在,大數(shù)據(jù)變革的只是方式。大數(shù)據(jù)并不神秘,神秘的是對(duì)未知數(shù)據(jù)的探索與利用。

 

本文由 @pm_SWolf 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載

題圖來(lái)自Unsplash,基于CC0協(xié)議

更多精彩內(nèi)容,請(qǐng)關(guān)注人人都是產(chǎn)品經(jīng)理微信公眾號(hào)或下載App
評(píng)論
評(píng)論請(qǐng)登錄
  1. 您好,我是寶塔數(shù)據(jù)市場(chǎng)部的,想問(wèn)一下您這邊篇文章,可不可以在我們的公眾號(hào)里轉(zhuǎn)載(我們會(huì)注明轉(zhuǎn)載出處)?

    來(lái)自上海 回復(fù)
  2. 回復(fù)
    1. ??

      來(lái)自浙江 回復(fù)
  3. 好的,朕知道了??

    回復(fù)
  4. 感謝分享!

    回復(fù)
    1. 謝謝,共同學(xué)習(xí)!

      回復(fù)