大數(shù)據(jù)是當(dāng)下非?；鸨囊粋€詞，人人都在談?wù)摯髷?shù)據(jù)。但大數(shù)據(jù)的定義是什么？它到底是如何出現(xiàn)的？它有什么特別之處？它最大的應(yīng)用領(lǐng)域在哪里？它的發(fā)展方向是什么？對于以上問題，其實(shí)大多數(shù)人是弄不清楚的。

1)??? 大數(shù)據(jù)時代出現(xiàn)的必然性

大數(shù)據(jù)和云計算這兩個詞經(jīng)常被同時提到，很多人誤以為大數(shù)據(jù)和云計算是同時誕生的、具有強(qiáng)綁定關(guān)系。其實(shí)這兩者之間既有關(guān)聯(lián)性，也有區(qū)別。云計算指的是一種以互聯(lián)網(wǎng)方式來提供服務(wù)的計算模式，而大數(shù)據(jù)指的是基于多源異構(gòu)、跨域關(guān)聯(lián)的海量數(shù)據(jù)分析所產(chǎn)生的決策流程、商業(yè)模式、科學(xué)范式、生活方式和關(guān)聯(lián)形態(tài)上的顛覆性變化的總和。大數(shù)據(jù)處理會利用到云計算領(lǐng)域的很多技術(shù)，但大數(shù)據(jù)并非完全依賴于云計算；反過來，云計算之上也并非只有大數(shù)據(jù)這一種應(yīng)用。

云計算的起源可以追溯到2003年末Amazon公司工程師Chris Pinkham提交給CEO Jeff Bezos的一篇論文中的一個設(shè)想：將Amazon內(nèi)部使用的計算基礎(chǔ)設(shè)施開放給全世界的開發(fā)者。次年11月，Amazon發(fā)布了第一版云計算服務(wù)：Simple Queue Service。Simple Queue Service 再往后發(fā)展至2006年，演變成立今天著名的AWS（Amazon Web Sercice）。同在2006年，Google 公司CEO Eric Schmidt首次公開提出了“云計算”（Cloud Computing）的這一概念，云計算也在這一年開始變得廣為人知。

大數(shù)據(jù)這個詞的流行卻晚了好幾年——直到2009年，大數(shù)據(jù)這個說法才逐漸開始在互聯(lián)網(wǎng)圈內(nèi)傳播。但僅僅在互聯(lián)網(wǎng)領(lǐng)域流行，仍然不足以引起普遍關(guān)注，因?yàn)榧兓ヂ?lián)網(wǎng)經(jīng)濟(jì)畢竟只占全球經(jīng)濟(jì)總量的很小一部分。而大數(shù)據(jù)概念真正變得火爆，卻是因?yàn)槊绹鴬W巴馬政府在2012年高調(diào)宣布了其“大數(shù)據(jù)研究和開發(fā)計劃”——美國政府希望利用大數(shù)據(jù)解決一些政府部門面臨的非常重要的問題，該計劃由橫跨6個政府部門的84個子課題組成。這標(biāo)志著大數(shù)據(jù)真正開始進(jìn)入主流的傳統(tǒng)線下經(jīng)濟(jì)。

大數(shù)據(jù)出現(xiàn)的時間點(diǎn)自有它深刻的原因。2009年至2012年這段時間正是電子商務(wù)在包括中國在內(nèi)的全球全面開花的幾年。眾所周知，互聯(lián)網(wǎng)領(lǐng)域有3大類商業(yè)模式：廣告、游戲和電子商務(wù)。而電子商務(wù)又是第1個真正將純互聯(lián)網(wǎng)經(jīng)濟(jì)與傳統(tǒng)經(jīng)濟(jì)嫁接在一起誕生的混合模式。準(zhǔn)確地說，正是互聯(lián)網(wǎng)與傳統(tǒng)經(jīng)濟(jì)的碰撞，才真正催生出了今天幾乎全民關(guān)注的“大數(shù)據(jù)”。大數(shù)據(jù)橫跨了互聯(lián)網(wǎng)產(chǎn)業(yè)與傳統(tǒng)產(chǎn)業(yè)，而且大數(shù)據(jù)真正廣闊的應(yīng)用領(lǐng)域其實(shí)也正是比純互聯(lián)網(wǎng)經(jīng)濟(jì)大得多的傳統(tǒng)產(chǎn)業(yè)。

從數(shù)據(jù)量的角度來看，在電子商務(wù)模式出現(xiàn)以前，傳統(tǒng)企業(yè)的數(shù)量增長緩慢。傳統(tǒng)企業(yè)的數(shù)據(jù)倉庫中的數(shù)據(jù)大多數(shù)來自于交易型數(shù)據(jù)，而交易這種行為處于用戶消費(fèi)決策漏斗的最底部，這就決定了交易前的各種瀏覽、搜索、比較等用戶行為數(shù)據(jù)的都量遠(yuǎn)遠(yuǎn)超過交易數(shù)據(jù)。電子商務(wù)模式使得企業(yè)可以采集到用戶的瀏覽、搜索、比較等行為，這就導(dǎo)致企業(yè)的數(shù)據(jù)規(guī)至少提升了一個數(shù)量級?，F(xiàn)在日益流行的移動互聯(lián)網(wǎng)以及將來會流行的物聯(lián)網(wǎng)又必將使數(shù)據(jù)量提高兩三個數(shù)量級。從這個角度來講，大數(shù)據(jù)時代是必然會出現(xiàn)的。

從IT產(chǎn)業(yè)的發(fā)展來看，第一代IT巨頭大多是2B的，比如IBM、Microsoft、Oracle、SAP這類傳統(tǒng)IT企業(yè)；第二代IT巨頭大多是2C的，比如Yahoo、Google、Amazon、Facebook這類互聯(lián)網(wǎng)企業(yè)。一個有意思的現(xiàn)象是：大數(shù)據(jù)時代前，這兩類公司彼此之間基本是井水不犯河水，我們很少看見這兩類公司的老板們在一起坐而論道；但在當(dāng)前這個大數(shù)據(jù)時代，這兩類公司已經(jīng)開始直接競爭。比如Amazon已經(jīng)開始提供云模式的數(shù)據(jù)倉庫服務(wù)，直接搶占IBM、Oracle的市場。這個現(xiàn)象出現(xiàn)的本質(zhì)原因是：在互聯(lián)網(wǎng)巨頭的帶動下，傳統(tǒng)IT巨頭的客戶普遍開始從事電子商務(wù)業(yè)務(wù)，正是由于客戶進(jìn)入了互聯(lián)網(wǎng)，所以傳統(tǒng)IT巨頭們不情愿地被拖入了互聯(lián)網(wǎng)領(lǐng)域。如果他們不進(jìn)入互聯(lián)網(wǎng)，他們業(yè)務(wù)必將萎縮。所以第三代IT巨頭可能會是2B與2C融合的IT公司。

2)??? 大數(shù)據(jù)的核心內(nèi)涵

大數(shù)據(jù)概念雖然非?；鸨?，但少有人真正理解大數(shù)據(jù)的核心內(nèi)容。一個普遍而且嚴(yán)重的誤解就是：大數(shù)據(jù)=數(shù)據(jù)大，即大數(shù)據(jù)就是量大的數(shù)據(jù)。事實(shí)上，除了數(shù)據(jù)量大這個字面意義，大數(shù)據(jù)還有兩個更重要的特征：

1)? 跨領(lǐng)域數(shù)據(jù)的交叉融合。相同領(lǐng)域數(shù)據(jù)量的增加是加法效應(yīng)，不同領(lǐng)域數(shù)據(jù)的融合是乘法效應(yīng)

2)? 數(shù)據(jù)的流動。數(shù)據(jù)必須流動，流動產(chǎn)生價值

對于第1)點(diǎn)，百分點(diǎn)推薦系統(tǒng)研究中心實(shí)驗(yàn)結(jié)果顯示：百分點(diǎn)公司有3家客戶，分別是從事服裝、化妝品和箱包銷售的電商，百分點(diǎn)向這3家客戶提供個性化商品推薦服務(wù)，即：百分點(diǎn)挖掘用戶的偏好，不同的用戶上同一家電商網(wǎng)站時，向他們展現(xiàn)不同的服裝、化妝品或箱包，從而提高電商的轉(zhuǎn)化率和客單價。我們做過兩種測試：

a)? 將每家網(wǎng)站的數(shù)據(jù)隔離。當(dāng)每家網(wǎng)站自身的數(shù)據(jù)量增加到以前的4倍時，推薦效果大約能提高5%；

b)? 將三家網(wǎng)站的數(shù)據(jù)在去除敏感信息之后進(jìn)行某種融合。融合后的數(shù)據(jù)大致是與單家網(wǎng)站的數(shù)據(jù)的3倍，比第一種情況數(shù)據(jù)量還少。但利用融合后的數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘時，推薦效果能提升30%，而且推薦商品并未發(fā)生變化，仍然是：用戶上服飾類網(wǎng)站時只看見服裝、上化妝品網(wǎng)站時只看見化妝品、上箱包網(wǎng)站時只看見箱包。

解釋得詳細(xì)一點(diǎn)，上述實(shí)驗(yàn)說明：對同一個消費(fèi)者，如果我們要向其推薦服裝。第一種方法是我們根據(jù)他過去的4次購買服裝的行為來預(yù)測其下一次可能會購買的服飾；第二種方法是我們根據(jù)他過去分別購買服裝、化妝品和箱包的各1次行為來預(yù)測其下一次可能會購買的服飾。兩種方法的基于的用戶行數(shù)分別是4次和3次，但第二種方法的效果明顯更好。

對于第2)點(diǎn)，其實(shí)10多年前傳統(tǒng)企業(yè)開始做數(shù)據(jù)倉庫時，數(shù)據(jù)倉庫從業(yè)者經(jīng)常強(qiáng)調(diào)一個觀點(diǎn)：企業(yè)級數(shù)據(jù)倉庫的目標(biāo)是讓不同部門的數(shù)據(jù)流動起來，各個部門數(shù)據(jù)割裂，數(shù)據(jù)的價值就得不到發(fā)揮。到了今天的互聯(lián)網(wǎng)時代，我們發(fā)現(xiàn)即使企業(yè)已經(jīng)打通了內(nèi)部各個部門之間的數(shù)據(jù)，但與整個互聯(lián)網(wǎng)比起來，數(shù)據(jù)量仍然微乎其微，數(shù)據(jù)應(yīng)該以互聯(lián)網(wǎng)為媒介在企業(yè)之間某種形式的流動。參照“企業(yè)級數(shù)據(jù)倉庫”的概念，現(xiàn)在已經(jīng)開始出現(xiàn)了“互聯(lián)網(wǎng)數(shù)據(jù)倉庫”的概念：就是企業(yè)通過互聯(lián)網(wǎng)渠道將與自己相關(guān)的外部數(shù)據(jù)與內(nèi)部數(shù)據(jù)進(jìn)行整合，從而形成“互聯(lián)網(wǎng)數(shù)據(jù)倉庫”。百分點(diǎn)已經(jīng)在零售與媒體領(lǐng)域比較成功地打造了“開放數(shù)據(jù)聯(lián)盟”，該聯(lián)盟的成員可以在公允、安全的情況下基于該聯(lián)盟建立起自己的“互聯(lián)網(wǎng)數(shù)據(jù)倉庫”，從而享用海量數(shù)據(jù)的價值。

3)??? 大數(shù)據(jù)的應(yīng)用領(lǐng)域

大數(shù)據(jù)的起源要?dú)w功于互聯(lián)網(wǎng)與電子商務(wù)，但大數(shù)據(jù)最大的應(yīng)用前景卻在傳統(tǒng)產(chǎn)業(yè)。一是因?yàn)閹缀跛袀鹘y(tǒng)產(chǎn)業(yè)都在互聯(lián)網(wǎng)化，二是因?yàn)閭鹘y(tǒng)產(chǎn)業(yè)仍然占據(jù)了國家GDP的絕大部分份額。

哪些傳統(tǒng)企業(yè)最需要大數(shù)據(jù)服務(wù)呢？至少有3類企業(yè)：

1)? 對大量消費(fèi)者提供產(chǎn)品或服務(wù)的企業(yè) 2)? 做小而美模式的中長尾企業(yè) 3)? 面臨互聯(lián)網(wǎng)壓力之下必須轉(zhuǎn)型的傳統(tǒng)企業(yè)

第1)類企業(yè)都需要利用大數(shù)據(jù)精準(zhǔn)分析不同消費(fèi)者的偏好，提高營銷和服務(wù)的質(zhì)量；第1)類企業(yè)都需要利用大數(shù)據(jù)分析精準(zhǔn)定位自己的客戶群；第3)類企業(yè)主要指哪些正在遭受來自互聯(lián)網(wǎng)的新玩家沖擊的傳統(tǒng)企業(yè)，此類企業(yè)自然都需要利用互聯(lián)網(wǎng)和大數(shù)據(jù)作為自我進(jìn)化的工具。當(dāng)然，第3)類企業(yè)與前2類企業(yè)有重疊。

具體來講，中國最需要大數(shù)據(jù)服務(wù)的行業(yè)就是受互聯(lián)網(wǎng)沖擊最大的產(chǎn)業(yè)，首先是線下零售業(yè)，其次是金融業(yè)。

受電商的沖擊，國內(nèi)很多零售巨頭都增長嚴(yán)重放緩，甚至遭遇負(fù)增長，線下零售已經(jīng)到了不得不變革的危機(jī)關(guān)頭。我們也看到了銀泰百貨、王府井百貨、萬達(dá)集團(tuán)這些具有創(chuàng)新意識的傳統(tǒng)巨頭開始利用互聯(lián)網(wǎng)和大數(shù)據(jù)來改造線下商業(yè)。其中銀泰百貨以手機(jī)為載體、利用O2O方式進(jìn)行雙線數(shù)據(jù)挖掘的創(chuàng)新非常值得借鑒。

而金融行業(yè)就更加特殊：金融業(yè)并不銷售任何實(shí)體商品，它自誕生起就是基于數(shù)據(jù)的產(chǎn)業(yè)。由于國家管制，金融業(yè)在前幾年享受了非常好的政策紅利，內(nèi)部變革動力不足。而目前金融業(yè)已經(jīng)逐漸開始放松管制，新興的金融機(jī)構(gòu)必將利用互聯(lián)網(wǎng)以及大數(shù)據(jù)工具向傳統(tǒng)金融巨頭發(fā)起猛烈攻擊。而傳統(tǒng)金融機(jī)構(gòu)在互聯(lián)網(wǎng)方面的技術(shù)積累和數(shù)據(jù)積累都不足，要快速應(yīng)對新進(jìn)入者的挑戰(zhàn)，必然需要大數(shù)據(jù)服務(wù)。我們也看到了中信銀行信用卡中心、招商銀行信用卡中心已經(jīng)在開始利用互聯(lián)網(wǎng)大數(shù)據(jù)進(jìn)行創(chuàng)新。

那么傳統(tǒng)產(chǎn)業(yè)需要什么樣的大數(shù)據(jù)服務(wù)呢？這主要包括3層：

1)? 基于大數(shù)據(jù)的行業(yè)垂直應(yīng)用。每個行業(yè)都有自己的特點(diǎn)，所以自然會存在行業(yè)應(yīng)用的需求；

2)? 顧客標(biāo)簽與商品標(biāo)簽的整理。不管什么行業(yè)，都需要精細(xì)化整理自己顧客的屬性標(biāo)簽以及商品屬性標(biāo)簽，而且這些標(biāo)簽必須能夠細(xì)化到單個顧客和單個商品。標(biāo)簽是行業(yè)應(yīng)用的基礎(chǔ)；

3)? 企業(yè)內(nèi)部和外部數(shù)據(jù)的整合與管理。要給顧客和商品打標(biāo)簽，首先必須整合企業(yè)內(nèi)部和外部數(shù)據(jù)，尤其是日益重要和龐大的外部數(shù)據(jù)。

圖：傳統(tǒng)企業(yè)需要的大數(shù)據(jù)服務(wù)

第3層和第2層的方法相對比較通用，行業(yè)特殊性相對較少。百分點(diǎn)已經(jīng)在第3層和第2層做出了比較成熟的產(chǎn)品，并且也開始在第1層做出了一些具體的行業(yè)應(yīng)用產(chǎn)品，比如針對服飾行業(yè)的時尚服飾搭配系統(tǒng)。

4)??? 大數(shù)據(jù)的發(fā)展方向

大數(shù)據(jù)產(chǎn)業(yè)未來會向什么方向發(fā)展？隨著數(shù)據(jù)逐漸成為企業(yè)的一種資產(chǎn)，數(shù)據(jù)產(chǎn)業(yè)會向傳統(tǒng)企業(yè)的供應(yīng)鏈模式發(fā)展，最終形成“數(shù)據(jù)供應(yīng)鏈”。拿鋼鐵產(chǎn)業(yè)來講，鐵礦石公司從礦場中挖出礦石，經(jīng)過粗加工，賣給鋼鐵企業(yè)；鋼鐵企業(yè)再進(jìn)行精細(xì)一點(diǎn)的加工，將板材、鋼條賣給下游制造業(yè)公司；這些制造業(yè)公司做出汽車、飛機(jī)、門窗、電腦等產(chǎn)品賣給下游公司。這個產(chǎn)業(yè)鏈中存在找礦、運(yùn)輸、加工等諸多環(huán)節(jié)，每個環(huán)節(jié)都有對應(yīng)的企業(yè)。

圖：傳統(tǒng)企業(yè)的供應(yīng)鏈

在“數(shù)據(jù)供應(yīng)鏈”中，存在數(shù)據(jù)、數(shù)據(jù)整合與挖掘工具以及數(shù)據(jù)應(yīng)用這3大環(huán)節(jié)。數(shù)據(jù)就好比礦場的礦石；數(shù)據(jù)整合與挖掘工具就好比鋼廠的冶煉爐；而精準(zhǔn)營銷、服飾搭配等數(shù)據(jù)應(yīng)用就好比汽車、電腦等可以出售給消費(fèi)者的產(chǎn)品。企業(yè)在數(shù)據(jù)供應(yīng)、數(shù)據(jù)整合與挖掘、數(shù)據(jù)應(yīng)用等所有環(huán)節(jié)都需要專業(yè)的服務(wù)。這里尤其有兩個明顯的現(xiàn)象：

1)? 外部數(shù)據(jù)的重要性日益超過內(nèi)部數(shù)據(jù)。在互聯(lián)互通的互聯(lián)網(wǎng)時代，單一企業(yè)的內(nèi)部數(shù)據(jù)與整個互聯(lián)網(wǎng)數(shù)據(jù)比較起來只是滄海一粟；

2)? 能提供包括數(shù)據(jù)供應(yīng)、數(shù)據(jù)整合與加工、數(shù)據(jù)應(yīng)用等多環(huán)節(jié)服務(wù)的公司會有明顯的綜合競爭優(yōu)勢。

5)??? 什么樣的大數(shù)據(jù)企業(yè)會勝出

常有大數(shù)據(jù)從業(yè)者以及投資人和我們探討一個問題：大數(shù)據(jù)產(chǎn)業(yè)中，什么樣的企業(yè)會最終勝出？這是一個很難回答的問題，而且即使回答了，三五年內(nèi)可能都無法判斷其正確性。但從“數(shù)據(jù)供應(yīng)鏈”中的各個環(huán)節(jié)來分析，還是可以得出一些具有參考價值的結(jié)論。

1)? 數(shù)據(jù)供應(yīng)。在互聯(lián)網(wǎng)沒有流行的時代，企業(yè)做數(shù)據(jù)倉庫、商業(yè)智能、數(shù)據(jù)挖掘等系統(tǒng)時采用的數(shù)據(jù)基本都來自于企業(yè)內(nèi)部，企業(yè)幾乎無法獲取外部數(shù)據(jù)，所以很少有專業(yè)的數(shù)據(jù)供應(yīng)商?；ヂ?lián)網(wǎng)改變了這一局面，將來會有專業(yè)的數(shù)據(jù)供應(yīng)商。但既然是因?yàn)榛ヂ?lián)網(wǎng)的出現(xiàn)導(dǎo)致了數(shù)據(jù)供應(yīng)商的出現(xiàn)，那么反過來數(shù)據(jù)供應(yīng)商就必須具有很強(qiáng)的互聯(lián)網(wǎng)基因；

2)? 數(shù)據(jù)整合與挖掘。數(shù)據(jù)挖掘工具供應(yīng)商在非互聯(lián)網(wǎng)時代就早已存在。但互聯(lián)網(wǎng)時代使得企業(yè)的數(shù)據(jù)量激增、數(shù)據(jù)類型發(fā)生極大變化（不同于傳統(tǒng)的來自于單一領(lǐng)域的結(jié)構(gòu)化數(shù)據(jù)，互聯(lián)網(wǎng)數(shù)據(jù)以跨域的非結(jié)構(gòu)化數(shù)據(jù)為主），傳統(tǒng)的數(shù)據(jù)挖掘工具供應(yīng)商的技術(shù)和方法已經(jīng)很難適應(yīng)。要跟上時代的變化，數(shù)據(jù)挖掘技術(shù)與工具應(yīng)用商必須具備互聯(lián)網(wǎng)公司的海量數(shù)據(jù)處理和挖掘的能力；

3)? 數(shù)據(jù)應(yīng)用。具體的行業(yè)應(yīng)用與傳統(tǒng)行業(yè)的業(yè)務(wù)關(guān)系密切，要做好行業(yè)應(yīng)用，最好需要有服務(wù)傳統(tǒng)行業(yè)的經(jīng)驗(yàn)，了解傳統(tǒng)行業(yè)的內(nèi)部運(yùn)作模式。這時候僅僅具有2C經(jīng)驗(yàn)的互聯(lián)網(wǎng)基因的公司又稍顯不足。

綜合起來看，如果一家大數(shù)據(jù)從業(yè)公司同時兼?zhèn)浠ヂ?lián)網(wǎng)數(shù)據(jù)獲取能力、互聯(lián)網(wǎng)技術(shù)、互聯(lián)網(wǎng)執(zhí)行力，又有做2B服務(wù)的經(jīng)驗(yàn)，那么這家公司將比較容易取得領(lǐng)先優(yōu)勢。這個結(jié)論其實(shí)一點(diǎn)也不奇怪：如本文開篇所述，大數(shù)據(jù)本來就是互聯(lián)網(wǎng)與傳統(tǒng)產(chǎn)業(yè)碰撞時的產(chǎn)物。

用“方興未艾”這個詞來形容大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展階段都還為時過早，目前的大數(shù)據(jù)產(chǎn)業(yè)只能說是小荷才露尖尖角。國內(nèi)企業(yè)在第1代IT產(chǎn)業(yè)（硬件和軟件產(chǎn)業(yè)）中是明顯落后國外企業(yè)的；在第2代IT產(chǎn)業(yè)（互聯(lián)網(wǎng)產(chǎn)業(yè)）中，國內(nèi)企業(yè)已經(jīng)與國外企業(yè)差距不大甚至在很多方面超過了國外企業(yè)；希望在第3代IT產(chǎn)業(yè)（云計算和大數(shù)據(jù)）浪潮中，國內(nèi)企業(yè)能夠完全趕上并且超過國外企業(yè)，我們也認(rèn)為這是很有可能的。

來源：36氪