數(shù)據(jù)不是信息，而是有待理解的原材料。但有一件事是確定無(wú)疑的：當(dāng)NSA為了從其海量數(shù)據(jù)中“挖掘”出信息，耗資數(shù)十億改善新手段時(shí)，它正受益于陡然降落的計(jì)算機(jī)存儲(chǔ)和處理價(jià)格。

麻省理工學(xué)院的研究者約翰·古塔格（John Guttag）和柯林·斯塔爾茲（Collin Stultz）創(chuàng)建了一個(gè)計(jì)算機(jī)模型來(lái)分析之心臟病病患丟棄的心電圖數(shù)據(jù)。他們利用數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)在海量的數(shù)據(jù)中篩選，發(fā)現(xiàn)心電圖中出現(xiàn)三類異常者——一年內(nèi)死于第二次心臟病發(fā)作的機(jī)率比未出現(xiàn)者高一至二倍。這種新方法能夠識(shí)別出更多的，無(wú)法通過(guò)現(xiàn)有的風(fēng)險(xiǎn)篩查被探查出的高危病人。

數(shù)據(jù)挖掘這一術(shù)語(yǔ)含義廣泛，指代一些通常由軟件實(shí)現(xiàn)的機(jī)制，目的是從巨量數(shù)據(jù)中提取出信息。數(shù)據(jù)挖掘往往又被稱作算法。

威斯康星探索學(xué)院主任大衛(wèi)·克拉考爾（David Krakauer）說(shuō)，數(shù)據(jù)量的增長(zhǎng)——以及提取信息的能力的提高——也在影響著科學(xué)?！坝?jì)算機(jī)的處理能力和存儲(chǔ)空間在呈指數(shù)增長(zhǎng)，成本卻在指數(shù)級(jí)下降。從這個(gè)意義上來(lái)講，很多科學(xué)研究如今也遵循摩爾定律?！?/p>

在 2005年，一塊1TB的硬盤(pán)價(jià)格大約為1,000美元，“但是現(xiàn)在一枚不到100美元的U盤(pán)就有那么大的容量?！毖芯恐悄苎莼目死紶栒f(shuō)?，F(xiàn)下關(guān)于大數(shù)據(jù)和數(shù)據(jù)挖掘的討論“之所以發(fā)生是因?yàn)槲覀冋幱隗@天動(dòng)地的變革當(dāng)中，而且我們正以前所未有的方式感知它?！笨死瓌跔栒f(shuō)。

隨著我們通過(guò)電話、信用卡、電子商務(wù)、互聯(lián)網(wǎng)和電子郵件留下更多的生活痕跡，大數(shù)據(jù)不斷增長(zhǎng)的商業(yè)影響也在如下時(shí)刻表現(xiàn)出來(lái)：

◆你搜索一條飛往塔斯卡魯薩的航班，然后便看到網(wǎng)站上出現(xiàn)了塔斯卡魯薩的賓館打折信息

◆你觀賞的電影采用了以幾十萬(wàn)G數(shù)據(jù)為基礎(chǔ)的計(jì)算機(jī)圖形圖像技術(shù)

◆你光顧的商店在對(duì)顧客行為進(jìn)行數(shù)據(jù)挖掘的基礎(chǔ)上獲取最大化的利潤(rùn)

◆用算法預(yù)測(cè)人們購(gòu)票需求，航空公司以不可預(yù)知的方式調(diào)整價(jià)格

◆智能手機(jī)的應(yīng)用識(shí)別到你的位置，因此你收到附近餐廳的服務(wù)信息

互聯(lián)網(wǎng)上的火眼金睛

當(dāng)醫(yī)學(xué)家忙于應(yīng)對(duì)癌癥、細(xì)菌和病毒之時(shí)，互聯(lián)網(wǎng)上的政治言論已呈燎原之勢(shì)。整個(gè)推特圈上每天要出現(xiàn)超過(guò)5億條推文，其政治影響力與日俱增，使廉潔政府團(tuán)體面臨著數(shù)據(jù)挖掘技術(shù)帶來(lái)的巨大挑戰(zhàn)。

印第安納大學(xué)Truthy（意：可信）項(xiàng)目的目標(biāo)是從這種每日的信息泛濫中發(fā)掘出深層意義，博士后研究員埃米利奧·費(fèi)拉拉（Emilio Ferrara）說(shuō)。“Truthy是一種能讓研究者研究推特上信息擴(kuò)散的工具。通過(guò)識(shí)別關(guān)鍵詞以及追蹤在線用戶的活動(dòng)，我們研究正在進(jìn)行的討論。”

Truthy是由印第安納研究者菲爾·孟澤（Fil Menczer）和亞力桑德羅·弗拉米尼（Alessandro Flammini）開(kāi)發(fā)的。每一天，該項(xiàng)目的計(jì)算機(jī)過(guò)濾多達(dá)5千萬(wàn)條推文，試圖找出其中蘊(yùn)含的模式。

Truthy是由印第安納研究者菲爾·孟澤（Fil Menczer）和亞力桑德羅·弗拉米尼（Alessandro Flammini）開(kāi)發(fā)的。每一天，該項(xiàng)目的計(jì)算機(jī)過(guò)濾多達(dá)5千萬(wàn)條推文，試圖找出其中蘊(yùn)含的模式。

大數(shù)據(jù)盯著“#bigdata”（意為大數(shù)據(jù)）。這些是在推特上發(fā)布過(guò)“bigdata”的用戶之間的連接，用戶圖標(biāo)的尺寸代表了其粉絲數(shù)多寡。藍(lán)線表示一次回復(fù)或者提及，綠線表示一個(gè)用戶是另一個(gè)的粉絲。

一個(gè)主要的興趣點(diǎn)是“水軍”，費(fèi)拉拉說(shuō)：協(xié)調(diào)一致的造勢(shì)運(yùn)動(dòng)本應(yīng)來(lái)自草根階層，但實(shí)際上是由“熱衷傳播虛假信息的個(gè)人和組織”發(fā)起的。

2012年美國(guó)大選期間，一系列推文聲稱共和黨總統(tǒng)候選人米特·羅姆尼（Mitt Romney）在臉譜網(wǎng)上獲得了可疑的大批粉絲?！罢{(diào)查者發(fā)現(xiàn)共和黨人和民主黨人皆與此事無(wú)關(guān)。”費(fèi)拉拉說(shuō)，“幕后另有主使。這是一次旨在令人們相信羅姆尼在買粉從而抹黑他的造勢(shì)運(yùn)動(dòng)?！?/p>

水軍的造勢(shì)運(yùn)動(dòng)通常很有特點(diǎn)，費(fèi)拉拉說(shuō)?！耙氚l(fā)起一場(chǎng)大規(guī)模的抹黑運(yùn)動(dòng)，你需要很多推特賬號(hào)，”包括由程序自動(dòng)運(yùn)行、反復(fù)發(fā)布選定信息的假賬號(hào)?！拔覀兺ㄟ^(guò)分析推文的特征，能夠辨別出這種自動(dòng)行為。”

推文的數(shù)量年復(fù)一年地倍增，有什么能夠保證線上政治的透明呢？“我們這個(gè)項(xiàng)目的目的是讓技術(shù)掌握一點(diǎn)這樣的信息?！辟M(fèi)拉拉說(shuō)，“找到一切是不可能的，但哪怕我們能夠發(fā)現(xiàn)一點(diǎn)，也比沒(méi)有強(qiáng)?！?/p>

隨著數(shù)據(jù)及通訊價(jià)格持續(xù)下跌，新的思路和方法應(yīng)運(yùn)而生。

如果你想了解你家中每一件設(shè)備消耗了多少水和能量，麥克阿瑟獎(jiǎng)獲得者西瓦塔克·帕特爾 （Shwetak Patel）有個(gè)解決方案：用無(wú)線傳感器識(shí)別每一臺(tái)設(shè)備的唯一數(shù)字簽名。帕特爾的智能算法配合外掛傳感器，以低廉的成本找到耗電多的電器。位于加利福尼亞 州海沃德市的這個(gè)家庭驚訝地得知，錄像機(jī)消耗了他們家11%的電力。等到處理能力一次相對(duì)較小的改變令結(jié)果出現(xiàn)突破性的進(jìn)展，克拉考爾補(bǔ)充道，大數(shù)據(jù)的應(yīng)用可能會(huì)經(jīng)歷一次“相變”。

“大數(shù)據(jù)”是一個(gè)相對(duì)的說(shuō)法，不是絕對(duì)的，克拉考爾指出?！按髷?shù)據(jù)可以被視作一種比率——我們能計(jì)算的數(shù)據(jù)比上我們必須計(jì)算的數(shù)據(jù)。大數(shù)據(jù)一直存在。如果你想一下收集行星位置數(shù)據(jù)的丹麥天文學(xué)家第谷布拉赫（Tycho Brahe，1546-1601），當(dāng)時(shí)還沒(méi)有解釋行星運(yùn)動(dòng)的開(kāi)普勒理論，因此這個(gè)比率是歪曲的。這是那個(gè)年代的大數(shù)據(jù)?！?/p>

大數(shù)據(jù)成為問(wèn)題“是在技術(shù)允許我們收集和存儲(chǔ)的數(shù)據(jù)超過(guò)了我們對(duì)系統(tǒng)精推細(xì)研的能力之后。”克拉考爾說(shuō)。

我們好奇，當(dāng)軟件繼續(xù)在大到無(wú)法想象的數(shù)據(jù)庫(kù)上執(zhí)行復(fù)雜計(jì)算，以此為基礎(chǔ)在科學(xué)、商業(yè)和安全領(lǐng)域制定決策，我們是不是把過(guò)多的權(quán)力交給了機(jī)器。在我們無(wú)法覷探之處，決策在沒(méi)人理解輸入與輸出、數(shù)據(jù)與決策之間的關(guān)系的情況下被自動(dòng)做出?！斑@正是我所從事的領(lǐng)域，”克拉考爾回應(yīng)道，“我的研究對(duì)象是宇宙中的智能演化，從大爆炸到大腦。我毫不懷疑你說(shuō)的?！?/p>

本文來(lái)源：大數(shù)據(jù)中國(guó) 節(jié)選