大數(shù)據(jù)自從興起后，便一直備受熱捧，關于大數(shù)據(jù)的前景、應用和利弊的討論也一直持續(xù)至今，而唯一不變的真理是：只有人才是核心，數(shù)據(jù)只是我們獲取真理的途徑。舍恩伯格在大數(shù)據(jù)時代中強調(diào)，數(shù)據(jù)不等于信息，數(shù)據(jù)是全局的。用信息論中的熵的概念，信息是對事件不確定性的度量，全局的數(shù)據(jù)如果我們認為是全知的話，那么它的不確定性為零，即不包含信息，唯有我們挖掘出來有適用價值的數(shù)據(jù)才可獲得有效信息。另一個觀點是信息不等于智慧，如何將信息轉化為智慧呢，需要滿足三個標準：可破譯性，關聯(lián)性和新穎性。

大數(shù)據(jù)冰山一角

有意思的是，著名信息技術研究和分析公司 Gartner 做了一項有關企業(yè)使用大數(shù)據(jù)的調(diào)查，調(diào)查顯示 56% 的公司不知道如何從大數(shù)據(jù)中獲取價值，41% 的公司不知道如何將大數(shù)據(jù)與公司戰(zhàn)略結合，34% 的公司缺乏獲取和處理數(shù)據(jù)的能力，甚至有 23% 的公司不明白大數(shù)據(jù)是何物……究竟大數(shù)據(jù)是什么，又如何與我們的生活產(chǎn)生關聯(lián)呢，下面筆者將用兩個自己做過的自然語言處理（NLP）項目為你揭開大數(shù)據(jù)的冰山一角。

1、熱點話題探索

新浪微博是我們目前主要使用的一款社交網(wǎng)站，其魚龍混雜程度已經(jīng)令人嘆為觀止，里面充斥著各路大 V、水軍、僵尸粉和我們這些寶貴的真實個人用戶，也許你每天的生活就是隨手刷刷微博，看看悄悄關注的女神發(fā)的微博又有哪個異性回復了，聽聽某意見領袖發(fā)表的最新觀點，然后再默默的點一個贊。但你想過沒有，國外是如何利用上億量級的 tweet 內(nèi)容成功預測股市的呢？

于是筆者默默的利用了一下去年八、九月份十萬量級的微博內(nèi)容，試著去分析了一下某些潛在的或已經(jīng)發(fā)生的熱點話題。可以看到效果還是有的，去年 9 月 10 日日本單方面無條件購島引起廣大愛國人士的激烈討論，圖中話題 7 即反映了十萬微博中此話題權重較高的幾個關鍵詞；話題 8 的出現(xiàn)完全是意外之喜，原來小米在去年 8 月 16 日發(fā)布了新手機，雷軍讓小米也在互聯(lián)網(wǎng)火了起來。更多出現(xiàn)的可能是話題 9 這種無意義的類別，如何更有效的濾除噪聲，使真正有價值的熱點較早凸顯出來是筆者下一步打算實現(xiàn)的目標。

2、情感分析

是否會有這么一天，當你面試時HR只問你一句：你的新浪微博賬號是多少？一分鐘后他淡定的告訴你，對不起，經(jīng)過測試，你的微博總體負面情緒過多，不符合我們企業(yè)陽光樂觀積極向上的主題，出門左拐就有地鐵站，慢走。我們不去具體分析這種事情的合理性，我們只看大數(shù)據(jù)帶給我們的這種可能性，當你的喜怒哀樂所有情感都可以被一個百分比準確定義的時候，數(shù)據(jù)化的時代也許就真的到來了。

筆者采集了自己除轉發(fā)外所有的原創(chuàng)微博，歸類到高興、悲傷和憤怒三個極性中，下圖為情感極性比例，從圖中可以看到超過 50% 的微博表現(xiàn)出高興的情感趨向，大約 30% 的微博有悲傷的負面情感，10% 左右則表現(xiàn)出憤怒這一情感，估計又憂國憂民了吧…

上面的例子只是一些小的實驗，從長遠來看還是有很多用武之地的，比如對某品牌的產(chǎn)品售后評價進行分析監(jiān)控，找到負面評價然后去解決產(chǎn)品中可能存在的缺陷。新聞媒體對一些報道的分析，輿情分析，金融機構預測走勢等等，其實很多早已滲透到我們的生活中了。

數(shù)據(jù)網(wǎng)站和應用的滲入

微博高玩一定對下面這幅逼格超高的圖片不會陌生，這是我自己使用一款名為圍脖關鍵字的微博應用生成的圖片，該應用由清華大學自然語言處理與社會人文計算實驗室開發(fā)。它對用戶所有的微博進行了分詞，去停用詞，計算關鍵詞權重等幾個步驟，從而生成了一幅個性化的用戶標簽集合。

也許從個人角度出發(fā)這只是一個很有意思的小應用，但如果商家獲取了用戶標簽，也許將來的廣告推薦會更有針對性；企業(yè)也能將此類標簽當做面試者人格分析的一部分；更深入一點還將產(chǎn)生更好的針對特定機構和群體的行為分析等等。

大數(shù)據(jù)現(xiàn)在誰都能說上一點兩點，但如何將其應用到現(xiàn)實中，如何提供更好的服務是我們需要真正解決的，不然空有「大」字，只是沒有靈魂的空殼罷了。