3.3 數(shù)據(jù)收集

內(nèi)部數(shù)據(jù)：由公司業(yè)務(wù)體系決定，公司內(nèi)部產(chǎn)生的互數(shù)據(jù)。

• 常用工具有：GA/百度統(tǒng)計(jì)；
• 也有公司自建數(shù)據(jù)庫(kù)：通過(guò)SQL查詢(xún)。

外部數(shù)據(jù)：

• 常見(jiàn)指數(shù)：百度指數(shù)、阿里指數(shù)、谷歌趨勢(shì)指數(shù)、騰訊TBI指數(shù)、經(jīng)濟(jì)指數(shù)（大盤(pán)指數(shù)等）
• 競(jìng)品監(jiān)控：ALEXA / similar WEB。

3.4 數(shù)據(jù)的預(yù)處理和預(yù)分析

我們收集來(lái)的數(shù)據(jù)，并不能直接使用，而是需要先進(jìn)行清洗。

預(yù)處理主要是指清洗好數(shù)據(jù)之后，可以對(duì)數(shù)據(jù)做一下粗略分析，方便建模的深入。

預(yù)分析-主要是 針對(duì)對(duì)象做描述統(tǒng)計(jì)，包括分布、集中/離散趨勢(shì)，包括均值/方差/偏度/峰度/分位數(shù)等，也包括相關(guān)性的探索性分析。

3.5 選擇模型

模型空間的構(gòu)建：這是個(gè)無(wú)限集合，其實(shí)模型的收集永無(wú)止境。我們也可以按照演繹的體系去梳理模型空間，我們主要收集的是三類(lèi)模型：商業(yè)/統(tǒng)計(jì)/數(shù)據(jù)挖掘。

商業(yè)分析模型：麥肯錫等咨詢(xún)公司根據(jù)商業(yè)需要總結(jié)的一些分析框架，我們的模型大多來(lái)自咨詢(xún)公司，也可以根據(jù)業(yè)務(wù)理解，自己建立。

比如：波特五力模型是邁克爾·波特（Michael Porter）于20世紀(jì)80年代初提出。他認(rèn)為行業(yè)中存在著決定競(jìng)爭(zhēng)規(guī)模和程度的五種力量，這五種力量綜合起來(lái)影響著產(chǎn)業(yè)的吸引力以及現(xiàn)有企業(yè)的競(jìng)爭(zhēng)戰(zhàn)略決策。五種力量分別為同行業(yè)內(nèi)現(xiàn)有競(jìng)爭(zhēng)者的競(jìng)爭(zhēng)能力、潛在競(jìng)爭(zhēng)者進(jìn)入的能力、替代品的替代能力、供應(yīng)商的討價(jià)還價(jià)能力、購(gòu)買(mǎi)者的討價(jià)還價(jià)能力。

統(tǒng)計(jì)模型，主要是依靠統(tǒng)計(jì)學(xué)知識(shí)。各種分布和檢驗(yàn)的關(guān)系原理，這部分需要很好的數(shù)學(xué)基礎(chǔ)，我這里只簡(jiǎn)單的給出輸入條件和輸出條件，至于其中的具體原理，有機(jī)會(huì)做一個(gè)概述。

數(shù)據(jù)挖掘模型：

• 生成模型：由數(shù)據(jù)學(xué)習(xí)聯(lián)合概率分布P(X，Y)，然后求出條件概率分布P(Y|X)作為預(yù)測(cè)模型，即生成模型P（Y|X）=P（X，Y）/P（X）——存在隱變量。典型的生成模型：樸素貝葉斯法，隱馬爾可夫模型。
• 判別模型：由數(shù)據(jù)直接學(xué)習(xí)決策函數(shù)f(X)或者條件概率分布P（Y|X）作為預(yù)測(cè)的模型。即對(duì)給定的輸入X，應(yīng)該預(yù)測(cè)什么樣的輸出Y。典型的判別模型：k近鄰法、感知機(jī)、決策樹(shù)、邏輯斯蒂回歸模型、最大熵模型、支持向量機(jī)、提升方法、條件隨機(jī)場(chǎng)。

監(jiān)督學(xué)習(xí)三類(lèi)問(wèn)題：分類(lèi)問(wèn)題、標(biāo)注問(wèn)題、回歸問(wèn)題。

可用于分類(lèi)問(wèn)題的統(tǒng)計(jì)學(xué)習(xí)方法：k近鄰法，感知機(jī)，樸素貝葉斯法，決策樹(shù)，決策列表，邏輯斯蒂回歸模型，支持向量機(jī)，提升方法，貝葉斯網(wǎng)絡(luò)，神經(jīng)網(wǎng)絡(luò)，Winnow 可用于標(biāo)注問(wèn)題的統(tǒng)計(jì)學(xué)習(xí)方法：隱馬爾可夫模型，條件隨機(jī)場(chǎng)。

模型的選取標(biāo)準(zhǔn)：

• 根據(jù)業(yè)務(wù)需求，確定優(yōu)先級(jí)進(jìn)行打分；
• 根據(jù)測(cè)試效果選擇。

模型在具體問(wèn)題下的構(gòu)建：

• 數(shù)據(jù)挖掘問(wèn)題的模型求解；
• 根據(jù)業(yè)務(wù)實(shí)際需要調(diào)整模型。

模型評(píng)價(jià)：基準(zhǔn)模型，其他建模嘗試。

• 多元線性回歸作為基準(zhǔn)模型；
• 其他模型效果明顯提高，認(rèn)為超越基準(zhǔn)模型。

3.6 成果輸出

成果輸出，一般是面向組織內(nèi)部，比如：同事、老板，也有可能面向吃瓜群眾，這倆種情況的原則很不一樣，組織內(nèi)部是理性交流，要講邏輯，面向觀眾，則要講情感。

（1）結(jié)構(gòu)化 mece法則

MECE，是Mutually Exclusive Collectively Exhaustive 縮寫(xiě)，中文意思是“相互獨(dú)立，完全窮盡”。 也就是對(duì)于一個(gè)重大的議題，能夠做到不重疊、不遺漏的分類(lèi)，而且能夠借此有效把握問(wèn)題的核心，并成為有效解決問(wèn)題的方法。 它是麥肯錫的第一個(gè)女咨詢(xún)顧問(wèn)巴巴拉·明托（Barbara Minto）在金字塔原理（The Minto Pyramid Principle）中提出的一個(gè)很重要的原則。

可視化的本質(zhì)是面對(duì)非本領(lǐng)域?qū)＜?，為了方便信息的傳達(dá)，用圖形直觀的方式展示分析成果（分析模型），圖形主要是各種統(tǒng)計(jì)圖表和邏輯框架圖.，圖形的選擇標(biāo)準(zhǔn)主要是根據(jù)變量屬性（定量數(shù)據(jù)還是定類(lèi)數(shù)據(jù)），變量個(gè)數(shù)，希望達(dá)成的展示目標(biāo)決定。

具體選擇原則見(jiàn)下圖：

面向吃瓜群眾的成果輸出，感官刺激，如果是面向吃瓜群眾，那么要盡量減少邏輯/說(shuō)理的成分，盡量用視覺(jué)化的表達(dá).視覺(jué)想象是第一說(shuō)服力。生活中我們做事情，并不是理性對(duì)理性，更多的時(shí)候都是感情對(duì)感情。

3.7 模型反饋

知道貝葉斯定理嗎？其實(shí)我們最終得到的模型，本質(zhì)是一個(gè)假設(shè)，具體有效沒(méi)效，需要在實(shí)踐中檢驗(yàn)。

模型評(píng)價(jià)：模型效果=模型預(yù)測(cè)-實(shí)際情況。

關(guān)于工具選擇的框架

我們需要區(qū)分方法和工具，以上談到的數(shù)據(jù)分析框架是方法，而實(shí)現(xiàn)這些方法可以人力完成，也可以借助計(jì)算機(jī)輔助，目前計(jì)算機(jī)輔助數(shù)據(jù)分析工具主要是三部分：

• 計(jì)算機(jī)語(yǔ)言：Python 和 R. 我學(xué)習(xí)的是Python，Python具有高擴(kuò)展的能力，幾乎在計(jì)算機(jī)各個(gè)領(lǐng)域都有應(yīng)用. R具有非常全面的數(shù)學(xué)分析包，也是不錯(cuò)的選擇；
• 軟件：Excel ，power BI等. 入門(mén)的話可以掌握Excel，Excel提供了實(shí)現(xiàn)以上框架的全流程操作，不僅僅是做個(gè)表格那么簡(jiǎn)單. powerBI 是微軟推出的免費(fèi)的商業(yè)智能軟件，是可視化不錯(cuò)的工具；
• 各種小型工具 主要是各種指數(shù)工具，還有各種數(shù)據(jù)收集工具，以下給出了圍繞營(yíng)銷(xiāo)漏斗的工具集合。

總結(jié)

聊點(diǎn)輕松的，steam教育

STEAM教育思想思潮 STEAM代表科學(xué)（Science），技術(shù)（Technology），工程（Engineering），藝術(shù)（Arts），數(shù)學(xué)（Mathematics）。STEAM教育就是集科學(xué)，技術(shù)，工程，藝術(shù)，數(shù)學(xué)多學(xué)科融合的綜合教育。

steam教育并不是要求我們面面俱到，而是希望我們?cè)?-2個(gè)領(lǐng)域達(dá)到80%的水準(zhǔn)，在若干領(lǐng)域達(dá)到60%的程度。這一方面是因?yàn)槲覀冃枰娴囊暯?，這樣我們可以更加清醒的認(rèn)識(shí)世界，也是因?yàn)楝F(xiàn)實(shí)業(yè)務(wù)需要我們有這樣的能力。

商業(yè)發(fā)展到今天，工作中我們遇到的問(wèn)題已經(jīng)不是簡(jiǎn)單重復(fù)就可以完成的，我們需要?jiǎng)?chuàng)造性的建模，建模要求我們有廣闊的模型空間可以選擇，而STEANM教育可以給我們提供廣闊的模型空間，我們?cè)诶锩婵梢苑奖愕念?lèi)比，方便的尋找同構(gòu)解。

以“如何有效對(duì)比”這一簡(jiǎn)單的問(wèn)題，我們?cè)囍诟鱾€(gè)領(lǐng)域?qū)ふ彝瑯?gòu)問(wèn)題，科學(xué)方法論中的對(duì)照實(shí)：實(shí)驗(yàn)組與對(duì)照組設(shè)置。

金融學(xué)中的收益評(píng)價(jià)：一個(gè)金融產(chǎn)品收益=基準(zhǔn)收益（大盤(pán)指數(shù)）+實(shí)際產(chǎn)品特性導(dǎo)致的收益。

宏觀經(jīng)濟(jì)學(xué)：房?jī)r(jià)增速 = 基準(zhǔn)（經(jīng)濟(jì)發(fā)展水平+城市化水平+通貨膨脹）+泡沫。

微觀經(jīng)濟(jì)學(xué)：沉沒(méi)成本不是成本，機(jī)會(huì)成本才是真正的成本。一個(gè)選擇的真實(shí)價(jià)值=該選擇價(jià)值-其他所有選擇中價(jià)值最大的那個(gè)選項(xiàng)的價(jià)值。

歷史學(xué)研究現(xiàn)代化：理想現(xiàn)代化模板：英國(guó)，其他國(guó)家的現(xiàn)代化=英國(guó)模式+波動(dòng)調(diào)整。

以上通過(guò)一個(gè)簡(jiǎn)單的例子，想說(shuō)明開(kāi)闊眼界的重要性，這也是為什么說(shuō) steam人才儲(chǔ)備量是衡量一個(gè)國(guó)家實(shí)力的重要標(biāo)志.

關(guān)于整個(gè)知識(shí)體系的詳細(xì)描述，將會(huì)在最后一篇數(shù)據(jù)科學(xué)邊界，做一些討論，可以關(guān)注。

今天寫(xiě)的內(nèi)容有點(diǎn)多，如果不了解不要著急，接下來(lái)幾天會(huì)有對(duì)框架詳細(xì)的論述。

本文由 @小祁?lèi)?ài)數(shù)據(jù) 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可，禁止轉(zhuǎn)載

題圖來(lái)自Unsplash，基于CC0協(xié)議