1. 缺乏數(shù)據(jù)（Lack Data）

對(duì)于分類(lèi)問(wèn)題或預(yù)估問(wèn)題來(lái)說(shuō)，常常缺乏準(zhǔn)確標(biāo)注的案例。
例如：

• 欺詐偵測(cè)（Fraud Detection）：在上百萬(wàn)的交易中，可能只有屈指可數(shù)的欺詐交易，還有很多的欺詐交易沒(méi)有被正確標(biāo)注出來(lái)，這就需要在建模前花費(fèi)大量人力來(lái)修正。
• 信用評(píng)分（Credit Scoring）：需要對(duì)潛在的高風(fēng)險(xiǎn)客戶(hù)進(jìn)行長(zhǎng)期跟蹤（比如兩年），從而積累足夠的評(píng)分樣本。

___________________________________________________________________________________

2. 太關(guān)注訓(xùn)練（Focus on Training）

IDMer：就象體育訓(xùn)練中越來(lái)越注重實(shí)戰(zhàn)訓(xùn)練，因?yàn)閱渭兊姆忾]式訓(xùn)練常常會(huì)訓(xùn)練時(shí)狀態(tài)神勇，比賽時(shí)一塌糊涂。

實(shí)際上，只有樣本外數(shù)據(jù)上的模型評(píng)分結(jié)果才真正有用?。ǚ駝t的話(huà)，直接用參照表好了?。?br /> 例如：

• 癌癥檢測(cè)（Cancer detection）：MD Anderson的醫(yī)生和研究人員（1993）使用神經(jīng)網(wǎng)絡(luò)來(lái)進(jìn)行癌癥檢測(cè)，驚奇地發(fā)現(xiàn)，訓(xùn)練時(shí)間越長(zhǎng)（從幾天延長(zhǎng)至數(shù)周），對(duì)訓(xùn)練集的性能改善非常輕微，但在測(cè)試集上的性能卻明顯下降。
• 機(jī)器學(xué)習(xí)或計(jì)算機(jī)科學(xué)研究者常常試圖讓模型在已知數(shù)據(jù)上表現(xiàn)最優(yōu)，這樣做的結(jié)果通常會(huì)導(dǎo)致過(guò)度擬合（overfit）。

解決方法：

解決這個(gè)問(wèn)題的典型方法是重抽樣（Re-Sampling）。重抽樣技術(shù)包括：bootstrap、cross-validation、jackknife、leave-one-out…等等。

___________________________________________________________________________________

3. 只依賴(lài)一項(xiàng)技術(shù)（Rely on One Technique）

IDMer：這個(gè)錯(cuò)誤和第10種錯(cuò)誤有相通之處，請(qǐng)同時(shí)參照其解決方法。沒(méi)有對(duì)比也就沒(méi)有所謂的好壞，辯證法的思想在此體現(xiàn)無(wú)遺。

“當(dāng)小孩子手拿一把錘子時(shí)，整個(gè)世界看起來(lái)就是一枚釘子?！币胱尮ぷ鞅M善盡美，就需要一套完整的工具箱。

不要簡(jiǎn)單地信賴(lài)你用單個(gè)方法分析的結(jié)果，至少要和傳統(tǒng)方法（比如線(xiàn)性回歸或線(xiàn)性判別分析）做個(gè)比較。

研究結(jié)果：按照《神經(jīng)網(wǎng)絡(luò)》期刊的統(tǒng)計(jì)，在過(guò)去3年來(lái)，只有1/6的文章中做到了上述兩點(diǎn)。也就是說(shuō)，在獨(dú)立于訓(xùn)練樣本之外的測(cè)試集上進(jìn)行了開(kāi)集測(cè)試，并與其它廣泛采用的方法進(jìn)行了對(duì)比。

解決方法：

使用一系列好的工具和方法。（每種工具或方法可能最多帶來(lái)5%~10%的改進(jìn)）。

___________________________________________________________________________________

4. 提錯(cuò)了問(wèn)題（Ask the Wrong Question）

IDMer：一般在分類(lèi)算法中都會(huì)給出分類(lèi)精度作為衡量模型好壞的標(biāo)準(zhǔn)，但在實(shí)際項(xiàng)目中我們卻幾乎不看這個(gè)指標(biāo)。為什么？因?yàn)槟遣皇俏覀冴P(guān)注的目標(biāo)。

• 項(xiàng)目的目標(biāo)：一定要鎖定正確的目標(biāo)

例如：

欺詐偵測(cè)（關(guān)注的是正例！）（Shannon實(shí)驗(yàn)室在國(guó)際長(zhǎng)途電話(huà)上的分析）：不要試圖在一般的通話(huà)中把欺詐和非欺詐行為分類(lèi)出來(lái)，重點(diǎn)應(yīng)放在如何描述正常通話(huà)的特征，然后據(jù)此發(fā)現(xiàn)異常通話(huà)行為。

• 模型的目標(biāo)：讓計(jì)算機(jī)去做你希望它做的事

大多數(shù)研究人員會(huì)沉迷于模型的收斂性來(lái)盡量降低誤差，這樣讓他們可以獲得數(shù)學(xué)上的美感。但更應(yīng)該讓計(jì)算機(jī)做的事情應(yīng)該是如何改善業(yè)務(wù)，而不是僅僅側(cè)重模型計(jì)算上的精度。

___________________________________________________________________________________

5. 只靠數(shù)據(jù)來(lái)說(shuō)話(huà)（Listen (only) to the Data）

IDMer：“讓數(shù)據(jù)說(shuō)話(huà)”沒(méi)有錯(cuò)，關(guān)鍵是還要記得另一句話(huà)：兼聽(tīng)則明，偏聽(tīng)則暗！如果數(shù)據(jù)＋工具就可以解決問(wèn)題的話(huà)，還要人做什么呢？

• 投機(jī)取巧的數(shù)據(jù)：數(shù)據(jù)本身只能幫助分析人員找到什么是顯著的結(jié)果，但它并不能告訴你結(jié)果是對(duì)還是錯(cuò)。
• 經(jīng)過(guò)設(shè)計(jì)的實(shí)驗(yàn)：某些實(shí)驗(yàn)設(shè)計(jì)中摻雜了人為的成分，這樣的實(shí)驗(yàn)結(jié)果也常常不可信。

___________________________________________________________________________________

6. 使用了未來(lái)的信息（Accept Leaks from the Future）

IDMer：看似不可能，卻是實(shí)際中很容易犯的錯(cuò)誤，特別是你面對(duì)成千上萬(wàn)個(gè)變量的時(shí)候。認(rèn)真、仔細(xì)、有條理是數(shù)據(jù)挖掘人員的基本要求。

• 預(yù)報(bào)（Forecast）示例：預(yù)報(bào)芝加哥銀行在某天的利率，使用神經(jīng)網(wǎng)絡(luò)建模，模型的準(zhǔn)確率達(dá)到95%。但在模型中卻使用了該天的利率作為輸入變量。
• 金融業(yè)中的預(yù)報(bào)示例：使用3日的移動(dòng)平均來(lái)預(yù)報(bào)，但卻把移動(dòng)平均的中點(diǎn)設(shè)在今天。

解決方法：

要仔細(xì)查看那些讓結(jié)果表現(xiàn)得異常好的變量，這些變量有可能是不應(yīng)該使用，或者不應(yīng)該直接使用的。

給數(shù)據(jù)加上時(shí)間戳，避免被誤用。

___________________________________________________________________________________

7. 拋棄了不該忽略的案例（Discount Pesky Cases）

IDMer：到底是“寧為雞頭，不為鳳尾”，還是“大隱隱于市，小隱隱于野”？不同的人生態(tài)度可以有同樣精彩的人生，不同的數(shù)據(jù)也可能蘊(yùn)含同樣重要的價(jià)值。

異常值可能會(huì)導(dǎo)致錯(cuò)誤的結(jié)果（比如價(jià)格中的小數(shù)點(diǎn)標(biāo)錯(cuò)了），但也可能是問(wèn)題的答案（比如臭氧洞）。所以需要仔細(xì)檢查這些異常。

研究中最讓激動(dòng)的話(huà)語(yǔ)不是“啊哈！”，而是“這就有點(diǎn)奇怪了……”

數(shù)據(jù)中的不一致性有可能會(huì)是解決問(wèn)題的線(xiàn)索，深挖下去也許可以解決一個(gè)大的業(yè)務(wù)問(wèn)題。

例如：

在直郵營(yíng)銷(xiāo)中，在對(duì)家庭地址的合并和清洗過(guò)程中發(fā)現(xiàn)的數(shù)據(jù)不一致，反而可能是新的營(yíng)銷(xiāo)機(jī)會(huì)。

解決方法：

可視化可以幫助你分析大量的假設(shè)是否成立。

___________________________________________________________________________________

8. 輕信預(yù)測(cè)（Extrapolate）

IDMer：依然是辯證法中的觀(guān)點(diǎn)，事物都是不斷發(fā)展變化的。
人們常常在經(jīng)驗(yàn)不多的時(shí)候輕易得出一些結(jié)論。

即便發(fā)現(xiàn)了一些反例，人們也不太愿意放棄原先的想法。

維度咒語(yǔ)：在低維度上的直覺(jué)，放在高維度空間中，常常是毫無(wú)意義的。

解決方法：

進(jìn)化論。沒(méi)有正確的結(jié)論，只有越來(lái)越準(zhǔn)確的結(jié)論。

___________________________________________________________________________________

9. 試圖回答所有問(wèn)題（Answer Every Inquiry）

IDMer：有點(diǎn)像我爬山時(shí)鼓勵(lì)自己的一句話(huà)“我不知道什么時(shí)候能登上山峰，但我知道爬一步就離終點(diǎn)近一步?！?/p>

“不知道”是一種有意義的模型結(jié)果。

模型也許無(wú)法100%準(zhǔn)確回答問(wèn)題，但至少可以幫我們估計(jì)出現(xiàn)某種結(jié)果的可能性。

___________________________________________________________________________________

10. 隨便地進(jìn)行抽樣（Sample Casually）

• 降低抽樣水平。例如，MD直郵公司進(jìn)行響應(yīng)預(yù)測(cè)分析，但發(fā)現(xiàn)數(shù)據(jù)集中的不響應(yīng)客戶(hù)占比太高（總共一百萬(wàn)直郵客戶(hù)，其中超過(guò)99%的人未對(duì)營(yíng)銷(xiāo)做出響應(yīng)）。于是建模人員做了如下抽樣：把所有響應(yīng)者放入樣本集，然后在所有不響應(yīng)者中進(jìn)行系統(tǒng)抽樣，即每隔10人抽一個(gè)放入樣本集，直到樣本集達(dá)到10萬(wàn)人。但模型居然得出如下規(guī)則：凡是居住在Ketchikan、Wrangell和Ward Cove Alaska的人都會(huì)響應(yīng)營(yíng)銷(xiāo)。這顯然是有問(wèn)題的結(jié)論。（問(wèn)題就出在這種抽樣方法上，因?yàn)樵紨?shù)據(jù)集已經(jīng)按照郵政編碼排序，上面這三個(gè)地區(qū)中不響應(yīng)者未能被抽取到樣本集中，故此得出了這種結(jié)論）。

解決方法：“喝前搖一搖！”先打亂原始數(shù)據(jù)集中的順序，從而保證抽樣的隨機(jī)性。

• ?提高抽樣水平。例如，在信用評(píng)分中，因?yàn)檫`約客戶(hù)的占比一般都非常低，所以在建模時(shí)常常會(huì)人為調(diào)高違約客戶(hù)的占比（比如把這些違約客戶(hù)的權(quán)重提高5倍）。建模中發(fā)現(xiàn)，隨著模型越來(lái)越復(fù)雜，判別違約客戶(hù)的準(zhǔn)確率也越來(lái)越高，但對(duì)正?？蛻?hù)的誤判率也隨之升高。（問(wèn)題出在數(shù)據(jù)集的劃分上。在把原始數(shù)據(jù)集劃分為訓(xùn)練集和測(cè)試集時(shí)，原始數(shù)據(jù)集中違約客戶(hù)的權(quán)重已經(jīng)被提高過(guò)了）

解決方法：先進(jìn)行數(shù)據(jù)集劃分，然后再提高訓(xùn)練集中違約客戶(hù)的權(quán)重。

___________________________________________________________________________________

11. 太相信最佳模型（Believe the Best Model）

IDMer：還是那句老話(huà)－“沒(méi)有最好，只有更好！”

可解釋性并不一定總是必要的?？雌饋?lái)并不完全正確或者可以解釋的模型，有時(shí)也會(huì)有用。

“最佳”模型中使用的一些變量，會(huì)分散人們太多的注意力。（不可解釋性有時(shí)也是一個(gè)優(yōu)點(diǎn)）

一般來(lái)說(shuō)，很多變量看起來(lái)彼此都很相似，而最佳模型的結(jié)構(gòu)看上去也千差萬(wàn)別，無(wú)跡可循。但需注意的是，結(jié)構(gòu)上相似并不意味著功能上也相似。

解決方法：把多個(gè)模型集裝起來(lái)可能會(huì)帶來(lái)更好更穩(wěn)定的結(jié)果。

數(shù)據(jù)挖掘最重要的要素是分析人員的相關(guān)業(yè)務(wù)知識(shí)和思維模式。豐富的業(yè)務(wù)知識(shí)是設(shè)計(jì)有效的相關(guān)變量的必要條件，而分析人員的思維模式從另外一個(gè)方面也保障了設(shè)計(jì)變量的結(jié)構(gòu)化和完整性。所以我們?cè)谡莆肇S富的業(yè)務(wù)知識(shí)同時(shí)，如果能夠按照正確的思維模式去思考問(wèn)題，將會(huì)發(fā)現(xiàn)解決問(wèn)題并不是很困難的。

via：中國(guó)統(tǒng)計(jì)網(wǎng)