防忽悠指南!數(shù)據(jù)造假的九個方法
做數(shù)據(jù)分析的時候,有數(shù)據(jù)可以做分析,但要如何確保數(shù)據(jù)是真實(shí)有效的呢?本文總結(jié)了九個防止數(shù)據(jù)造假的方法,希望對您有所啟發(fā)。
做數(shù)據(jù)分析,有數(shù)據(jù)才能分析如果數(shù)據(jù)是不真實(shí)的呢?如果數(shù)據(jù)是人為扭曲的呢?如果數(shù)據(jù)被人為扭曲,還要求你接受呢??今天我們就來討論這個話題。
以下是最常見的九大手段,大家先牢記于心。你將會在年終總結(jié)、年度規(guī)劃、活動評估等場合遇到它們。提前了解,也好早早應(yīng)對。
段位一:虛報數(shù)據(jù)
業(yè)務(wù)方故意虛報、謊報、不報數(shù)據(jù),導(dǎo)致基礎(chǔ)數(shù)據(jù)缺失,錯誤頻發(fā)。這種情況在用紙質(zhì)單張的年代很常見。不過隨著數(shù)據(jù)系統(tǒng)的普及,此問題已經(jīng)越來越少。
如果現(xiàn)在還有使用紙質(zhì)單張的場景,比如用戶紙質(zhì)申請表、調(diào)查問卷等,此問題依然會存在。解決方案也很簡單:上微信卡包呀!啥年代了注冊個會員還寫紙質(zhì)單。
段位二:人為改數(shù)
參見:?
系統(tǒng)是死的,可人是活的。想解決,只能加強(qiáng)考核,對違規(guī)操作的人嚴(yán)懲不貸。這些操作的規(guī)律性很強(qiáng),且和具體人的行為高度綁定,通過分析是可以識別的。
段位三:修改口徑
數(shù)據(jù)不好看了,怎么辦?直接改統(tǒng)計口徑!本質(zhì)上講,數(shù)據(jù)指標(biāo)是為了計算方便而設(shè)的,作為使用方業(yè)務(wù)方想咋改就咋改。但是因?yàn)楦膭涌趶?,?dǎo)致前后數(shù)據(jù)不一致,就是大問題。
只改統(tǒng)計口徑、不改指標(biāo)名字,更是魚目混珠的大問題。所以改口徑可以,把過往數(shù)據(jù)報告,按新口徑一口氣刷了才成。
段位四:控制節(jié)奏
參考:?
注意,和段位2不同,段位2是偽造數(shù)據(jù)欺騙公司,性質(zhì)惡劣。段位4本質(zhì)上沒有偽造數(shù)據(jù),而是利用了銷售、運(yùn)營、獎勵的規(guī)則,謀取個人利益最大化而已。
實(shí)際上,是個人都會這么干,這屬于業(yè)務(wù)潛規(guī)則。我們常說“水至清則無魚”,你不可能要求一個人不為自己著想。如果真的管得太死,一線業(yè)務(wù)絕對會跳槽跑路。
作為數(shù)據(jù)分析,需要有能力識別這些具體問題,把它們控制在可接受的范圍內(nèi)。如果問題太過泛濫,再看如何推動制度層面優(yōu)化調(diào)整(如下圖所示)。
注意,從這個問題開始,我們進(jìn)入中級難度,因?yàn)楹筮叺膯栴},對數(shù)據(jù)分析師個人的分析能力要求會越來越高。就比如區(qū)分哪些是合理潛規(guī)則,哪些是惡意改數(shù),是需要一定分析經(jīng)驗(yàn)積累的。
段位五:亂帶節(jié)奏
做數(shù)據(jù)分析時你一定經(jīng)常聽這種問題:
- “最近活躍率下降了?分析下原因”
- “最近銷售表現(xiàn)不如人意,?分析下原因”
- “為什么我們的產(chǎn)品那么差?”?
然而你辛辛苦苦扒了一堆數(shù)據(jù),發(fā)現(xiàn):沒啥毛病?。抗?,你中了亂帶節(jié)奏的全套。業(yè)務(wù)口中的“下降”“不好”“不滿意”很有可能是個偽命題!
注意,業(yè)務(wù)方在不經(jīng)意間扭曲數(shù)據(jù)判斷,很多數(shù)據(jù)分析新人會直接一腳踩進(jìn)去。很多新人做分析,不是先問是不是,而是直接研究為什么。按用戶群、注冊時間、產(chǎn)品類型等把數(shù)據(jù)拆得七零八落,最后屁都解讀不出來。過兩天回來一看,人家問題已經(jīng)不存在了。
應(yīng)對此類問題,切記:
遇到“大小、多少、高低、快慢、好壞”先問標(biāo)準(zhǔn)。
聽到具體問題,先問怎么知道這個問題的。
聽到人議論數(shù)據(jù),先問原始數(shù)據(jù)源。?然而,難就難在,這三個“先問”是違背人本能的。聽風(fēng)就是雨才是人們最習(xí)慣的思考模式,所以這個看似簡單的三個問題,需要大量、反復(fù)、強(qiáng)化訓(xùn)練才能習(xí)得,不然就經(jīng)常被繞進(jìn)去。
段位六:滿意度
此處滿意度,指的是那些業(yè)務(wù)部門口頭高掛,卻很難用系統(tǒng)直接記錄數(shù)據(jù)的指標(biāo)。類似的有滿意度、品牌影響力、產(chǎn)品力、行業(yè)地位、NPS等等玩意。因?yàn)槿鄙僦苯佑涗洠詴l(fā)很多幺蛾子。
段位七:自然增長率
最后想操縱數(shù)據(jù),只要不停地改“自然增長率”數(shù)據(jù)就好了,實(shí)在不行了還能把丫改成負(fù)數(shù)嘛(如下圖)。
應(yīng)對這種辦法,最好的手段就是:不理他?;顒訉?shí)際參與量是很容易算清楚的,如果要定自然增長率,可以事先說好,免得事后啰嗦。
段位八:參照組
參照組和自然增長率是一對難兄難弟。都很容易被人立著“科學(xué)評估”的牌坊,實(shí)際上隨意更換,改改改,改到業(yè)務(wù)滿意為止。
如果業(yè)務(wù)方想糾結(jié),他會一直說你設(shè)置的參照組不科學(xué),樣本都是特例,不夠隨機(jī),不具有代表性。
實(shí)際上,只要不是全量統(tǒng)計,就永遠(yuǎn)能扣一個“不科學(xué)、不隨機(jī)、不代表”的帽子(你真全量統(tǒng)計,他們又說:沒有剔除自然增長,啦啦啦啦,反正總有理)。
最好的應(yīng)對方法就是:不回應(yīng)。只要分組方法是事先說清的,出啥結(jié)果就認(rèn)啥結(jié)果,有啥好嘰嘰歪歪的。本身設(shè)參照組,只在做限定渠道精準(zhǔn)推送的時候才能用。
本身設(shè)參照組,只是ABtest一種檢驗(yàn)手段。本身Abtest,也只是檢驗(yàn)工具之一,不是權(quán)威法則。難道沒有ABtest業(yè)務(wù)部門就一點(diǎn)判斷能力都沒有了?你們的業(yè)務(wù)能力呢!要你們何用!好爽,終于能罵回去了!
段位九:綜合評估
評價一個問題,用單一指標(biāo)最清晰。然而人們偏偏喜歡用復(fù)合指標(biāo),以顯得“思考全面”。
指標(biāo)一多,勢必設(shè)計權(quán)重分配。于是騷操作來了,如果評價出來,某人對結(jié)果不滿意,便會祭出:“這個權(quán)重不合理,不能反映業(yè)務(wù)實(shí)際”的大旗,然后逼著你改。
最后結(jié)果,自然是讓人家心滿意足,才會說你分析深入合理。不然就繼續(xù)來糾結(jié)。?最過分的,我還見過業(yè)務(wù)方領(lǐng)導(dǎo)手寫了一個分公司評分排名,然后告訴我:你用大數(shù)據(jù)人工智能方法,把各個指標(biāo)綜合計算出這個排名,做得滴水不漏,明年合同還跟你簽……
此時能說什么,當(dāng)然是:好的。簽單要緊,科學(xué)性算個屁,不就是改權(quán)重嗎,搞得跟讀研的時候沒整過一樣。
?應(yīng)對方法:每一個指標(biāo)單獨(dú)評分多指標(biāo)的權(quán)重讓領(lǐng)導(dǎo)定放棄業(yè)務(wù)解釋度低的神經(jīng)網(wǎng)絡(luò)方法業(yè)務(wù)意見不一致,打完架告訴數(shù)據(jù)怎么定。
以上三個是高段位操縱數(shù)據(jù)的辦法。之所以段位高,是因?yàn)樽匀辉鲩L率,參照組,綜合評估本身就是數(shù)據(jù)分析常討論的話題。很多新入行沒吃過苦頭的數(shù)據(jù)分析師,自己都很愛倒騰這些東西,以為做得越復(fù)雜就越高級。
最后結(jié)果是,做得越復(fù)雜,業(yè)務(wù)含義越難講清楚,越是被業(yè)務(wù)方各種質(zhì)疑,最后被牽著鼻子走,變成:“結(jié)果對業(yè)務(wù)有利就是客觀全面,結(jié)果對業(yè)務(wù)不利就是缺少深入分析”,自討苦吃。?小結(jié)?我們會發(fā)現(xiàn):不同部門用的手段不一樣。
銷售、推廣、供應(yīng)鏈這些一線部門,數(shù)據(jù)本身就是他們工作的直接產(chǎn)物,因此最容易篡改數(shù)據(jù)源。運(yùn)營、策劃、產(chǎn)品等部門則最喜歡搞難以量化的指標(biāo),喜歡談“深遠(yuǎn)影響”,喜歡設(shè)一堆“自然增長率”“參照組用戶”然后剔除來剔除去,篡改的是基于數(shù)據(jù)的判斷。
為啥銷售、推廣、供應(yīng)鏈不折騰?因?yàn)槿思颐鎸Φ氖墙Y(jié)結(jié)實(shí)實(shí)的銷售收錢,推廣進(jìn)人、倉庫出貨的問題,一個人頭一分錢很清晰,沒得扯皮。但是像運(yùn)營、策劃、產(chǎn)品這些大家一起干一件事的時候,就總想突出自己的功勞。
于是便開始了無休止的扯。?“剔除自然增長,我的活動帶來多少效益”“剔除自然增長、活動拉動,我的產(chǎn)品改版帶來多少效益”“剔除自然增長,活動拉動,產(chǎn)品改版,我的文案帶來多少效益”……?如果一定要對比兩種危害,肯定是篡改數(shù)據(jù)源的危害更大。
如果數(shù)據(jù)是假的,那分析就無從談起了。篡改數(shù)據(jù)源背后,代表著公司管理混亂,渠道控制軟弱無力。有意思的是:總部的各職能部門都對這種軟弱無力深惡痛絕,所以在這個問題上,往往總部部門是槍口一致對外的。?但在數(shù)據(jù)判斷上,往往是亂自上做。
總部的運(yùn)營、產(chǎn)品、策劃們出于一己私利亂改標(biāo)準(zhǔn),對于實(shí)現(xiàn)真正的數(shù)據(jù)驅(qū)動是非常有害的。不敢面對事實(shí),拿數(shù)據(jù)粉飾太平,最后的結(jié)果就是業(yè)務(wù)部門自己越來越喪失判斷能力,又回到拍腦袋決策,拍屁股走人的原始狀態(tài),這是我們不希望看到的。
理想的狀態(tài),是數(shù)據(jù)源真實(shí)豐富,數(shù)據(jù)判斷簡單清晰,數(shù)據(jù)分析深入立體。把精力多放在找原因、做預(yù)測、測試效果上,這樣才能輸出更好的成果。
本文由人人都是產(chǎn)品經(jīng)理作者【接地氣的陳老師】,微信公眾號:【接地氣的陳老師】,原創(chuàng)/授權(quán) 發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)許可,禁止轉(zhuǎn)載。
題圖來自Unsplash,基于 CC0 協(xié)議。
真相是殘酷的,人們更喜歡接受對自己有利的事實(shí),不然怎么那么多美顏呢。最好的BI系統(tǒng)就是能自動數(shù)據(jù)美顏的系統(tǒng)!