警惕!數(shù)據(jù)分析的陷阱?

0 評(píng)論 6539 瀏覽 21 收藏 16 分鐘

編輯導(dǎo)讀:很多數(shù)據(jù)分析人員在工作中,過度關(guān)注數(shù)據(jù)或者分析方法,容易忽視一些“陷阱”,以致于得出的結(jié)果很可能出現(xiàn)偏差。本文作者將從業(yè)務(wù)層面的視角,來探討和梳理在數(shù)據(jù)分析過程中幾個(gè)可能常見“陷阱”,希望對(duì)你有幫助。

我們上篇內(nèi)容,給大家梳理了數(shù)據(jù)分析的一些榮耀和驕傲?xí)r刻,包括數(shù)據(jù)分析的重要性、數(shù)據(jù)分析產(chǎn)出價(jià)值、數(shù)據(jù)分析經(jīng)典案例匯總。相信大家對(duì)“數(shù)據(jù)分析”的價(jià)值以及重要性有了相應(yīng)的、立體的、全面的認(rèn)知和自己的感悟思考。(詳情請(qǐng)看:數(shù)據(jù)分析的榮耀與驕傲)然而,我們?cè)谌粘9ぷ髦校阋欢犨^運(yùn)營(yíng)或者產(chǎn)品等人員會(huì)說“要拿數(shù)據(jù)說話”“用要數(shù)據(jù)來講故事”等等的話語??梢姅?shù)據(jù)越來越受我們每個(gè)企業(yè)或者業(yè)務(wù)線人員的重視,也成為我們?cè)趯?shí)際工作的最為重要的參考以及決策支持。

但此時(shí),很多的數(shù)據(jù)分析人員往往太過于去關(guān)注數(shù)據(jù)或者分析方法論等,尤其是對(duì)于剛?cè)腴T的,在解讀數(shù)據(jù)過程中,受到數(shù)據(jù)來源、采集方法、統(tǒng)計(jì)口徑、分析方法、業(yè)務(wù)經(jīng)驗(yàn)、思考方式等因素影響,就會(huì)出現(xiàn)一些容易忽視的“陷阱”,以致于得出的結(jié)果很可能出現(xiàn)偏差。所以,重視數(shù)據(jù)分析是好的,但也千萬不能掉進(jìn)數(shù)據(jù)分析的“陷阱”里。

那么,本文我們將從業(yè)務(wù)層面的視角,來探討和梳理在數(shù)據(jù)分析過程中幾個(gè)可能常見“陷阱”,目的是主要給剛?cè)腴T的、產(chǎn)品、運(yùn)營(yíng)等提供一些有益經(jīng)驗(yàn)分享,幫助大家在實(shí)際工作場(chǎng)景中遇到這些情況的時(shí)候,可以盡量規(guī)避一些不太注意的“陷阱”。

一、不了解數(shù)據(jù)來源,不確保數(shù)據(jù)的正確性

在數(shù)據(jù)分析中更注重的是分析,而并不是數(shù)據(jù)本身,這就造成了數(shù)據(jù)分析最大的陷阱:不了解數(shù)據(jù)來源,不確保數(shù)據(jù)的正確性,就開始分析了。因此,數(shù)據(jù)分析的第一步就是了解數(shù)據(jù)來源,確保數(shù)據(jù)準(zhǔn)確性。

比如,一個(gè)考勤軟件的App在做渠道投放,上線了新版的落地頁。上線了一段時(shí)間數(shù)據(jù)穩(wěn)定后,業(yè)務(wù)人員從數(shù)據(jù)發(fā)現(xiàn),此某個(gè)渠道的落地頁點(diǎn)擊率、轉(zhuǎn)化率等數(shù)據(jù)相比其他渠道的投放的效果高出很多,從數(shù)據(jù)中,可以看到說明這個(gè)渠道來的用戶效果很好,以后就要加大這個(gè)渠道的投放。然而,突然接到技術(shù)人員的反饋,在數(shù)據(jù)埋點(diǎn)的時(shí)候不小心埋錯(cuò)了,導(dǎo)致統(tǒng)計(jì)數(shù)據(jù)出現(xiàn)問題,這個(gè)渠道的數(shù)據(jù)是其他兩個(gè)渠道總和!

因?yàn)殄e(cuò)誤的數(shù)據(jù),得出了錯(cuò)誤的分析結(jié)果,并且還做了后續(xù)錯(cuò)誤決策。由此可見,有效數(shù)據(jù)分析的前提,是對(duì)正確的數(shù)據(jù)做分析。尤其是在小公司的人員,沒有強(qiáng)大的數(shù)據(jù)團(tuán)隊(duì),可能就會(huì)借用各種各種第三方的統(tǒng)計(jì)軟件來做數(shù)據(jù)埋點(diǎn),此時(shí)首要確認(rèn)數(shù)據(jù)的正確性,去梳理數(shù)據(jù)來源。

二、需求不匹配,分析目的不明確

梳理了數(shù)據(jù)來源,確保數(shù)據(jù)的準(zhǔn)確性,是前提。那么接下來就是需要明確分析目的,分析目的明確了,后面的各種統(tǒng)計(jì)數(shù)據(jù)和分析方法以及分析結(jié)果才有意義。當(dāng)明確目的后,才有后續(xù)的分析思路。

比如,一個(gè)考勤軟件的App的業(yè)務(wù)人員提出轉(zhuǎn)化率較低,是否有優(yōu)化的空間的需求。然而我們并沒有進(jìn)一步的確認(rèn)是哪個(gè)環(huán)節(jié)轉(zhuǎn)化率低,就開始直接拉取數(shù)據(jù)進(jìn)行分析,其實(shí)業(yè)務(wù)人員說的是新用戶會(huì)員成單的轉(zhuǎn)化率,是不是來源不精準(zhǔn),能否優(yōu)化渠道或者停止投放,而我們得到的需求不明確,溝通的時(shí)候也未能進(jìn)一步的明確分析目的,就是直接拉取各個(gè)環(huán)節(jié)的轉(zhuǎn)化率,導(dǎo)致拉取的數(shù)據(jù)與原始問題不匹配。

因此,根據(jù)業(yè)務(wù)方的需求,首先要明確為什么要做數(shù)據(jù)分析,要解決什么問題,也就是分析的目的。然后針對(duì)分析目的,搭建分析框架,選擇分析方法和具體分析指標(biāo),以及明確抽取哪些數(shù)據(jù),用到哪些圖表等分析思路,只有對(duì)分析目的有清晰的認(rèn)識(shí),才會(huì)避開為分析而分析的誤區(qū),分析的結(jié)果和過程就越有價(jià)值。

三、未清理數(shù)據(jù),數(shù)據(jù)采集出現(xiàn)偏差

在了解數(shù)據(jù)來源、確保了準(zhǔn)確性、明確分析需求后,下一步就是數(shù)據(jù)采集和數(shù)據(jù)清洗了,這也是最容易出問題的環(huán)節(jié),有些問題甚至非常隱蔽難以發(fā)現(xiàn)。因此,數(shù)據(jù)本身沒有觀點(diǎn),分析時(shí)不能預(yù)設(shè)觀點(diǎn),只傾向于那些能夠支持自己的觀點(diǎn)的數(shù)據(jù),并在數(shù)據(jù)清洗中,合理的識(shí)別數(shù)據(jù)容量大小、剔除臟數(shù)據(jù)。

注意選擇性偏見或者幸存者偏見。總體樣本中,任意一個(gè)群體樣本的平均值,都會(huì)圍繞在這個(gè)群體的整體平均值周圍。基于這個(gè)原理,我們便可以采用隨機(jī)抽樣的方式來對(duì)整體樣本中的一個(gè)小群體進(jìn)行分析,得出的結(jié)論是會(huì)比較接近真實(shí)情況的。但是你采集數(shù)據(jù)的過程是否是真的隨機(jī)。

比如,在一個(gè)考勤軟件APP應(yīng)用升級(jí)期間,通過衡量用戶的日活、留存率、活躍企業(yè)數(shù)等指標(biāo),來判斷用戶對(duì)新版本的喜歡是否優(yōu)于老版本。但這里實(shí)際就隱藏了選擇性偏見,因?yàn)樾掳姹景l(fā)布時(shí),第一批升級(jí)上來的用戶往往就是最活躍的用戶。這批用戶在這些指標(biāo)上,本來表現(xiàn)就是優(yōu)于一般用戶的,因此指標(biāo)數(shù)據(jù)更高并不能說明更好。

注意數(shù)據(jù)樣本容量不夠。我們?cè)诜治瞿程囟ǖ挠脩粜袨閿?shù)據(jù)時(shí),可能用戶使用很少的情況?;蛘呤窃谔崛?shù)據(jù)的過程中,增加了很多的限制條件或者多種用戶行為或?qū)傩赃M(jìn)行交叉后,得到很少的用戶樣本。此時(shí),得出的分析結(jié)果未必可信。因?yàn)榇髷?shù)定律,只有當(dāng)數(shù)據(jù)量達(dá)到一定程度后,才能反映出特定的規(guī)律。但是樣本容量多少才算合理,通常只能是具體問題具體分析。

比如,在一個(gè)考勤軟件APP應(yīng)用新上了學(xué)習(xí)打卡的新功能,但由于前期無預(yù)算做推廣,導(dǎo)致新功能只有在小部分老用戶群體中曝光,因此,從數(shù)據(jù)中來判斷此功能并不受歡迎。但這里實(shí)際就存在數(shù)據(jù)樣本容量不夠,并不能說明問題。因此,遇到這種情況,建議可以把時(shí)間線拉長(zhǎng),這樣可能會(huì)獲得足量的樣本。還有一種做法是,將不重要的限定條件去掉,也可以增大樣本數(shù)。

注意存在臟數(shù)據(jù)。臟數(shù)據(jù)是指嚴(yán)重不合理或?qū)τ趯?shí)際業(yè)務(wù)毫無意義的數(shù)據(jù),通常是由程序bug、第三方攻擊、人為等原因造成的。這種數(shù)據(jù)對(duì)指標(biāo)的準(zhǔn)確度影響較大。

比如,我們要分析在一個(gè)考勤軟件APP中各個(gè)企業(yè)類型打卡規(guī)則的分布情況,而用于分析用戶打卡視角中,有較多是個(gè)人打卡并不是我們要分析的目標(biāo)群體或者有人的工種的特殊性,就會(huì)造成打卡規(guī)則的分布不規(guī)則的情況,容易造成對(duì)用戶喜好的誤判。因此,對(duì)臟數(shù)據(jù)的清洗和處理,也是數(shù)據(jù)分析人員日常工作中非常重要的一部分。在分析具體業(yè)務(wù)時(shí),也要針對(duì)特定業(yè)務(wù),過濾掉異常數(shù)據(jù),來確保擁有比較好的數(shù)據(jù)質(zhì)量。

四、指標(biāo)不合理,數(shù)據(jù)具備時(shí)效性

清洗完數(shù)據(jù)后,下一步就需要明確分析的數(shù)據(jù)指標(biāo),進(jìn)行數(shù)據(jù)分析,其數(shù)據(jù)分析的結(jié)果通常是各種各樣的指標(biāo),每個(gè)指標(biāo)都有自己的統(tǒng)計(jì)邏輯,反映的事物的某些方面的本質(zhì)。

比如,很多時(shí)候我們會(huì)使用平均值來描述一組數(shù)據(jù)的集中趨勢(shì)。我們?cè)谥贫I(yè)務(wù)閾值時(shí),也經(jīng)常會(huì)參考平均值。但是,有些業(yè)務(wù)場(chǎng)景不適合使用平均值。就像變化比較大,存在極端值的數(shù)據(jù),或者是對(duì)最終結(jié)果影響不一致的數(shù)據(jù)。這種時(shí)候,你就要考慮其他指標(biāo),如加權(quán)平均值、百分位數(shù)、小數(shù)值合并后再求平均值。

因此,在進(jìn)行數(shù)據(jù)分析時(shí),如果不能選擇正確的指標(biāo),也可能會(huì)走入誤區(qū),從而得出錯(cuò)誤的結(jié)論。數(shù)據(jù)是具備一定的時(shí)效性,不同情況下的數(shù)據(jù),一些曾經(jīng)的數(shù)據(jù)可能不再適用,需要找到新的數(shù)據(jù)指標(biāo)。

五、套用方法論,分析結(jié)論不嚴(yán)謹(jǐn)

明確好數(shù)據(jù)分析指標(biāo),接下來就是通過各種數(shù)據(jù)分析方法來分析數(shù)據(jù),得出結(jié)論,支持業(yè)務(wù)決策。數(shù)據(jù)分析方法論是對(duì)一個(gè)數(shù)據(jù)分析項(xiàng)目的整體工作起到指導(dǎo)作用的思路模型。然而,在數(shù)據(jù)分析學(xué)習(xí)時(shí)或許習(xí)慣了各種解題套路,但實(shí)操時(shí)其實(shí)并不存在通用的分析套路。不同的行業(yè)、不同的業(yè)務(wù),不同的階段,哪怕用的是同一種分析方法結(jié)論都應(yīng)有所區(qū)別。

比如,在實(shí)際工作場(chǎng)景中,數(shù)據(jù)分析需要對(duì)數(shù)據(jù)表現(xiàn)作出快速判斷,進(jìn)而指導(dǎo)運(yùn)營(yíng)決策,并不像學(xué)術(shù)研究那樣嚴(yán)謹(jǐn),不需要在每次分析前都去驗(yàn)證樣本群體是否符合某種統(tǒng)計(jì)分布等,實(shí)際工作中,考驗(yàn)得更多的是對(duì)業(yè)務(wù)的理解的把握能力。所以,在開展數(shù)據(jù)分析工作過程中,不能完全依賴過往的類似案例以及分析方法,而應(yīng)重視業(yè)務(wù)的理解。

因此,每一次分析,應(yīng)該結(jié)合業(yè)務(wù)場(chǎng)景中思考,更不能被各種套路方法論給束縛住,也不能簡(jiǎn)單依賴過往的類似案例。

六、輕視業(yè)務(wù),與實(shí)際場(chǎng)景脫節(jié)

數(shù)據(jù)不等同與實(shí)際場(chǎng)景,實(shí)際場(chǎng)景往往比數(shù)據(jù)更加復(fù)雜,分析時(shí)需要了解具象化的場(chǎng)景,而不是抽象的數(shù)據(jù),數(shù)據(jù)分析初學(xué)者極易犯的錯(cuò)誤,只懂工具不懂業(yè)務(wù)不能真正理解業(yè)務(wù)需求。好的分析人員需要既懂工具又懂業(yè)務(wù),也要多去一線了解業(yè)務(wù)運(yùn)作,幫助解決業(yè)務(wù)運(yùn)營(yíng)中遇到的各種問題。

比如,結(jié)構(gòu)化思維模型、KANO分析模型、RFM模型、四象限模型……這些經(jīng)典且廣泛應(yīng)用的模型。來積累豐富的數(shù)據(jù)分析模型庫以應(yīng)對(duì)各種業(yè)務(wù)場(chǎng)景。

因此,數(shù)據(jù)分析人員結(jié)合實(shí)際業(yè)務(wù)場(chǎng)景,需要具體問題具體分析,服務(wù)于業(yè)務(wù)的應(yīng)用。及時(shí)與企業(yè)各部門溝通,共享數(shù)據(jù)分析的成果,這樣才能體現(xiàn)數(shù)據(jù)分析的真正價(jià)值。所以作為數(shù)據(jù)分析人員,要結(jié)合業(yè)務(wù)需求,保持獨(dú)立思考的心態(tài),大膽假設(shè),小心求證,警惕和避免走進(jìn)數(shù)據(jù)分析的陷阱。

七、總結(jié)

實(shí)際工作生活中,還有很多需要我們注意的關(guān)于數(shù)據(jù)分析的事項(xiàng),這里就不一一開展,本文只是從業(yè)務(wù)層面的視角梳理了關(guān)于數(shù)據(jù)分析各個(gè)環(huán)節(jié)中可能存在的引發(fā)誤導(dǎo)的一些陷阱。

數(shù)據(jù)分析的常見陷阱:

  • 不了解數(shù)據(jù)來源,不確保數(shù)據(jù)正確性
  • 需求不匹配,分析目的不明確
  • 未清理數(shù)據(jù),數(shù)據(jù)采集出現(xiàn)偏差
  • 指標(biāo)不合理,數(shù)據(jù)具備時(shí)效性
  • 套用方法論,分析結(jié)論不嚴(yán)謹(jǐn)
  • 輕視業(yè)務(wù),與實(shí)際場(chǎng)景脫

總之,我們需要逐步積累經(jīng)驗(yàn),有效地利用數(shù)據(jù),避開以上數(shù)據(jù)分析“陷阱”,就會(huì)分析的越來越準(zhǔn)確。需要我們注意的是:以往成熟的分析方法論以及經(jīng)驗(yàn)固然實(shí)用,但隨著大數(shù)據(jù)時(shí)代和5G的到來,企業(yè)的數(shù)據(jù)體量不斷擴(kuò)大,業(yè)務(wù)需求不斷變化數(shù)據(jù)分析的環(huán)境也不斷變化,要實(shí)時(shí)更新知識(shí)和工具庫也要警惕和避免踩中上面這些數(shù)據(jù)分析的陷阱,尤其是對(duì)剛?cè)腴T的。

#專欄作家#

木兮擎天@,微信公眾號(hào):木木自由,人人都是產(chǎn)品經(jīng)理專欄作家。多年互聯(lián)網(wǎng)數(shù)據(jù)運(yùn)營(yíng)經(jīng)驗(yàn),涉獵運(yùn)營(yíng)領(lǐng)域較廣,關(guān)注于運(yùn)營(yíng)、數(shù)據(jù)分析的實(shí)戰(zhàn)案例與經(jīng)驗(yàn)以及方法論的總結(jié),探索運(yùn)營(yíng)與數(shù)據(jù)的神奇奧秘!

本文原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載

題圖來自u(píng)nsplash,基于CC0協(xié)議

更多精彩內(nèi)容,請(qǐng)關(guān)注人人都是產(chǎn)品經(jīng)理微信公眾號(hào)或下載App
評(píng)論
評(píng)論請(qǐng)登錄
  1. 目前還沒評(píng)論,等你發(fā)揮!