你的“土著思維”,正在抹殺評(píng)估的科學(xué)性

1 評(píng)論 5096 瀏覽 8 收藏 12 分鐘

企業(yè)在數(shù)據(jù)驅(qū)動(dòng)分析過(guò)程中,不要做土著,警惕看似正確的事情,堅(jiān)持科學(xué)思維,隨時(shí)準(zhǔn)備被現(xiàn)實(shí)打臉,勇于承認(rèn)“我錯(cuò)了”。

在二戰(zhàn)期間,美軍在南太平洋的一個(gè)小島上造了一座空軍基地,當(dāng)?shù)赝林鴱臎](méi)見(jiàn)過(guò)這種高科技,只知道有很多只“大鳥(niǎo)”飛過(guò)天空,并空投玉米等糧食。戰(zhàn)爭(zhēng)結(jié)束后,飛機(jī)隨著軍隊(duì)的離開(kāi)被遺棄了。因?yàn)橥林鴤冊(cè)僖矝](méi)有見(jiàn)到空投的貨物,為吸引“大鳥(niǎo)”回來(lái),他們就按照族群里的先知所理解的,用木頭、樹(shù)葉搭了一個(gè)假機(jī)場(chǎng),甚至做了高塔、木頭對(duì)講機(jī)等,即使機(jī)場(chǎng)擬真度很高,但大鳥(niǎo)并沒(méi)有回來(lái)……

數(shù)據(jù)驅(qū)動(dòng)大行其道,在數(shù)據(jù)驅(qū)動(dòng)的踐行道路上,許多公司也像土著群體一樣,跟著牛X公司學(xué)習(xí)。為此構(gòu)建了復(fù)雜的數(shù)據(jù)系統(tǒng)、五花八門(mén)的指標(biāo)、成百上千的自動(dòng)報(bào)表。千方百計(jì)地朝著看似十分“正確”的事,卻始終無(wú)法“吸引大鳥(niǎo)”——實(shí)現(xiàn)數(shù)據(jù)驅(qū)動(dòng)。

在踐行數(shù)據(jù)驅(qū)動(dòng)的過(guò)程中,應(yīng)進(jìn)行反思,如“定義指標(biāo)有指導(dǎo)意義嗎?”、“報(bào)表有人看嗎?他們是如何使數(shù)據(jù)的?”等等。在實(shí)現(xiàn)數(shù)據(jù)驅(qū)動(dòng)的過(guò)程中,一切數(shù)據(jù)分析莫忘目標(biāo)是“吸引‘大鳥(niǎo)’,要糧食”。企業(yè)在追求“糧食”的過(guò)程中,“評(píng)估”是重要工作,是數(shù)據(jù)驅(qū)動(dòng)的聚焦點(diǎn)。

土著思維與科學(xué)思維下,如何吸引“大鳥(niǎo)”?

什么是評(píng)估?簡(jiǎn)言之,做了什么,結(jié)果如何?詳細(xì)地說(shuō),即針對(duì)業(yè)務(wù)的每個(gè)假設(shè)和決策,給予高效、客觀、全面的數(shù)據(jù)反饋,從而實(shí)現(xiàn)數(shù)據(jù)驅(qū)動(dòng)??茖W(xué)評(píng)估分為選定指標(biāo)、方案實(shí)施、歸因分析三個(gè)步驟,數(shù)據(jù)分析師要了解每個(gè)步驟的產(chǎn)出物是什么。

土著思維在企業(yè)數(shù)據(jù)分析比比皆是。下面重點(diǎn)對(duì)比下土著思維與科學(xué)思維在選定指標(biāo)、歸因分析中的差異。

1、不同思維下的選定指標(biāo)

土著思維下的評(píng)估關(guān)注了繁雜的大量指標(biāo),做了很多事情,但是缺乏一致性。

這是一個(gè)典型的土著思維下的指標(biāo)選定:我們簡(jiǎn)化了注冊(cè)流程,因此增加了注冊(cè)轉(zhuǎn)化率;我們?cè)黾恿斜眄?yè)入口,因此提升了列表詳情頁(yè)的訪問(wèn)量……隨著產(chǎn)品的不斷優(yōu)化與迭代,如此不停地進(jìn)行評(píng)估。

然而,每次產(chǎn)品迭代選擇的指標(biāo)都是不一致的,換句話,我們一直在討論樹(shù)枝搭建地多么像一座“機(jī)場(chǎng)”,然而并沒(méi)有討論‘糧食’這一核心問(wèn)題?因此,這并不科學(xué)。

那么,科學(xué)思維下,如何選定指標(biāo)?

只有保證指標(biāo)的一致性,才能知道“糧食在哪”。如何選擇一致性的指標(biāo)?按照客戶的選購(gòu)流程的漏斗,不妨將指標(biāo)直接設(shè)定為漏斗的最底端,每次評(píng)估都拿這個(gè)指標(biāo)來(lái)衡量。

如圖所見(jiàn),我們后來(lái)將一致性指標(biāo)定為了“周支付人數(shù)”,同時(shí)將優(yōu)化行為對(duì)增長(zhǎng)效果進(jìn)行分級(jí),未增長(zhǎng)是0級(jí),若實(shí)現(xiàn)2位數(shù)的增長(zhǎng)即“二級(jí)”,若實(shí)現(xiàn)3位數(shù)的增長(zhǎng)即“三級(jí)”……如此,一個(gè)季度下來(lái),企業(yè)就能夠科學(xué)評(píng)估增長(zhǎng)的程度。

2、不同指標(biāo)下的歸因分析

2017年2月,杏樹(shù)林進(jìn)行了一場(chǎng)糖尿病患者招募,患者可以免費(fèi)用藥。在這個(gè)活動(dòng)中,杏樹(shù)林重要用戶群——醫(yī)生可以推薦患者,即填寫(xiě)推薦表格,杏樹(shù)林核實(shí)患者入組后,將醫(yī)生獎(jiǎng)勵(lì)金打到醫(yī)生病歷夾賬戶。

面對(duì)“招募的患者人數(shù)提升”的結(jié)果,土著思維與科學(xué)思維有較大差異。

土著思維式是這樣的:?jiǎn)渭冋J(rèn)為醫(yī)生錄入患者信息是很麻煩的事兒,所以要盡力減少醫(yī)生的工作量。為了方便醫(yī)生錄入,運(yùn)營(yíng)人員對(duì)此做了改進(jìn)。經(jīng)過(guò)改進(jìn)后,招募人數(shù)果然變多。因此產(chǎn)品同學(xué)認(rèn)為,之前的假設(shè)與優(yōu)化都是正確的。

然而,真的是這樣的嗎?

科學(xué)思維下的歸因分析則有顯著不同:通過(guò)對(duì)醫(yī)生轉(zhuǎn)化全流程(列表頁(yè)→詳情頁(yè)→錄入患者)的精細(xì)化分析,我們發(fā)現(xiàn):

  • 實(shí)際上錄入率其實(shí)并未發(fā)生改變;
  • 列表頁(yè)到詳情頁(yè)的轉(zhuǎn)化率提升。

那么,為什么錄入率并未改變,招募患者的數(shù)量變多了呢?經(jīng)過(guò)深入了解,原來(lái)是前端的同學(xué)對(duì)列表頁(yè)UI進(jìn)行了優(yōu)化,我們可以判定,之前分析邏輯并不成立——醫(yī)生錄入麻煩并不會(huì)影響招募患者人數(shù)(經(jīng)過(guò)一系列優(yōu)化后,醫(yī)生錄入率未發(fā)生改變,且由于醫(yī)生錄入患者信息會(huì)有一定的折扣,這對(duì)醫(yī)生也有一定吸引力),而極可能是因?yàn)獒t(yī)生身邊沒(méi)有合適的患者。因此,我們下一步引導(dǎo)醫(yī)生在線轉(zhuǎn)發(fā)給患者。

三項(xiàng)原則保證評(píng)估科學(xué)性

進(jìn)行科學(xué)評(píng)估,要有“預(yù)期”和“結(jié)果”、“局部指標(biāo)”和“整體指標(biāo)”、“離散”和“連續(xù)”的對(duì)比,這是產(chǎn)品進(jìn)行評(píng)估的三原則,而不是籠統(tǒng)的說(shuō)“我們本季度要完成30份分析報(bào)告,要分析各種維度,要對(duì)業(yè)務(wù)有價(jià)值?!毕旅嫱ㄟ^(guò)舉例來(lái)解釋這三項(xiàng)原則。

1、預(yù)期 VS.結(jié)果:先有預(yù)期,再談結(jié)果

無(wú)預(yù)期,就如同“拍腦袋”做決定。以不同科室的模板上線為例。

土著思維下是這樣的:團(tuán)隊(duì)沒(méi)有任何預(yù)期,單純認(rèn)為“不同科室不同醫(yī)生所記錄的內(nèi)容有一定差異”。產(chǎn)品優(yōu)化后,的確留存率會(huì)變高。

科學(xué)思維是這樣的:上線前,新模板以提升醫(yī)生體驗(yàn)為目標(biāo),預(yù)計(jì)留存率會(huì)3%-5%的漲幅。上線后,留存率的確漲了,通過(guò)進(jìn)一步觀察發(fā)現(xiàn),只是老用戶變了,而新用戶未變。因此,下一步重點(diǎn)進(jìn)行新用戶引導(dǎo)。

總之,一定要事先有預(yù)期。在杏樹(shù)林內(nèi)部,為了促進(jìn)大家對(duì)每次優(yōu)化與改進(jìn)都有所預(yù)期,舉辦了“數(shù)據(jù)猜猜猜”的活動(dòng)——每次產(chǎn)品在線之前,公司內(nèi)部都會(huì)進(jìn)行大規(guī)模的競(jìng)猜,產(chǎn)品和運(yùn)營(yíng)等團(tuán)隊(duì)都參與進(jìn)來(lái),現(xiàn)在各團(tuán)隊(duì)對(duì)產(chǎn)品上線的最終效果都充滿期待。

2、局部 VS.整體:聚焦關(guān)鍵指標(biāo),避免一葉障目

土著思維將聚焦點(diǎn)放在產(chǎn)品功能點(diǎn)的改進(jìn)所帶來(lái)增長(zhǎng)上;科學(xué)的數(shù)據(jù)評(píng)估,不應(yīng)局限于單一的結(jié)果指標(biāo),避免一葉障目,緊盯關(guān)鍵目標(biāo),以此為核心衡量你的工作是否有效。

3、離散VS.連續(xù):保證評(píng)估連續(xù)性,避免打一槍換一地

許多企業(yè)有大量的評(píng)估報(bào)告,目標(biāo)零散的評(píng)估報(bào)告是數(shù)據(jù)分析的大忌,每一份分析報(bào)告都應(yīng)該指向企業(yè)發(fā)展當(dāng)前階段最關(guān)鍵指標(biāo),具有一定連續(xù)性、統(tǒng)一性的數(shù)據(jù)分析報(bào)告,才能具有可比性,才能為企業(yè)提供指導(dǎo)作用。

3個(gè)技巧提升評(píng)估效率

以下三個(gè)技巧可以提高評(píng)估效率。

1、要做好埋點(diǎn)工作

埋點(diǎn)方案設(shè)計(jì)要與產(chǎn)品設(shè)計(jì)同步。避免上線后再談需求、重新埋點(diǎn)造成效率低下;要防止過(guò)度設(shè)計(jì),也要防止遺漏。回歸測(cè)試保障歷史埋點(diǎn)——有些企業(yè)沒(méi)有回歸測(cè)試能力,杏樹(shù)林通過(guò)定期監(jiān)控神策分析的“埋點(diǎn)管理”解決了這一問(wèn)題。

2、構(gòu)建指標(biāo)工具箱

每一家企業(yè)根據(jù)業(yè)務(wù)不同、發(fā)展階段不同,構(gòu)建的指標(biāo)工具箱應(yīng)該有所差異,這點(diǎn)非常重要。關(guān)于指標(biāo)的選擇,有兩點(diǎn)說(shuō)明:

  1. 不能啟發(fā)我們采取行動(dòng)的指標(biāo),都是錯(cuò)誤指標(biāo)(虛榮指標(biāo));
  2. 好的指標(biāo)具有及時(shí)性、易理解等特點(diǎn)。

用好分析工具

杏樹(shù)林將市面上所有的數(shù)據(jù)分析產(chǎn)品經(jīng)過(guò)了比較與測(cè)試,神策數(shù)據(jù)被證明是實(shí)時(shí)性最強(qiáng)的,杏樹(shù)林在產(chǎn)品上線前,就根據(jù)數(shù)據(jù)指標(biāo)提前設(shè)好看板(數(shù)據(jù)概覽),上線1秒即可獲得全面的反饋,時(shí)時(shí)提醒你“飛機(jī)來(lái)了嗎,糧食來(lái)了嗎?”評(píng)估效率非常高。

評(píng)估的終極形態(tài):平臺(tái)化、基礎(chǔ)化

Facebook廣告系統(tǒng)做的非常贊,與國(guó)內(nèi)的許多平臺(tái)的不同之處在于,他要先了解企業(yè)的“目的是什么”——“你的飛機(jī)是什么”,F(xiàn)acebook會(huì)根據(jù)不同目標(biāo)設(shè)定不同指標(biāo)與不同方案。Facebook廣告系統(tǒng)具有實(shí)時(shí)、全面評(píng)估的效果,甚至在投放廣告三四個(gè)小時(shí)內(nèi),企業(yè)能夠進(jìn)行20次~30次優(yōu)化,將投資回報(bào)率達(dá)到最高。

Facebook對(duì)內(nèi)的增長(zhǎng)平臺(tái)能夠方便、快捷的科學(xué)實(shí)驗(yàn),同時(shí)在線超過(guò)1000個(gè)版本進(jìn)行測(cè)試,大約每個(gè)月一萬(wàn)次實(shí)驗(yàn),正如Facebook創(chuàng)始人兼首席執(zhí)行官馬克·扎克伯格(Mark Elliot Zuckerberg)說(shuō):“把運(yùn)營(yíng)公司當(dāng)作一場(chǎng)科學(xué)實(shí)驗(yàn)?!?/p>

綜上所述,企業(yè)在數(shù)據(jù)驅(qū)動(dòng)分析過(guò)程中,不要做土著,警惕看似正確的事情,堅(jiān)持科學(xué)思維,隨時(shí)準(zhǔn)備被現(xiàn)實(shí)打臉,勇于承認(rèn)“我錯(cuò)了”。

 

本文根據(jù)杏樹(shù)林醫(yī)療負(fù)責(zé)人孫文亮的“數(shù)據(jù)分析如何應(yīng)用于產(chǎn)品和業(yè)務(wù)流程的優(yōu)化”在北京沙龍主題演講整理。

本文由 @喬一鴨 整理發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載

題圖來(lái)自 Pixabay,基于 CC0 協(xié)議

更多精彩內(nèi)容,請(qǐng)關(guān)注人人都是產(chǎn)品經(jīng)理微信公眾號(hào)或下載App