B端產(chǎn)品 | 用戶體驗(yàn)量化的三個(gè)案例

21 評(píng)論 13753 瀏覽 130 收藏 17 分鐘

筆者在學(xué)習(xí)Tom Tullis、Bill Albert的《用戶體驗(yàn)度量》后,開(kāi)始思考:針對(duì)B端產(chǎn)品,如何在線上環(huán)境中,通過(guò)對(duì)用戶數(shù)據(jù)的采集、分析,完成對(duì)產(chǎn)品的用戶體驗(yàn)量化?

本文給出三個(gè)案例進(jìn)行嘗試,從簡(jiǎn)單到復(fù)雜闡述三種量化的維度。

為什么要量化用戶體驗(yàn)

針對(duì)企業(yè)內(nèi)部使用的B端產(chǎn)品,在日常做設(shè)計(jì)的過(guò)程中,體驗(yàn)設(shè)計(jì)師常常是憑借經(jīng)驗(yàn)來(lái)完成對(duì)產(chǎn)品的體驗(yàn)優(yōu)化。“經(jīng)驗(yàn)”一般有兩種來(lái)源:

  1. 參考競(jìng)品的設(shè)計(jì)
  2. 參考自己已做過(guò)的類似產(chǎn)品

很明顯,這兩種設(shè)計(jì)經(jīng)驗(yàn)有一個(gè)很大的缺陷,就是很容易“拍腦袋”定方案——產(chǎn)品經(jīng)理拍、設(shè)計(jì)師拍,更多的時(shí)候是領(lǐng)導(dǎo)拍。

“拍腦袋”,有時(shí)真的是天才般的靈感火花,但大概率是盲目瞎拍。因此,如何避免出現(xiàn)這種“瞎拍”,是體驗(yàn)設(shè)計(jì)師應(yīng)該考慮一下的問(wèn)題?!坝脩趔w驗(yàn)量化”就是一個(gè)很好的手段:

“通過(guò)對(duì)用戶體驗(yàn)相關(guān)的數(shù)據(jù)進(jìn)行采集、分析,使用量化的數(shù)據(jù)證明設(shè)計(jì)的‘合適’與‘不合適’,合適的保留、不合適的繼續(xù)優(yōu)化,為產(chǎn)品的迭代建設(shè)保駕護(hù)航”

一維量化:?jiǎn)蝹€(gè)指標(biāo)直接比較

案例一:“任務(wù)”

針對(duì)B端效率類的工具型產(chǎn)品,其不以用戶留存時(shí)間為目標(biāo),反而如果能降低用戶完成任務(wù)的耗時(shí),則說(shuō)明該任務(wù)鏈路的用戶體驗(yàn)優(yōu)化是成功的。

因此,線上可以采集一個(gè)指標(biāo)的數(shù)據(jù):任務(wù)時(shí)長(zhǎng),即用戶從啟動(dòng)任務(wù)到任務(wù)完成所用的時(shí)長(zhǎng)。或者,直接采集用戶從進(jìn)入該B端效率類的工具型產(chǎn)品到最終離開(kāi)的時(shí)長(zhǎng)。通過(guò)比較優(yōu)化前后的時(shí)長(zhǎng),以達(dá)到用戶體驗(yàn)量化的目的。

但是該類型產(chǎn)品所采集的數(shù)據(jù)存在一種缺陷——樣本量少

原因在于這種產(chǎn)品在公司內(nèi)部的用戶群體很小,例如一些基礎(chǔ)類的云產(chǎn)品,用戶量可能在兩位數(shù)。因此,采集的數(shù)據(jù)其分布狀態(tài)離散、無(wú)法直接通過(guò)分布狀態(tài)判定。

那么如何在有限的樣本量情況下,區(qū)分其優(yōu)化前后的用戶體驗(yàn)數(shù)據(jù)呢?

我們可以進(jìn)行數(shù)據(jù)分析:平均數(shù),置信區(qū)間,t檢驗(yàn)。

第一步,比較平均數(shù),并給出置信區(qū)間。

第二步,判斷置信區(qū)間是否存在重疊,如果“無(wú)重疊”或“重疊較小”,則基本認(rèn)定差異顯著,也就可以直接通過(guò)優(yōu)化前后差值及其置信區(qū)間來(lái)量化用戶體驗(yàn),參考第五步。

第三步,如果置信區(qū)間“重疊較大”,則無(wú)法確認(rèn)存在差異,需進(jìn)行t檢驗(yàn),如果t檢驗(yàn)的概率值較大(>0.05)則說(shuō)明差異性不顯著,表示優(yōu)化前后的用戶體驗(yàn)變化不明顯:優(yōu)化方案“不合適”。

第四步,如果t檢驗(yàn)的概率值很?。?lt;<0.05)說(shuō)明差異性顯著,表示優(yōu)化前后的用戶體驗(yàn)變化明顯,也就可以直接通過(guò)優(yōu)化前后的差值及其置信區(qū)間來(lái)量化用戶體驗(yàn)。

第五步,給出結(jié)論:該“任務(wù)”經(jīng)過(guò)用戶體驗(yàn)優(yōu)化,成功降低了單次“任務(wù)”耗時(shí)。在95%的置信區(qū)間內(nèi)平均降低了T3,其中置信區(qū)間為(T3-α3,T3+α3)。

二維量化:多個(gè)指標(biāo)進(jìn)行比較

案例二:“表單”

針對(duì)B端產(chǎn)品的某個(gè)“表單”頁(yè)面,在用戶填寫(xiě)過(guò)程中采集兩個(gè)指標(biāo)的數(shù)據(jù):

  1. 耗時(shí):用戶從打開(kāi)表單填寫(xiě)頁(yè)面到成功提交所用的時(shí)長(zhǎng)
  2. 報(bào)錯(cuò)次數(shù):用戶在填寫(xiě)過(guò)程中觸發(fā)報(bào)錯(cuò)提示的總次數(shù)

當(dāng)體驗(yàn)設(shè)計(jì)師優(yōu)化該表單填寫(xiě)頁(yè)面并發(fā)布上線后,比較前后版本的耗時(shí)和報(bào)錯(cuò)次數(shù),并將其映射至二維圖,理想態(tài)應(yīng)該是整體數(shù)據(jù)向左下移動(dòng),優(yōu)化前耗時(shí)長(zhǎng)、報(bào)錯(cuò)次數(shù)多,優(yōu)化后耗時(shí)短、報(bào)錯(cuò)次數(shù)少。

發(fā)散點(diǎn)1:如果表單有多個(gè)頁(yè)面,可分別從整體和單個(gè)頁(yè)面去進(jìn)行量化分析,以發(fā)現(xiàn)鏈路的哪個(gè)環(huán)節(jié)仍然存在問(wèn)題。

發(fā)散點(diǎn)2:針對(duì)報(bào)錯(cuò)的內(nèi)容,將其進(jìn)行等級(jí)區(qū)分,可更細(xì)致量化分析,甚至可用低等級(jí)異常置換高等級(jí)異常,以提升整體體驗(yàn)。

如上,當(dāng)只需分析兩項(xiàng)指標(biāo)的時(shí)候,可以直接將數(shù)據(jù)映射在二維圖上進(jìn)行比較。但如果有3個(gè)及以上的指標(biāo),如何進(jìn)行量化?

可以通過(guò)給指標(biāo)進(jìn)行“加權(quán)”,計(jì)算出一個(gè)綜合分值,通過(guò)比較綜合分值就可以間接量化其用戶體驗(yàn)。

假設(shè)有三項(xiàng)指標(biāo):p、q、r

第一步:推導(dǎo)各項(xiàng)指標(biāo)的分值函數(shù)(分?jǐn)?shù)越高表示體驗(yàn)越好)。

建議:如果指標(biāo)的數(shù)據(jù)和得分是正相關(guān),可以使用對(duì)數(shù)函數(shù)(y=ln x);如果是負(fù)相關(guān),則可以使用冪函數(shù)(y=1/x)。通過(guò)定義“滿分、及格”兩個(gè)坐標(biāo)(如果需要更細(xì)膩,甚至可以定義多個(gè)坐標(biāo),例如優(yōu)良中差等等),即可推導(dǎo)出各項(xiàng)指標(biāo)的函數(shù)式(a、b均為系數(shù))。

第二步:針對(duì)單個(gè)樣本,將各指標(biāo)的數(shù)據(jù)換算成分值。把各項(xiàng)指標(biāo)的采集數(shù)據(jù)當(dāng)作自變量,可計(jì)算得出對(duì)應(yīng)的因變量,即得分:P、Q、R。

第三步:分配各項(xiàng)指標(biāo)的權(quán)重:β、γ、δ,其中β+γ+δ=1。

第四步:計(jì)算每個(gè)樣本的綜合分值。其綜合分值等于每項(xiàng)指標(biāo)的得分與權(quán)重的乘積之和,為:

S=P*β+Q*γ+R*δ

第五步:數(shù)據(jù)分析。針對(duì)所有用戶的綜合分值S,參考使用案例一中的“平均數(shù)、置信區(qū)間、t檢驗(yàn)”進(jìn)行分析,比較優(yōu)化前后的數(shù)據(jù)。

第六步:給出結(jié)論。該“表單”經(jīng)過(guò)用戶體驗(yàn)優(yōu)化,成功提高了用戶體驗(yàn)分值。在95%的置信區(qū)間內(nèi)平均提高了S3,其中置信區(qū)間為(S3-α3,S3+α3)。

多維量化:多類指標(biāo)進(jìn)行比較

案例三:“產(chǎn)品”

針對(duì)B端產(chǎn)品,在量化其整體的用戶體驗(yàn)時(shí),會(huì)采集多種類型的指標(biāo),包括不限于:績(jī)效、可用性、滿意度、生理數(shù)據(jù)等等。如何使用多類型指標(biāo)進(jìn)行用戶體驗(yàn)量化?

假設(shè)采集了以下3類共9種指標(biāo)的數(shù)據(jù):

  • 績(jī)效,p1、p2、p3
  • 可用性,u1、u2、u3
  • 滿意度,h1、h2、h3

有兩種方法可以對(duì)其進(jìn)行處理:

方法1:疊加使用“二維量化”。針對(duì)“績(jī)效”的指標(biāo)p1、p2、p3,參考案例二中的處理方法予以加權(quán),就可以得出一個(gè)“績(jī)效”的分值P,同理可分別得出“可用性”的分值U和“滿意度”的分值H;針對(duì)這三項(xiàng)分值P、U、H,繼續(xù)參考案例二中的處理方法,可以得出一個(gè)綜合分值S,即該產(chǎn)品的用戶體驗(yàn)分值;

方法2:先“降維”,然后使用“二維量化”。將9種指標(biāo)視為產(chǎn)品的9個(gè)維度,首先通過(guò)使用降維方法,得到9個(gè)互相獨(dú)立、具有正交特征的新指標(biāo)(綜合指標(biāo))。然后選出靠前的n個(gè)(n<=9)綜合指標(biāo),參考案例二中的處理方法予以加權(quán),就可以得出一個(gè)綜合分值S,即該產(chǎn)品的用戶體驗(yàn)分值。

以上兩種方法均可,但第2種可能會(huì)更精準(zhǔn)、更直觀。

原因在于,雖然指標(biāo)都是獨(dú)立采集、甚至分屬于不同的類型,但部分指標(biāo)之間可能存在一定的正相關(guān)或負(fù)相關(guān)。例如,績(jī)效指標(biāo)“成功率”和可用性指標(biāo)“幫助的實(shí)時(shí)性”可能會(huì)存在正相關(guān):幫助的實(shí)時(shí)性越高,成功率可能會(huì)越高。

如果使用方法1進(jìn)行處理,由于給各指標(biāo)加權(quán)需要人為識(shí)別、決定,具有相關(guān)性的指標(biāo)之間其權(quán)重難以保持一致。多次人為加權(quán),不僅計(jì)算的復(fù)雜程度高、穩(wěn)定性也很低。

如果使用方法2中的降維:

  1. 對(duì)具有相關(guān)性的指標(biāo)進(jìn)行合并、減少冗余信息造成的誤差
  2. 去除噪聲和不重要的特征,降維得到的綜合指標(biāo)之間獨(dú)立性強(qiáng)、識(shí)別度高。

需要注意的是,降維肯定會(huì)損失一些信息,這可能會(huì)讓最終結(jié)果不能100%體現(xiàn)原數(shù)據(jù),但是通過(guò)把多維數(shù)據(jù)降至2、3維,就可以對(duì)其進(jìn)行數(shù)據(jù)可視化,便于直觀地發(fā)現(xiàn)分布形態(tài)。針對(duì)合并后的綜合指標(biāo),人為識(shí)別、加權(quán)更精準(zhǔn)。

降維方法有很多種,此處使用主成分分析法(PrincipalComponents Analysis,PCA)進(jìn)行降維,其主要是通過(guò)對(duì)協(xié)方差矩陣進(jìn)行特征分解,以得出數(shù)據(jù)的主成分(即特征向量)與它們的權(quán)值(即特征值),步驟如下:

第一步:選取10個(gè)樣本(優(yōu)化前后各5個(gè)),參考案例二種的分值函數(shù)分別計(jì)算9個(gè)維度的分值:p1、p2、p3、u1、u2、u3、h1、h2、h3。

第二步:使用PCA對(duì)樣本的數(shù)據(jù)進(jìn)行處理,針對(duì)處理結(jié)果按照還原程度由高到低列出主成分(新的綜合指標(biāo)M1、M2、M3…M9),根據(jù)需求確定合適的還原程度,如果需要90%,則新的綜合指標(biāo)為M1、M2。

第三步:查看M1、M2內(nèi)原9個(gè)維度的關(guān)聯(lián)度,據(jù)此可理解M1、M2兩個(gè)綜合指標(biāo)的含義,M1主要代表p1、u2、h1,M2主要代表p2、u3、h2。

第四步:數(shù)據(jù)可視化。針對(duì)10個(gè)樣本,利用各樣本在M1、M2兩個(gè)新的綜合指標(biāo)內(nèi)的分值(坐標(biāo)),映射至二維圖。

第五步:給出結(jié)論。通過(guò)觀察10個(gè)樣本的分布狀態(tài),可以清晰看出經(jīng)過(guò)優(yōu)化,產(chǎn)品的用戶體驗(yàn)分值是否明顯提高。另,如果需要得出一個(gè)綜合分值S,則可以根據(jù)M1、M2的含義分別予以加權(quán),參考案例二中的處理方法即可得出。

總結(jié)

由于B端產(chǎn)品的用戶群體較小、強(qiáng)功能、弱設(shè)計(jì)等等原因,一般在產(chǎn)品的整個(gè)生命周期里面都很少使用量化的數(shù)據(jù)來(lái)指導(dǎo)產(chǎn)品建設(shè)和體驗(yàn)設(shè)計(jì)。在本文中,通過(guò)三個(gè)案例介紹了三種量化方案:

  • 第一個(gè)“任務(wù)”案例中,是量化單個(gè)指標(biāo),定義為“一維量化”
  • 第二個(gè)“表單”案例中,是量化多個(gè)指標(biāo),定義為“二維量化”
  • 第三個(gè)“產(chǎn)品”案例中,是量化多類指標(biāo)(降維),定義為“多維量化”

不同類型、不同建設(shè)階段的B端產(chǎn)品,可以選擇合適的用戶體驗(yàn)量化方案。尋求量化點(diǎn)并采集有效數(shù)據(jù),是用戶體驗(yàn)設(shè)計(jì)師可以多多思考的。

 

作者:胡欣欣,公眾號(hào):吹拉彈唱大師(ID:cltcds)

本文由@吹拉彈唱大師 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)許可,禁止轉(zhuǎn)載。

題圖來(lái)自Unsplash, 基于CC0協(xié)議

更多精彩內(nèi)容,請(qǐng)關(guān)注人人都是產(chǎn)品經(jīng)理微信公眾號(hào)或下載App
評(píng)論
評(píng)論請(qǐng)登錄
  1. 第二三種方法沒(méi)辦法用的,整體就是薛定諤理論。。。??
    在數(shù)據(jù)已經(jīng)確定的情況下,選擇不同的時(shí)間段,或者延長(zhǎng)時(shí)間段,得出的數(shù)據(jù)很可能會(huì)不一樣。。。
    所以根本沒(méi)辦法拿出來(lái)做比較

    來(lái)自河北 回復(fù)
  2. 有體驗(yàn)度量方面的交流群?jiǎn)?/p>

    來(lái)自上海 回復(fù)
  3. 感謝作者分享!統(tǒng)計(jì)部分講得很清晰!有個(gè)問(wèn)題想跟大家交流:對(duì)于任務(wù)和表單兩種情況,如何排除任務(wù)和表單本身的任務(wù)難度影響?
    比如after之后用戶填寫(xiě)的表單變復(fù)雜了,那么就很難直接跟before進(jìn)行比較了。如果數(shù)據(jù)量足夠大的話,可以通過(guò)隨機(jī)的方式平衡差異,但文中也提到用戶量可能很小,甚至只有20個(gè),這種情況要如何處理呢?

    來(lái)自北京 回復(fù)
    1. 可以回到用戶要完成的任務(wù)本身來(lái)看,表單優(yōu)化前后,用戶要完成的任務(wù)是不是一致?如果是一致,就可以對(duì)比看數(shù)據(jù),如果任務(wù)不一致,那么就不能對(duì)比看數(shù)據(jù)。我感覺(jué)哈,“難度”不是評(píng)價(jià)是否可以前后對(duì)比的標(biāo)準(zhǔn)

      來(lái)自江蘇 回復(fù)
  4. 寫(xiě)的文章好棒,最近研究b端,找時(shí)間把你文章都看一遍,哈哈哈

    來(lái)自廣東 回復(fù)
    1. 哈哈,謝謝~

      來(lái)自江蘇 回復(fù)
  5. 第二、三種量化有沒(méi)有例子能夠帶入進(jìn)去?

    來(lái)自廣東 回復(fù)
    1. 案例二“表單”,案例三“產(chǎn)品”

      來(lái)自江蘇 回復(fù)
  6. 產(chǎn)品體驗(yàn)步驟

    回復(fù)
  7. 非常欣賞作者的思考,通過(guò)用戶行為數(shù)據(jù)量化評(píng)估用戶體驗(yàn)是用戶研究必須要去突破的一個(gè)方向,我也正在做這方面的嘗試,過(guò)程雖然很難,但是相信前途是光明的,一起加油吧~

    來(lái)自廣東 回復(fù)
    1. 棒~

      來(lái)自江蘇 回復(fù)
  8. 很佩服作者的一般講解。但如果這個(gè)原假設(shè)一開(kāi)始就不適用呢,那之后一系列的數(shù)學(xué)演練是不是就只是看起來(lái)很酷炫,比如為什么我們不直接獲得聽(tīng)取用戶對(duì)于該產(chǎn)品在使用過(guò)程中的槽點(diǎn),來(lái)進(jìn)行針對(duì)性改正呢,畢竟純基于數(shù)據(jù)的得出的結(jié)論也說(shuō)服力不大,況且,這個(gè)演練如果需要學(xué)過(guò)統(tǒng)計(jì)學(xué)才能做的話,或許是不是也有相關(guān)的軟件在輸入相關(guān)數(shù)據(jù)后,能更好的得出結(jié)論呢。我是覺(jué)得,在優(yōu)化用戶體驗(yàn)這方面,有時(shí)候如果我們可以直接接觸客戶的話,就沒(méi)必要在苦苦研究這些純數(shù)據(jù),這樣就有種舍近求遠(yuǎn)的感覺(jué)。共勉!

    來(lái)自北京 回復(fù)
    1. 不是一般,是一番 ??

      來(lái)自北京 回復(fù)
    2. 嗯嗯,你說(shuō)的很對(duì),本文只是我看書(shū)后的一點(diǎn)讀后感,也算是一個(gè)系統(tǒng)的復(fù)盤(pán)和總結(jié)。研究和落地,中間差了十萬(wàn)八千里,腳踏實(shí)地固然重要,偶爾仰望星空也未嘗不可~用戶體驗(yàn)度量是一個(gè)很龐大的命題,從不同的角度去解釋、印證,沒(méi)有對(duì)和錯(cuò)。

      來(lái)自江蘇 回復(fù)
    3. 說(shuō)句真心話哈~我看完后確實(shí)有點(diǎn)懵,但如果總結(jié)是偏結(jié)果性結(jié)論并不是理論性結(jié)尾就完美點(diǎn)了!類似這種數(shù)據(jù)化分析出體驗(yàn)好壞的辦法確實(shí)存在1.相對(duì)客戶調(diào)研成本更高時(shí)間更長(zhǎng);2.團(tuán)隊(duì)協(xié)同合作存在溝通門(mén)檻高;3.學(xué)習(xí)跟復(fù)用難度較大;等問(wèn)題導(dǎo)致并不實(shí)用。但本人非常認(rèn)可作者學(xué)以致用的方式,雖然現(xiàn)在還相當(dāng)復(fù)雜,可我相信只要堅(jiān)持在懂得數(shù)據(jù)分析的原理再去使用分析工具會(huì)得到質(zhì)變性的好處,最后感謝作者的分享~ ??

      來(lái)自廣東 回復(fù)
    4. 嗯嗯,謝謝。如果是負(fù)責(zé)一兩個(gè)產(chǎn)品的用戶體驗(yàn),大家都會(huì)覺(jué)得直接用戶調(diào)研就可以了,簡(jiǎn)單、高效;如果是10個(gè)產(chǎn)品、100個(gè)產(chǎn)品、1000個(gè)產(chǎn)品呢?例如我在的蘇寧易購(gòu),整個(gè)集團(tuán)有幾千個(gè)業(yè)務(wù)系統(tǒng),那么作為用戶體驗(yàn)設(shè)計(jì)師,可以嘗試設(shè)計(jì)一套用戶體驗(yàn)相關(guān)的數(shù)據(jù)分析產(chǎn)品去量化數(shù)以千計(jì)業(yè)務(wù)系統(tǒng)的用戶體驗(yàn)。。。當(dāng)然,目前還在進(jìn)行中

      來(lái)自江蘇 回復(fù)
    5. 優(yōu)秀的帥小伙

      來(lái)自四川 回復(fù)
  9. 網(wǎng)易的可用性測(cè)試這么復(fù)雜的嗎。。

    來(lái)自北京 回復(fù)
    1. 咳咳,俺是蘇寧易購(gòu)的~只是一點(diǎn)讀后感而已

      來(lái)自江蘇 回復(fù)
  10. 無(wú)語(yǔ)了,搞這么復(fù)雜,為了什么?不說(shuō)一般公司, 就是頭部大廠,也不會(huì)用這么復(fù)雜的一套體系就做什么用戶體驗(yàn)量化,成本收益比太低。

    來(lái)自湖北 回復(fù)
    1. 哈哈,別慌,寫(xiě)著玩的

      來(lái)自江蘇 回復(fù)