用戶(hù)滿(mǎn)意度評(píng)估模型搭建和檢驗(yàn)方法探討

4 評(píng)論 12547 瀏覽 75 收藏 13 分鐘

編輯導(dǎo)語(yǔ):如何科學(xué)有效地度量用戶(hù)體驗(yàn)是企業(yè)和用戶(hù)體驗(yàn)從業(yè)者一直在思考和研究的課題。用戶(hù)滿(mǎn)意度作為量化體驗(yàn)度量的方法也一直備受關(guān)注。那么用戶(hù)滿(mǎn)意度指標(biāo)是怎么來(lái)的?評(píng)估模型該如何搭建?模型好壞又要如何判斷?作者提出了他的看法,一起來(lái)看看吧。

本篇文章聚焦用戶(hù)滿(mǎn)意度模型搭建與檢驗(yàn),分享模型搭建與檢驗(yàn)過(guò)程中的方法與技巧。

一、用戶(hù)滿(mǎn)意度評(píng)估的價(jià)值

早在20世紀(jì)30年代,就有學(xué)者在社會(huì)和實(shí)驗(yàn)心理學(xué)領(lǐng)域?qū)M(mǎn)意度展開(kāi)研究,研究表明用戶(hù)滿(mǎn)意度反映的是用戶(hù)的一種心理狀態(tài),是用戶(hù)對(duì)其明示的、隱含的需求和期望被滿(mǎn)足程度的主觀感受。

用戶(hù)滿(mǎn)意度評(píng)估對(duì)企業(yè)生存和產(chǎn)品體驗(yàn)提升都有重要的意義:一方面,隨著移動(dòng)互聯(lián)網(wǎng)人口紅利逐漸消失,手機(jī)應(yīng)用獲取新客的成本和難度變得越來(lái)越高,通過(guò)提升用戶(hù)滿(mǎn)意度充分激發(fā)現(xiàn)有用戶(hù)價(jià)值成為企業(yè)非常重要的商業(yè)策略。如美國(guó)顧客滿(mǎn)意度指數(shù)ACSI數(shù)據(jù)表明,用戶(hù)滿(mǎn)意度的提升能帶來(lái)用戶(hù)消費(fèi)頻次的增加,同時(shí)也會(huì)為企業(yè)贏得更高的聲譽(yù),帶來(lái)拉新、促活成本的降低。

此外用戶(hù)滿(mǎn)意度通過(guò)度量產(chǎn)品體驗(yàn)現(xiàn)狀和迭代動(dòng)作有效性,對(duì)助力產(chǎn)品體驗(yàn)提升起著重要作用。

用戶(hù)滿(mǎn)意度模型的構(gòu)建流程如下圖所示,接下來(lái)我們一起看看:

用戶(hù)滿(mǎn)意度評(píng)估模型搭建和檢驗(yàn)方法探討

二、如何搭建用戶(hù)滿(mǎn)意度模型

用戶(hù)滿(mǎn)意度模型構(gòu)建流程可分為「明確目標(biāo)」「指標(biāo)收集」「指標(biāo)定義」「指標(biāo)歸屬」「指標(biāo)賦權(quán)」5個(gè)步驟:

1. 明確目標(biāo)

第1步是明確評(píng)估目標(biāo)。明確評(píng)估目標(biāo)包括明確評(píng)估用途和范疇,用戶(hù)滿(mǎn)意度評(píng)估的用途不同,在評(píng)估側(cè)重和衡量方式上會(huì)有不同:

如衡量產(chǎn)品改版效果的用戶(hù)滿(mǎn)意度側(cè)重關(guān)注改版目標(biāo)是否達(dá)成,更關(guān)注改版前后影響體驗(yàn)?zāi)繕?biāo)達(dá)成的體驗(yàn)點(diǎn)變化。用于摸底產(chǎn)品體驗(yàn)水平的用戶(hù)滿(mǎn)意度側(cè)重了解產(chǎn)品對(duì)用戶(hù)需求和期待的滿(mǎn)足情況,更關(guān)注產(chǎn)品自身體驗(yàn)長(zhǎng)短板以及相較于其他同類(lèi)產(chǎn)品體驗(yàn)優(yōu)劣勢(shì)。

此外需要考慮評(píng)估范疇,一方面需要明確僅評(píng)估本品還是同時(shí)覆蓋競(jìng)品,對(duì)于未在行業(yè)中取得絕對(duì)領(lǐng)先地位的產(chǎn)品,更應(yīng)考慮覆蓋競(jìng)品評(píng)估,明確體驗(yàn)競(jìng)爭(zhēng)優(yōu)劣勢(shì)的同時(shí)尋求競(jìng)品借鑒點(diǎn)。

另一方面需要明確評(píng)估產(chǎn)品全局還是聚焦部分模塊,全局評(píng)估能獲取用戶(hù)對(duì)產(chǎn)品的整體感受,但在產(chǎn)品模塊繁多或復(fù)雜時(shí),受制于用戶(hù)參與調(diào)研的耐心有限,針對(duì)每個(gè)模塊的評(píng)估問(wèn)題數(shù)量無(wú)法設(shè)置太多,導(dǎo)致評(píng)估顆粒度較粗,可考慮聚焦重點(diǎn)模塊單獨(dú)評(píng)估。

用戶(hù)滿(mǎn)意度評(píng)估模型搭建和檢驗(yàn)方法探討

2. 指標(biāo)收集

第2步是收集評(píng)估指標(biāo),用戶(hù)滿(mǎn)意度指標(biāo)收集可結(jié)合案頭側(cè)、用戶(hù)側(cè)和專(zhuān)家側(cè)三方信息獲?。?/p>

一,案頭側(cè)指標(biāo)收集方式主要是案頭研究和產(chǎn)品走查。案頭研究可重點(diǎn)關(guān)注成熟評(píng)估模型以及行業(yè)趨勢(shì)、產(chǎn)品模式和用戶(hù)需求分析報(bào)告,結(jié)合對(duì)產(chǎn)品的走查分析,提煉“好的產(chǎn)品體驗(yàn)”需要包含哪些要素。常用的案頭研究渠道和可查詢(xún)的信息如下圖:

用戶(hù)滿(mǎn)意度評(píng)估模型搭建和檢驗(yàn)方法探討

二,用戶(hù)側(cè)指標(biāo)收集方式主要有用戶(hù)座談會(huì)和客訴反饋,座談會(huì)把目標(biāo)用戶(hù)邀請(qǐng)到一起暢談對(duì)產(chǎn)品的需求和期待,邀請(qǐng)對(duì)產(chǎn)品使用程度較深的“專(zhuān)家級(jí)”用戶(hù)能貢獻(xiàn)更多有效信息。另外客訴反饋也是能集中了解用戶(hù)對(duì)產(chǎn)品關(guān)注點(diǎn)和痛點(diǎn)的數(shù)據(jù)渠道。

三,專(zhuān)家側(cè)指標(biāo)收集方法主要是專(zhuān)家訪(fǎng)談,通過(guò)向?qū)<伊私猱a(chǎn)品目標(biāo)、目標(biāo)實(shí)現(xiàn)方式及后續(xù)主要?jiǎng)幼鱽?lái)拆解對(duì)當(dāng)前產(chǎn)品體驗(yàn)重要的維度和指標(biāo)。專(zhuān)家訪(fǎng)談需要覆蓋到能決策產(chǎn)品方向的人,且專(zhuān)家職能身份盡可能的多樣化,如覆蓋產(chǎn)品、運(yùn)營(yíng)、設(shè)計(jì)、技術(shù)、市場(chǎng)等不同職能角色。

用戶(hù)滿(mǎn)意度評(píng)估模型搭建和檢驗(yàn)方法探討

3. 指標(biāo)定義

第3步是指標(biāo)定義,給指標(biāo)下定義需考慮指標(biāo)的體驗(yàn)標(biāo)準(zhǔn)高低和文案描述兩方面:

體驗(yàn)標(biāo)準(zhǔn)選擇要符合產(chǎn)品本階段的目標(biāo),標(biāo)準(zhǔn)定得過(guò)高或過(guò)低都會(huì)讓指標(biāo)喪失靈敏性失去價(jià)值。指標(biāo)描述一般要遵循通俗性、簡(jiǎn)潔性和單一性原則:

用戶(hù)滿(mǎn)意度評(píng)估模型搭建和檢驗(yàn)方法探討

4. 指標(biāo)歸屬

第4步是將定義好的指標(biāo)進(jìn)行維度劃分與歸屬來(lái)構(gòu)建評(píng)估模型。維度初步劃分有「用戶(hù)接觸產(chǎn)品的觸點(diǎn)」和「產(chǎn)品功能模塊」兩種方式。

拿用戶(hù)一次外出就餐的滿(mǎn)意度舉例,按用戶(hù)接觸產(chǎn)品的觸點(diǎn)可以分為就餐前(選餐廳、查信息、訂座等)、就餐中(菜品、服務(wù)、環(huán)境等)、就餐后(買(mǎi)單)滿(mǎn)意度。而按功能模塊劃分可以分為餐廳信息、評(píng)論信息、優(yōu)惠信息滿(mǎn)意度。無(wú)論采用哪種先驗(yàn)假設(shè),模型構(gòu)建都需要遵循“完備互斥”原則,即指標(biāo)既齊全不遺漏,也沒(méi)有重復(fù)。

5. 指標(biāo)賦權(quán)

因?yàn)椴煌u(píng)估指標(biāo)的重要性程度不一樣,拿汽車(chē)產(chǎn)品的用戶(hù)滿(mǎn)意度評(píng)估為例,對(duì)普通轎車(chē)的滿(mǎn)意度評(píng)估更看重實(shí)用舒適,而對(duì)越野車(chē)的滿(mǎn)意度評(píng)估更看重汽車(chē)性能。因此在完成評(píng)估模型搭建之后,需要賦予評(píng)估指標(biāo)權(quán)重,指標(biāo)賦權(quán)的方法按照打權(quán)重的人不同可以劃分為專(zhuān)家賦權(quán)和用戶(hù)賦權(quán)兩大類(lèi):

  1. 用戶(hù)賦權(quán)是根據(jù)用戶(hù)對(duì)某個(gè)體驗(yàn)點(diǎn)(指標(biāo))滿(mǎn)意度打分和對(duì)產(chǎn)品整體滿(mǎn)意度打分之間的關(guān)系測(cè)算出來(lái)的間接賦權(quán)方法,體驗(yàn)點(diǎn)滿(mǎn)意度分?jǐn)?shù)變化對(duì)產(chǎn)品整體滿(mǎn)意度分?jǐn)?shù)變化的解釋程度越高,體驗(yàn)點(diǎn)對(duì)應(yīng)的指標(biāo)權(quán)重就越大。常用的指標(biāo)賦權(quán)方法有“線(xiàn)性回歸”、“因子分析”和“結(jié)構(gòu)方程模型”。
  2. 專(zhuān)家賦權(quán)是領(lǐng)域?qū)<?,如產(chǎn)品、運(yùn)營(yíng)、設(shè)計(jì)等對(duì)指標(biāo)重要性進(jìn)行主觀判斷,因此又叫直接賦權(quán)法,常見(jiàn)的直接賦權(quán)法有“直接評(píng)定法”、“分值分配法”和“層次分析法”?!爸苯釉u(píng)定法”就是專(zhuān)家逐個(gè)判斷指標(biāo)重要性,“分值分配法”是預(yù)先給定所有指標(biāo)一個(gè)總分,專(zhuān)家把總分分配到各個(gè)指標(biāo)上,“層次分析法”是專(zhuān)家對(duì)指標(biāo)重要性進(jìn)行兩兩對(duì)比,因?yàn)槟芨玫卦趯?duì)比過(guò)程中幫助專(zhuān)家理清指標(biāo)的相對(duì)重要性,層次分析法是專(zhuān)家賦權(quán)中更為常用的方法。

用戶(hù)滿(mǎn)意度評(píng)估模型搭建和檢驗(yàn)方法探討

那么到底應(yīng)該使用用戶(hù)賦權(quán)還是專(zhuān)家賦權(quán)呢?這兩類(lèi)賦權(quán)方式具有不同的特點(diǎn),用戶(hù)賦權(quán)反映了用戶(hù)對(duì)評(píng)估指標(biāo)所反映體驗(yàn)點(diǎn)的需求強(qiáng)度,在初次搭建模型對(duì)用戶(hù)需求強(qiáng)度優(yōu)先級(jí)不明確時(shí)可以考慮使用,但用戶(hù)賦權(quán)受產(chǎn)品現(xiàn)狀影響較大,產(chǎn)品當(dāng)下已經(jīng)成熟和形成規(guī)模的方向更容易獲得較高權(quán)重,而對(duì)產(chǎn)品未來(lái)重要但目前規(guī)模較小的方向權(quán)重則可能較小。專(zhuān)家賦權(quán)反映專(zhuān)家對(duì)產(chǎn)品現(xiàn)狀和產(chǎn)品未來(lái)方向的綜合判斷,可以在產(chǎn)品較為成熟或開(kāi)始嘗試創(chuàng)新方向時(shí)考慮使用。

三、如何檢驗(yàn)用戶(hù)滿(mǎn)意度模型

為了衡量用戶(hù)滿(mǎn)意度模型的好壞,完成模型搭建后需要對(duì)模型進(jìn)行檢驗(yàn),模型檢驗(yàn)分為「指標(biāo)內(nèi)容檢驗(yàn)」和「結(jié)構(gòu)歸屬檢驗(yàn)」兩類(lèi):

1. 指標(biāo)內(nèi)容檢驗(yàn)

指標(biāo)內(nèi)容檢驗(yàn)關(guān)注指標(biāo)描述對(duì)想要評(píng)估體驗(yàn)點(diǎn)的符合程度和可理解性,即指標(biāo)的內(nèi)容效度。指標(biāo)內(nèi)容檢驗(yàn)可通過(guò)領(lǐng)域?qū)<彝瓿桑?qǐng)至少3名以上專(zhuān)家對(duì)指標(biāo)內(nèi)容有效性、易理解性等維度打分,專(zhuān)家一致評(píng)價(jià)為符合的指標(biāo)占比即為模型內(nèi)容效度(S-CVI)。對(duì)于專(zhuān)家認(rèn)為不符合或?qū)<掖蚍植灰恢碌闹笜?biāo)需要咨詢(xún)專(zhuān)家具體原因并作出適當(dāng)修改。一般而言專(zhuān)家一致評(píng)價(jià)符合的指標(biāo)不應(yīng)低于80%。常見(jiàn)的指標(biāo)內(nèi)容問(wèn)題包括指標(biāo)描述未能準(zhǔn)確概括體驗(yàn)點(diǎn)、指標(biāo)描述有歧義、指標(biāo)定義的體驗(yàn)標(biāo)準(zhǔn)不合適等。

用戶(hù)滿(mǎn)意度評(píng)估模型搭建和檢驗(yàn)方法探討

2. 結(jié)構(gòu)效度檢驗(yàn)

結(jié)構(gòu)歸屬檢驗(yàn)是判斷評(píng)估指標(biāo)與想要測(cè)量概念(歸屬維度)之間關(guān)系的方法,判斷歸屬關(guān)系的方式有看同一維度下指標(biāo)間的相關(guān)關(guān)系,指標(biāo)對(duì)測(cè)量概念的解釋程度等。常用的結(jié)構(gòu)歸屬檢驗(yàn)有同質(zhì)性α信度檢驗(yàn)、探索性因子分析和驗(yàn)證信因子分析。

用戶(hù)滿(mǎn)意度評(píng)估模型搭建和檢驗(yàn)方法探討

每種檢驗(yàn)方法都有自己判別指標(biāo)歸屬和模型可靠的標(biāo)準(zhǔn),但是在做指標(biāo)歸屬調(diào)整和指標(biāo)刪減的時(shí)候不應(yīng)該盲從于統(tǒng)計(jì)數(shù)據(jù)是否達(dá)標(biāo),還需要充分考慮指標(biāo)實(shí)際意義、是否有助于我們實(shí)現(xiàn)評(píng)估目標(biāo)等實(shí)際情況進(jìn)行綜合考慮。

四、結(jié)語(yǔ)

用戶(hù)滿(mǎn)意度模型需要跟隨用戶(hù)需求和產(chǎn)品發(fā)展變化而不斷迭代更新,保證評(píng)估模型能反映用戶(hù)需求和業(yè)務(wù)工作。以上是我們?cè)谟脩?hù)滿(mǎn)意度模型搭建和檢驗(yàn)方面的一點(diǎn)經(jīng)驗(yàn),希望能拋磚引玉,歡迎大家交流探討。

 

作者:百度MEUX,百度移動(dòng)生態(tài)用戶(hù)體驗(yàn)設(shè)計(jì)中心,負(fù)責(zé)百度移動(dòng)生態(tài)體系的用戶(hù)/商業(yè)產(chǎn)品的全鏈路體驗(yàn)設(shè)計(jì)。服務(wù)的產(chǎn)品包括百度APP、百度搜索、百度百科、百度網(wǎng)盤(pán)、百度貼吧、百度商業(yè)產(chǎn)品等。

本文由 @百度MEUX 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)許可,禁止轉(zhuǎn)載

題圖來(lái)自Unsplash,基于CC0協(xié)議

更多精彩內(nèi)容,請(qǐng)關(guān)注人人都是產(chǎn)品經(jīng)理微信公眾號(hào)或下載App
評(píng)論
評(píng)論請(qǐng)登錄
  1. 是啊,現(xiàn)在還不太能說(shuō)著什么評(píng)價(jià),期待落地后的成果

    回復(fù)
  2. 阿列克給哇

    來(lái)自北京 回復(fù)
  3. 用戶(hù)滿(mǎn)意度評(píng)估對(duì)企業(yè)生存和產(chǎn)品體驗(yàn)提升都有重要的意義

    來(lái)自廣東 回復(fù)
  4. 不錯(cuò)

    來(lái)自北京 回復(fù)