不少剛?cè)腴T的產(chǎn)品經(jīng)理在面對(duì)復(fù)雜的需求時(shí)很難推動(dòng)項(xiàng)目的高效落地，畢竟很多項(xiàng)目是要通過(guò)實(shí)驗(yàn)需求才能看清效果的。面對(duì)這種情況，產(chǎn)品經(jīng)理可以做什么？本文作者解答了在推動(dòng)產(chǎn)品落地過(guò)程中的常見(jiàn)問(wèn)題，一起來(lái)看看吧。

在我們?nèi)粘５漠a(chǎn)品工作工作中，有兩個(gè)模塊非常核心：

1. 設(shè)計(jì)/產(chǎn)出需求文檔
2. 上線后拿到效果

客觀來(lái)說(shuō)，完整地執(zhí)行好這兩部分，需要很多的精力和經(jīng)驗(yàn)才能不踩坑。

很多高階產(chǎn)品經(jīng)理，在面對(duì)一個(gè)項(xiàng)目(多個(gè)需求的集合)時(shí)，依然不能高效落地，原因就在于沒(méi)有一套方法論，或者沒(méi)有很好地復(fù)盤之前踩的坑。

今天，我們主要來(lái)說(shuō)一下，作為一個(gè)想要晉升/已經(jīng)高階的產(chǎn)品經(jīng)理，如何做到高效、高質(zhì)量的落地。

首先，很多需求/項(xiàng)目是需要做AB實(shí)驗(yàn)、分析埋點(diǎn)、或者用戶調(diào)研來(lái)看清效果的，簡(jiǎn)稱為“實(shí)驗(yàn)”需求（即這個(gè)需求不是100%有正向收益，需要實(shí)驗(yàn)后才能明確）。

其次，實(shí)驗(yàn)是一套新的方法論，相較于做一些普通功能來(lái)說(shuō)，有以下特點(diǎn)/難點(diǎn)：流程長(zhǎng)、復(fù)雜度高、易遇突發(fā)問(wèn)題、考量因素多。我們做的重點(diǎn)需求/項(xiàng)目，基本都是實(shí)驗(yàn)需求。

一、以例子開(kāi)頭

有個(gè)需求是「給體驗(yàn)不好的用戶發(fā)券，降流失」，遇到了幾個(gè)問(wèn)題：

1. 上線后出現(xiàn)bug：需求文檔上寫(xiě)明了——只適用于新用戶，但后續(xù)環(huán)節(jié)出現(xiàn)問(wèn)題、導(dǎo)致老用戶也收到了券。不僅實(shí)驗(yàn)進(jìn)度受了影響，而且花出去的錢浪費(fèi)了。
2. 改了老bug，來(lái)了新bug：基于1的問(wèn)題，技術(shù)改了，沒(méi)想到又引發(fā)新問(wèn)題。實(shí)驗(yàn)暫停。
3. 取不到數(shù)，無(wú)法進(jìn)行分析：由于底層數(shù)據(jù)的問(wèn)題，出現(xiàn)了意料外的情況，實(shí)驗(yàn)進(jìn)度受了影響。
4. 實(shí)驗(yàn)效果有負(fù)向，怎么辦：是不是需要優(yōu)化實(shí)驗(yàn)方案？還是放棄這個(gè)實(shí)驗(yàn)方向？還是數(shù)據(jù)分析有問(wèn)題？

以上問(wèn)題易發(fā)，產(chǎn)品經(jīng)理只能被動(dòng)解決。雖然不完全是產(chǎn)品的鍋，但作為owner，會(huì)受到各種質(zhì)疑和責(zé)問(wèn)，長(zhǎng)此以往將失去老板、協(xié)作方的信任。

二、掌握主動(dòng)權(quán)，產(chǎn)品經(jīng)理可以做什么？

實(shí)驗(yàn)=做不明確的事，要快、準(zhǔn)、狠地找到解法/結(jié)論。

首先要準(zhǔn)（方向），找準(zhǔn)方向，事半功倍。（經(jīng)驗(yàn)/數(shù)據(jù)/用研的指導(dǎo)）

其次要快（效率），天下武功、唯快不破。（落地不delay）

再次要狠（成本），學(xué)會(huì)決策，不斷迭代。（實(shí)驗(yàn)不成功，及時(shí)轉(zhuǎn)變方向/調(diào)整方案）

以上為實(shí)驗(yàn)的指導(dǎo)方針，那么具體怎么做到呢？

首先，定義實(shí)驗(yàn)中的關(guān)鍵流程和約束條件。

1. 關(guān)鍵流程：我總結(jié)為四要素，好設(shè)計(jì)→控時(shí)間→保品質(zhì)→拿結(jié)果。
2. 約束條件：時(shí)間(要求最晚上線時(shí)間)，人力資源(需要開(kāi)發(fā)、運(yùn)營(yíng)、數(shù)據(jù)分析師、客服等協(xié)同)，不能有PR/法務(wù)風(fēng)險(xiǎn)，ROI投入產(chǎn)出比必須≥1.5，等等。

其次，規(guī)避“關(guān)鍵流程”里的“約束條件”下的坑。

在前面列舉的約束條件下，會(huì)踩很多坑，不如：

• 求快，那么開(kāi)發(fā)周期就要縮短，質(zhì)量和功能完整度就會(huì)打折扣。
• ROI約束，那么發(fā)券的范圍、優(yōu)惠額度會(huì)收窄，導(dǎo)致驗(yàn)證不出實(shí)驗(yàn)效果。

那么，如何找到最優(yōu)解、盡量避坑呢？

1. 好設(shè)計(jì)：磨刀不誤砍柴工

追求短時(shí)間的快，可能帶來(lái)長(zhǎng)時(shí)間的慢。

a. 功能設(shè)計(jì)：實(shí)驗(yàn)一般都先做一個(gè)MVP極簡(jiǎn)版本，需要明確定義核心要素——保留對(duì)實(shí)驗(yàn)結(jié)果影響較大/有指導(dǎo)意義的要素。

比如要做用戶任務(wù)、完成任務(wù)給予獎(jiǎng)勵(lì)，需要同時(shí)保留后端邏輯和前端感知（均對(duì)任務(wù)完成率有較大影響），任務(wù)配置后臺(tái)就不用做。

b. 實(shí)驗(yàn)設(shè)計(jì)： 并聯(lián)效率≥串聯(lián)，分多個(gè)實(shí)驗(yàn)組，驗(yàn)證多個(gè)猜測(cè)、更好地指導(dǎo)迭代。比如：

• 給用戶發(fā)券，想了解哪種券ROI最高，可以分幾個(gè)實(shí)驗(yàn)組發(fā)不同金額的券。
• 評(píng)估實(shí)驗(yàn)效果，數(shù)據(jù)分析師寫(xiě)sql跑數(shù) or 實(shí)驗(yàn)后臺(tái)能直接看到數(shù)據(jù)，當(dāng)然后者更方便且錯(cuò)誤率低。

c. 定義實(shí)驗(yàn)指標(biāo)： 指標(biāo)直接關(guān)系著效果評(píng)估、實(shí)驗(yàn)成敗，放在后面環(huán)節(jié)來(lái)說(shuō)。

d. 技術(shù)方案設(shè)計(jì)： 缺失該環(huán)節(jié)，可能導(dǎo)致取不到數(shù)/取數(shù)不準(zhǔn)/迭代困難。 在需求評(píng)審or開(kāi)發(fā)階段，需要和數(shù)據(jù)分析師、技術(shù)一起明確技術(shù)方案（關(guān)注要點(diǎn)即可，不必面面俱到）。

比如底層表里沒(méi)有某項(xiàng)數(shù)據(jù)，大家均自信認(rèn)為有，結(jié)果到了評(píng)估階段，技術(shù)發(fā)現(xiàn)問(wèn)題、數(shù)據(jù)分析師發(fā)現(xiàn)取不到數(shù)。

2. 控時(shí)間：定好排期后、減少delay

Q：如何防范delay風(fēng)險(xiǎn)？

A：排除掉外部因素，基本就是人的因素，所以我們要針對(duì)人。以下主要說(shuō)核心參與人員的避坑。

• 針對(duì)能力尚缺的人（評(píng)估失誤），復(fù)雜的實(shí)驗(yàn)需要技術(shù)評(píng)審且技術(shù)leader要在，double確認(rèn)排期、并確認(rèn)開(kāi)發(fā)難點(diǎn)（憑經(jīng)驗(yàn)）有無(wú)問(wèn)題；
• 針對(duì)沒(méi)有承諾意識(shí)的人（不去彌補(bǔ)、認(rèn)為提前告知風(fēng)險(xiǎn)就沒(méi)有責(zé)任），和技術(shù)leader一起溝通、復(fù)盤問(wèn)題；
• 同時(shí)，PM需要強(qiáng)調(diào)“排期準(zhǔn)確性的重要程度=實(shí)驗(yàn)質(zhì)量”，排期即為ddl（最晚上線時(shí)間）。

舉個(gè)例子，實(shí)驗(yàn)A邏輯比較復(fù)雜，需要多部門協(xié)同，技術(shù)變更了兩次排期。

• 第一次變更：技術(shù)開(kāi)發(fā)了一半，發(fā)現(xiàn)開(kāi)發(fā)時(shí)間要拉長(zhǎng)。
• 第二次變更：技術(shù)反饋開(kāi)發(fā)復(fù)雜度高、測(cè)試需要更嚴(yán)謹(jǐn)、又拉長(zhǎng)了測(cè)試周期。

在做復(fù)盤時(shí)，大家對(duì)問(wèn)題產(chǎn)生的原因描述如下（不討論各人能力問(wèn)題）：

• 技術(shù)：產(chǎn)品急著要排期，所以對(duì)時(shí)間評(píng)估不充分。
• 產(chǎn)品：很委屈，早前和技術(shù)確認(rèn)、給了幾天完整的時(shí)間用于評(píng)估，且技術(shù)從未反饋時(shí)間不夠。
• 產(chǎn)品：第二次時(shí)間變更，未提前告知我，是測(cè)試介入時(shí)間拉長(zhǎng)、才發(fā)現(xiàn)的。

Q：怎么約束人的行為？

A：在實(shí)際情況中，我們能做的有限。

這類人在工作中遇到的并不多，以后的需求留個(gè)心眼，做一個(gè)僅對(duì)ta催命的PMO。

另外，遇到此類情況，需要及時(shí)復(fù)盤，減少以后出現(xiàn)的概率。

3. 保品質(zhì)：bug降發(fā)生、及時(shí)發(fā)現(xiàn)

• bug的出現(xiàn)：源于測(cè)試case的不完整，特別是邊界case、不好構(gòu)造的場(chǎng)景、測(cè)試不知道的改動(dòng)點(diǎn)。（不是說(shuō)測(cè)試人員有問(wèn)題，而是整體協(xié)作的問(wèn)題）
• bug的發(fā)現(xiàn)：反饋渠道有限，比如進(jìn)線、自己遇到、達(dá)到閾值報(bào)警，也有可能直到實(shí)驗(yàn)全量都不會(huì)發(fā)現(xiàn)。

Q：如何保障實(shí)驗(yàn)質(zhì)量？

A：最擔(dān)心的兩個(gè)問(wèn)題：

-實(shí)驗(yàn)沒(méi)法看效果（沒(méi)生效或出了bug或數(shù)據(jù)紊亂）；

-實(shí)驗(yàn)影響了別人（造成事故）。

所以，站好owner的崗，必須做好以下4件事：

1. 定義最小驗(yàn)收成本：定義能保證實(shí)驗(yàn)正常運(yùn)轉(zhuǎn)的產(chǎn)品驗(yàn)收case；推動(dòng)測(cè)試case評(píng)審。

2. 定義最大適用范圍：需求文檔里專列一個(gè)模塊，標(biāo)注適用和不適用的情況，和RD、QA強(qiáng)調(diào)一定要測(cè)試到。

3. 監(jiān)控：基于實(shí)驗(yàn)風(fēng)險(xiǎn)程度和重要性去評(píng)估要不要做。有兩大作用：控制風(fēng)險(xiǎn)——超出閾值代表著「量級(jí)超出預(yù)期、可能存在bug」，比如大范圍發(fā)券，一定要有閾值控制。保證質(zhì)量——低于閾值代表著「量級(jí)太小，不滿足評(píng)估條件、或者實(shí)驗(yàn)未生效」，用于及時(shí)發(fā)現(xiàn)問(wèn)題。

4. 改動(dòng)必回歸：每一次的改動(dòng)，都要及時(shí)回歸，可以找測(cè)試幫忙。比如改了bug后、又影響了其他地方，如果沒(méi)有監(jiān)控、且未回歸，就容易留坑。

4. 拿結(jié)果：≠拿收益，只是驗(yàn)證對(duì)錯(cuò)

我們需要正視的是，實(shí)驗(yàn)結(jié)果不一定是好的，甚至有可能負(fù)向。此時(shí)，我們應(yīng)該有兩種思路：

實(shí)驗(yàn)結(jié)果是準(zhǔn)確的嗎？——嘗試去驗(yàn)證/發(fā)現(xiàn)問(wèn)題。

實(shí)驗(yàn)結(jié)果是可改變的嗎？——嘗試去迭代/優(yōu)化。

如果以上均告失敗，那么，該轉(zhuǎn)變實(shí)驗(yàn)方向了。

Q：沒(méi)提升「某一核心指標(biāo)」的實(shí)驗(yàn)=失敗？

A：不是。 拿轉(zhuǎn)化率來(lái)說(shuō)，它可能是一級(jí)/核心指標(biāo)，但不是衡量成功失敗的唯一指標(biāo)。如果一個(gè)實(shí)驗(yàn)沒(méi)能提升用戶的轉(zhuǎn)化率、但提升了用戶留存率，從長(zhǎng)期來(lái)看也是成功的。

1. 每個(gè)實(shí)驗(yàn)指標(biāo)不是唯一的，可以有很多輔助指標(biāo)（用戶頻次、活躍、留存、功能埋點(diǎn)等），幫助分析問(wèn)題、review實(shí)驗(yàn)價(jià)值。
2. 轉(zhuǎn)化率的特性在于當(dāng)時(shí)的刺激（比如優(yōu)惠券刺激轉(zhuǎn)化）等，如果要看實(shí)驗(yàn)的長(zhǎng)期潛價(jià)值，可能需要其他指標(biāo)的輔助（比如用戶留存）。

Q：如何定義輔助指標(biāo)？

A：需要基于公司大目標(biāo)、實(shí)驗(yàn)內(nèi)容來(lái)靈活調(diào)整。比如公司大目標(biāo)是訂單量增長(zhǎng)，那么：

核心指標(biāo)應(yīng)該是訂單量。

二級(jí)指標(biāo)，比較通用的是用戶量、人均下單頻次、轉(zhuǎn)化率這些。

三級(jí)指標(biāo)，需要基于單個(gè)實(shí)驗(yàn)內(nèi)容，比如曝光、點(diǎn)擊、停留時(shí)長(zhǎng)等。

Q：效果不達(dá)預(yù)期怎么辦？

A：有三種情況。

一是環(huán)節(jié)問(wèn)題，太多地方能出問(wèn)題了——方案設(shè)計(jì)不合理、存在bug、取數(shù)口徑…

二是評(píng)估問(wèn)題，可以精細(xì)化拆解，通用方式是城市差異、新老用戶差異等。

三是方向問(wèn)題，沒(méi)有bug、沒(méi)有錯(cuò)誤，只是因?yàn)閷?shí)驗(yàn)方向不對(duì)、對(duì)未來(lái)預(yù)判錯(cuò)誤，不過(guò)這個(gè)點(diǎn)比較難被接受。

以上，希望能幫到你。歡迎補(bǔ)充和提問(wèn)~

本文由 @小喬 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可，禁止轉(zhuǎn)載。

題圖來(lái)自 Unsplash，基于 CC0 協(xié)議