上周我們分享了抽樣分析，一種很系統(tǒng)的需求挖掘方法，我認(rèn)為無論是策略產(chǎn)品經(jīng)理還是功能產(chǎn)品經(jīng)理，都可以使用這套方法完成挖掘需求的工作。執(zhí)行前，唯一需要確定的事情就是，業(yè)務(wù)或功能當(dāng)前的核心理想態(tài)是什么。有了這個就可以進行需求挖掘和數(shù)據(jù)抽樣分析了。本篇我們分享，策略產(chǎn)品經(jīng)理特有的工作內(nèi)容“效果回歸”。

一、什么是效果回歸？

我們先復(fù)習(xí)下上一篇文章的內(nèi)容：

效果回歸：貫穿策略產(chǎn)品工作的始末，它既是一個策略需求的結(jié)束，也是新需求的開始。因為策略產(chǎn)品經(jīng)理的工作就是在不停的優(yōu)化策略數(shù)據(jù)效果，所以效果回歸即發(fā)生在開發(fā)成果驗收和調(diào)優(yōu)階段，也會發(fā)生在策略上線后的數(shù)據(jù)分析階段。從處理邏輯上講和功能產(chǎn)品經(jīng)理在需求上線前進行成果驗收和上線后進行數(shù)據(jù)分析再次發(fā)起功能迭代的思路差不多。

所以依據(jù)這個邏輯，我們可以將效果回歸分為兩個階段：

1. 開發(fā)過程中的“開發(fā)效果評估”決定項目是否上線，怎么上線。
2. 項目上線后的“數(shù)據(jù)分析，實際效果評估”，確認(rèn)策略對用戶體驗是否有的正向影響，挖掘新需求。

二、開發(fā)效果評估

開發(fā)效果評估是策略產(chǎn)品經(jīng)理的入門工作，為什么這么說呢？在本系列文章《什么是策略產(chǎn)品經(jīng)理》中，我們講過“策略產(chǎn)品通過邏輯描述和效果示例表達產(chǎn)品實現(xiàn)效果，過程中可能需要多個算法邏輯并行，并涉及到很多復(fù)雜的變量”。

在評估的過程中，策略PM需要針對RD開發(fā)出的模型，進行多維的結(jié)果測試，驗證是否滿足需求。經(jīng)過驗證可能算法、邏輯、條件都需要調(diào)整，而具體做不做調(diào)整，怎么調(diào)整只有經(jīng)過效果評估才能知道。所以效果評估是策略產(chǎn)品經(jīng)理必須要做的事情。

1.評估流程

通常情況下，策略需求開發(fā)的過程是這樣的：

1. 需求評審?fù)ㄟ^后，RD進行策略開發(fā)，開發(fā)完成后向PM提交結(jié)果進行效果評估，即送評。
2. PM進行效果評估，看是否滿足目標(biāo)效果。如果滿足則上線，如果不滿足則向RD提出問題點或包含改進意見。然后RD再次進行開發(fā)，開發(fā)完成后再次送評。
3. PM再次進行效果評估，滿足目標(biāo)效果則上線；如果不滿足，那就要再次提問題點，RD繼續(xù)開發(fā)，直到開發(fā)成果滿足目標(biāo)效果。

2.策略質(zhì)量評估

第一篇《什么是策略》中，我們提過：策略的開始需要明確理想態(tài)。而理想態(tài)會針對業(yè)務(wù)的復(fù)雜程度，由多個相對獨立的理想態(tài)組成一個復(fù)雜的核心理想態(tài)。參照這個邏輯，我們可以將一個復(fù)雜的核心策略拆解成多個相對獨立的子策略，它們相互關(guān)聯(lián)，一同服務(wù)于核心策略。

這是一個連帶關(guān)系，也就是說當(dāng)我們調(diào)整一個子策略時，核心策略的效果也可能會隨之變化。這就需要我們在做開發(fā)效果評估時，即要針對單一策略進行“策略質(zhì)量評估”，也要針對整體策略進行“diff評估”。

策略質(zhì)量評估的評估標(biāo)準(zhǔn)由召回率和準(zhǔn)確率組成。

1）召回率：代表策略幫你獲取了多少，你需要獲取的“數(shù)據(jù)”。計算公式如下：

召回率 = 目標(biāo)數(shù)據(jù)中策略實際召回的數(shù)據(jù)量 / 目標(biāo)數(shù)據(jù)的總量

2）準(zhǔn)確率：代表策略幫你獲取的這些數(shù)據(jù)，有多少是有效的。計算公式如下：

準(zhǔn)確率 = 召回數(shù)據(jù)中有效數(shù)據(jù)的量 / 召回數(shù)據(jù)的總量

召回率和準(zhǔn)確率之間是相對矛盾的。向召回率高，你就要增加更多有效的召回元素，放寬召回標(biāo)準(zhǔn)；但是元素多了的話，那準(zhǔn)確率就會下降，因為想準(zhǔn)確率高我們就必須收縮精細(xì)召回標(biāo)準(zhǔn)。

舉例說明：以今日頭條文章收錄的策略為例：

大家都知道，頭條有向全網(wǎng)抓取文章的策略。原理就是機器利用自然語言識別技術(shù)，通過分析文章標(biāo)題和正文內(nèi)容等部分中，分析被定義為某個屬性的關(guān)鍵詞和句式結(jié)構(gòu)的所有量，給文章定類型，是軍事文章還是社會文章等。很多時候，我們?nèi)绻霐U充一個類型的文章量，就要增加相關(guān)關(guān)鍵詞和句式識別的范圍和收錄標(biāo)準(zhǔn)。那這個時候就有可能會把機器認(rèn)為是軍事類文章而內(nèi)容本身為其他類目的文章收錄到軍事類文章中。

例如：某人是軍事類文章作者，他寫了一篇二戰(zhàn)時期各國將領(lǐng)八卦的帖子，文章會涉及到將領(lǐng)人名、國家名和戰(zhàn)場名稱。在召回標(biāo)準(zhǔn)寬松的時候，它可能會被判定為軍事類文章，但實質(zhì)這是一篇八卦閑文，那準(zhǔn)確率自然就下降。

工作中我們需要針對不同的項目目標(biāo)和要解決的不同問題，去分析本次主要是調(diào)整召回率還是調(diào)整準(zhǔn)確率，并且找到二者之間的平衡點。

3.Diff評估

一個由多個策略組成的復(fù)雜策略，各策略之間是相互作用的關(guān)系。針對一個整體策略我們通常綜合兩個衡量標(biāo)準(zhǔn)進行評估，分別是：

• Diff影響面：策略調(diào)整前后，數(shù)據(jù)在前臺展示情況的變化程度。這個結(jié)果通過RD在完成策略開發(fā)后，就能跑出來。
• G：S：B評估：即分析策略結(jié)果中g(shù)ood（有改進的部分）、same（無變化的部分）、bad（變壞了的部分），三類case分別的占比是多少。

舉例說明：依舊用今日頭條內(nèi)容收錄的策略。

軍事文章收錄策略調(diào)整后我們對1000篇文章進行識別，新舊策略識別后的對比結(jié)果如下：共有327個不同結(jié)果。其中，147個新策略識別為軍事文章，舊策略識別為否；180篇新策略識別為否，舊策略識別為是。經(jīng)人工比對，其中234個是新策略對，舊策略錯。57個是新策略錯，舊策略對。還有36個無法明確界定是否是軍事類文章，暫定為same結(jié)果。

評估結(jié)果是：Diff影響面 = 新舊結(jié)果不同的327 / 總樣本量1000 = 32.7% ；G：S：B = 234 ：36 ：57

如果PM覺得這個效果可行，那就可以選擇上線了；如果不可行，我們可以針對bad數(shù)據(jù)再次細(xì)化識別策略，找出問題點，分析原因制定解決方案。

通常我們會發(fā)揚good策略，優(yōu)化bad策略，放緩same數(shù)據(jù)。

三、效果回歸

效果回歸一共分為五步，依次是：

1. 明確目標(biāo)：即策略當(dāng)前的理想態(tài)
2. 建立考核指標(biāo)：理想態(tài)相關(guān)的衡量指標(biāo)
3. 選擇上線方式
4. 依據(jù)考核指標(biāo)收集數(shù)據(jù)
5. 分析問題產(chǎn)出結(jié)論：有沒有達到理想態(tài)，有的話還有沒有改進空間，怎么改進；沒有的話問題出在哪，怎么解決

1、2、4、5步，在上一篇《需求挖掘之抽樣分析》第二節(jié)階段性調(diào)研中有詳細(xì)的說明，此處就不講了，我們詳細(xì)說明下第三步，選擇上線方式。上線方式有兩種可選：

1.全流量上線：

應(yīng)用場景是策略調(diào)整只和本項目有關(guān)，即不存在子與子或子與母之間的策略關(guān)聯(lián)關(guān)系，適用于獨立策略或者是對整體策略無影響的單個策略的迭代。

當(dāng)評估效果很好時，希望盡快上線拿到收益。滿足以上兩個條件即可使用。

2.小流量上線：即 AB test

應(yīng)用場景是策略的調(diào)整會受到其他因素的影響，或者屬于存在子與子或子與母之間的策略關(guān)聯(lián)關(guān)系的個體策略時；或者策略上線后的效果還存在不確定性，需要進行實際的效果驗證時。以上兩個條件滿足任意一條時，就適合選擇小流量上線。

需要注意的是：為了更好的驗證AB test的上線效果，避免其他不可控因素影響效果。我們可以在AB test正式上線前，先對已選好的測試端口抓取一部分?jǐn)?shù)據(jù)，先分析兩個端口的異同點。如果兩個結(jié)果表現(xiàn)相同，則需要更換一個端口；如果結(jié)果不同，則可以上線進行測試。

到此為止，本文分享完畢。

下一篇我們分享《3.1策略需求文檔的編寫》，在這之后我會和大家一起回顧前五篇帖子的內(nèi)容，即“整理策略產(chǎn)品經(jīng)理的工作流程和思考模型”，到時6篇關(guān)于策略產(chǎn)品經(jīng)理的學(xué)習(xí)筆記就算完成了。

策略產(chǎn)品經(jīng)理學(xué)習(xí)筆記目錄：

《策略產(chǎn)品經(jīng)理學(xué)習(xí)筆記， 1.1什么是策略》

《策略產(chǎn)品經(jīng)理學(xué)習(xí)筆記， 1.2什么是策略產(chǎn)品經(jīng)理》

《策略產(chǎn)品經(jīng)理學(xué)習(xí)筆記， 2.1需求挖掘之抽樣分析》

《策略產(chǎn)品經(jīng)理學(xué)習(xí)筆記，2.2需求挖掘之效果回歸》

本文由 @于言某 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可，禁止轉(zhuǎn)載

題圖來自Unsplash，基于CC0協(xié)議