拒絕薅羊毛行為:AI產(chǎn)品經(jīng)理的工作全流程揭秘
這篇文章的筆者主要講的是舉了一個可以篩選出愛薅羊毛用戶的項目例子,從而介紹關于AI產(chǎn)品落地的流程分析,大家一起往下看看吧!
上文簡述了人工智能、機器學習、深度學習和大模型的概念和關系,讓大家對這些名詞有了一個初步的印象。
今天我們通過一個篩選出薅羊毛用戶的項目,了解AI項目從0到上線的全流程,在此過程中,大家可以了解到產(chǎn)品經(jīng)理在每個環(huán)節(jié)中的職責和產(chǎn)出,對以后的學習和工作會很有幫助。
一、項目背景
有段時間,我發(fā)現(xiàn)負責的項目數(shù)據(jù)統(tǒng)計有些異常,細查之后,發(fā)現(xiàn)存在夜間偷數(shù)據(jù)的情況,大致行為路徑如下:
- 淘寶上買一批手機號,注冊新賬號。
- 通過自動薅羊毛的方式(新手禮包、每日簽到、周任務等),獲取免費券等資源。
- 夜深人靜的時候,使用免費券或積分批量下載數(shù)據(jù)。
亡羊補牢,猶未晚矣。我們決定開發(fā)一套篩選薅羊毛用戶的產(chǎn)品,徹底堵住這個缺口。
二、產(chǎn)品定義
這個環(huán)節(jié)需要確定該項目的預期目標,定義要解決的具體問題。
在和運營同事溝通后,確定了產(chǎn)品需求如下:
- 在領取新手禮包或周任務獎勵時,需要用戶綁定手機號(薅羊毛時簡單卡一下,以免影響正常的用戶體驗)。
- 在使用券進行下載操作時,判斷是薅羊毛用戶的概率,并根據(jù)概率高低分成 正常、疑似、高危 三類。
- 針對“疑似”用戶,就觸發(fā) 極驗 或 驗證碼校驗 等邏輯。針對高危用戶,就鎖定賬號,并在激活時要求綁定微信,避免再出現(xiàn)大量偷數(shù)據(jù)的情況。
其中AI相關的需求拆解如下:
- 基本需求:通過算法判斷用戶是否為薅羊毛用戶,并根據(jù)概率分為 正常、疑似、高危 三類。
- 離線/實時模式:支持實時判斷,所以應該定義為實時模型。
- 覆蓋率:期望該模型的覆蓋率為100%,面向所有用戶。
- 傾向:盡可能找出所有羊毛黨,追求高“召回率”,可以接受一定程度的誤報。寧可錯殺一千,不可放過一個。
三、技術預研
產(chǎn)品經(jīng)理把需求同步給技術,技術需要預判現(xiàn)有的數(shù)據(jù)和算法是否可支撐需求實現(xiàn)。
如果現(xiàn)有數(shù)據(jù)不滿足需求,要么增加埋點補齊數(shù)據(jù),要么想辦法獲取目標數(shù)據(jù),要么替換成其他類似數(shù)據(jù)。
如果算法支持度不夠,可能需要調整需求內容,以便達到更適配的效果。
以該項目為例,實時模式的話,可能會對原業(yè)務的響應速度有一定影響,所以最后調整為離線模型,每天定時處理前一天的用戶數(shù)據(jù)。
四、數(shù)據(jù)收集
接下來,就要根據(jù)技術預研的結果,從各種來源收集需要的數(shù)據(jù)了。
產(chǎn)品經(jīng)理需要基于對業(yè)務的深度理解,判斷哪些數(shù)據(jù)、哪些特征對模型提升有幫助,把自己想到的要點和技術溝通,得到更完善的數(shù)據(jù)集,再動手去獲取數(shù)據(jù)。
比如該用戶是否主要在夜間活動?操作頻率是否過高?短時間內同一臺終端是否登錄過多個用戶?用戶是否觸發(fā)過新手引導?
盡可能準確的找到羊毛黨用戶的特征,對模型質量的提升會有極大的幫助。
獲取數(shù)據(jù)時,不局限于自身的業(yè)務數(shù)據(jù),還可以獲取公司內的中臺數(shù)據(jù),甚至可以購買第三方外部數(shù)據(jù),或與其他公司聯(lián)合建模。
五、模型構建
數(shù)據(jù)收集之后,就可以進入模型構建環(huán)節(jié)了。
模型構建主要是技術的工作,但是產(chǎn)品經(jīng)理也必須知道具體的構建流程,以便更好的配合和溝通,進而準確把控項目進度。
模型構建流程大概包括算法選擇、特征工程、模型訓練、模型驗證和模型融合等步驟,下篇文章我們會詳細介紹。
六、模型宣講、評估和驗收
模型構建完成后,產(chǎn)品經(jīng)理需要組織技術宣講訓練好的模型,介紹內容如下:
- 使用的什么算法?為什么選這個算法?
- 選用了哪些特征。
- 訓練集、測試集的大致情況。
- 模型的測試結果。
- 是否達到了預期?哪些指標未達預期?未達預期的原因是什么。
宣講之后,產(chǎn)品經(jīng)理需要對模型進行評估和驗收,該環(huán)節(jié)也非常重要,至于如何選擇合適的評估指標,后續(xù)章節(jié)會詳細介紹。
如果評估結果有瑕疵,還需要對模型進行優(yōu)化,優(yōu)化方式可能是調整算法參數(shù),也可能是調整特征,直到達到滿意的效果為止,驗收通過。
七、業(yè)務開發(fā)并上線
驗收通過之后,技術會把模型部署到線上,并按之前和業(yè)務開發(fā)同事約定的接口提供能力。
業(yè)務開發(fā)完成相應功能后,和模型接口聯(lián)調通過,就可以進入常規(guī)的走查、測試、上線流程了。
需要注意的是,模型上線后,還需要持續(xù)監(jiān)控模型的效果,若運行一段時間后,發(fā)現(xiàn)模型效果有明顯衰減,就需要分析原因,并針對性的升級模型。
八、總結
本文通過一個篩選出薅羊毛用戶的項目,簡單介紹了AI產(chǎn)品落地的全流程。下篇文章,我會詳細介紹模型構建環(huán)節(jié)的詳細內容,敬請期待。
本文由 @AI小當家 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)許可,禁止轉載
題圖來自 Unsplash,基于 CC0 協(xié)議
該文觀點僅代表作者本人,人人都是產(chǎn)品經(jīng)理平臺僅提供信息存儲空間服務。
例子追求高召回率的同時,是不是也要高精確率,因為過多的誤殺會嚴重影響正常用戶的體驗,得不償失
個人看法,當然越準確越好了,但是一開始模型還沒搭建出來總歸要有取舍,這是個假設的例子,得先有數(shù)據(jù)再定下一個目標,比如穩(wěn)定運行后誤殺率是50%,下個階段目標是20%
學習到了!謝謝分享。