在AI技術(shù)迅猛發(fā)展的時代，產(chǎn)品經(jīng)理的角色和職責(zé)正發(fā)生著深刻的變革。本文將深入剖析AI時代下產(chǎn)品經(jīng)理所需的核心技能與制勝之道，探討如何在這個充滿挑戰(zhàn)和機(jī)遇的環(huán)境中脫穎而出。

對于想學(xué)習(xí)做AI產(chǎn)品經(jīng)理的人來說，OpenAI 的首席產(chǎn)品官凱文·韋爾（Kevin Weil）和 Anthropic 的首席產(chǎn)品官邁克·克里格（Mike Kreiger）的對談是一起不容錯過的節(jié)目，他探討了AI產(chǎn)品開發(fā)的現(xiàn)狀和未來發(fā)展，我總結(jié)了以下五點(diǎn)供大家參閱：

一、擁抱變化，密切溝通

（1）適應(yīng)技術(shù)革新

AI 領(lǐng)域的技術(shù)革新速度堪稱驚人，每隔兩個月計算能力就會有新的突破，這就讓產(chǎn)品的規(guī)劃和設(shè)計不能再遵循以往的固定模式。產(chǎn)品經(jīng)理需要時刻關(guān)注這些技術(shù)進(jìn)步，并思考如何將它們巧妙地融入到產(chǎn)品之中。

（2）管理不確定性

在產(chǎn)品開發(fā)的過程中，隨著新模型的訓(xùn)練，一些新的功能會逐漸浮現(xiàn)。這讓開發(fā)初期充滿了不確定性，產(chǎn)品經(jīng)理往往只能看到一個模糊的輪廓，不清楚它最終能否實(shí)現(xiàn)，也無法準(zhǔn)確地預(yù)估它的成功率。在這種情況下，產(chǎn)品的設(shè)計思路就需要不斷調(diào)整和適應(yīng)，而與研究團(tuán)隊保持緊密溝通，成了產(chǎn)品經(jīng)理的日常工作。

二、策略制定，決策價值

當(dāng)模型準(zhǔn)確率處于 60% 的水平時，產(chǎn)品開發(fā)策略成了一個關(guān)鍵問題。盡管模型的發(fā)展方向存在著一定的不確定性，但并非毫無頭緒。

首先，產(chǎn)品團(tuán)隊需要從產(chǎn)品側(cè)出發(fā)，確定哪些功能值得投入資源進(jìn)行開發(fā)，然后與研究團(tuán)隊一起微調(diào)。

其次，當(dāng)某個功能的完成度達(dá)到 60% 的時候，比如 Anthropic 的 Computer Use 功能，就考慮將它推向市場了。這種做法的關(guān)鍵在于改變對產(chǎn)品開發(fā)的傳統(tǒng)認(rèn)知。產(chǎn)品在這個階段的輸出更像是一種展示或信息傳遞，目的是激發(fā)更多的產(chǎn)品創(chuàng)意，為后續(xù)的改進(jìn)和完善提供依據(jù)。

再比如，Github Copilot 在發(fā)布時所使用的模型其實(shí)并不是最先進(jìn)的版本，在編程相關(guān)任務(wù)上的準(zhǔn)確率也并不完美，但它依然為用戶帶來了顯著的價值。所以即使模型的結(jié)果并不完全準(zhǔn)確，但如果能夠幫助用戶在一個任務(wù)中節(jié)省五到十分鐘，這對于用戶來說就是有價值的。

三、明確對”成功”概念的定義：撰寫評估標(biāo)準(zhǔn)

（1）評估的關(guān)鍵作用

當(dāng)前 AI 模型的發(fā)展瓶頸更多地體現(xiàn)在評估環(huán)節(jié)而非智能本身。也就是說，模型實(shí)際上具備在更廣泛領(lǐng)域內(nèi)發(fā)揮更準(zhǔn)確作用的潛力，但前提是要為它們提供合適的評估標(biāo)準(zhǔn)和特定領(lǐng)域的知識引導(dǎo)。這些知識可能并不包含在模型最初的訓(xùn)練集中，需要產(chǎn)品經(jīng)理和研究團(tuán)隊共同努力為模型指引方向，才能更好地適應(yīng)不同的應(yīng)用場景。

通過明確對”成功”概念的定義，產(chǎn)品團(tuán)隊可以根據(jù)評估結(jié)果來逐步優(yōu)化產(chǎn)品，這也是將產(chǎn)品任務(wù)完成度從 60% 提升到 85% 的關(guān)鍵所在。

（2）評估能力的培養(yǎng)

產(chǎn)品經(jīng)理需要深刻理解什么是好的評估，什么是差的評估，從而在產(chǎn)品開發(fā)過程中做出更明智的決策。建議產(chǎn)品經(jīng)理要通過深入研究實(shí)際的數(shù)據(jù)來培養(yǎng)直覺，哪怕只是抽樣分析，通過思考”是否需要改進(jìn)評估標(biāo)準(zhǔn)”或者”盡管評估分?jǐn)?shù)不高，但產(chǎn)品整體表現(xiàn)是否還不錯”等問題，來提升對評估的理解和把握能力。

（3）評估標(biāo)準(zhǔn)的演變

隨著模型向處理更長的上下文或者智能 Agent 的方向發(fā)展，評估問題會變得更加復(fù)雜，這就要求評估標(biāo)準(zhǔn)更加靈活。產(chǎn)品經(jīng)理需要不斷調(diào)整和改變評估方式來適應(yīng)復(fù)雜多變的情況。而且，評估的性質(zhì)也在發(fā)生變化，它越來越類似于績效考核，而不再僅僅是簡單的對錯判斷。

產(chǎn)品經(jīng)理需要考慮：

• 模型是否達(dá)到了一個稱職人類所能達(dá)到的水平？
• 是否超出了用戶的預(yù)期？
• 當(dāng)模型在某些任務(wù)上已經(jīng)超越了人類的表現(xiàn)，由人類來制定評估標(biāo)準(zhǔn)的意義是什么？

四、具備技術(shù)素養(yǎng)：利用模型進(jìn)行原型設(shè)計

需要對技術(shù)研究有一定的認(rèn)識，花費(fèi)時間去學(xué)習(xí)相關(guān)的技術(shù)術(shù)語，并且逐漸建立起對技術(shù)運(yùn)作機(jī)制的直覺。在討論用戶界面的設(shè)計方案或者用戶需求時，產(chǎn)品經(jīng)理可以借助大模型來生成不同 UI 設(shè)計方案或者原型做demo演示。

此外，除了一些簡單的任務(wù)以外，面對如今越來越復(fù)雜的任務(wù)，多模型協(xié)同也已經(jīng)成為一種關(guān)鍵策略。在實(shí)際應(yīng)用中，公司極少單純依賴單個模型來處理特定的問題，尤其是對于高級客戶的需求以及公司內(nèi)部的業(yè)務(wù)場景來說。因?yàn)椴煌哪Ｐ陀兄髯元?dú)特的優(yōu)勢，所以可以根據(jù)具體情況將它們組合起來，形成高效的工作流程和編排模式。以 o1 模型為例，它的表現(xiàn)更像是人類在解決難題時的思考過程，所以它在查詢的時候，不是立即輸出結(jié)果，而是會暫停下來進(jìn)行思考，這個思考時間可能在 30 到 60 秒。但是在一些需要即時反饋的情境中，比如在線客服系統(tǒng)，用戶是無法接受等待 60 秒才得到回復(fù)的。所以這時多模型協(xié)同就顯得尤為重要，比如安排一些模型先快速地回復(fù)，然后再讓 o1 提供深入的思考，甚至再安排一個模型進(jìn)行復(fù)查。通過這種方式，公司能夠充分發(fā)揮各個模型的優(yōu)勢，從復(fù)雜的模型組合中獲取巨大的價值，這與人類在完成復(fù)雜任務(wù)時，依靠不同專長的人合作的方式是相似的。

五、面向 AI 系統(tǒng)的隨機(jī)性和不確定性設(shè)計策略

（1）建立反饋機(jī)制

與傳統(tǒng)的軟件系統(tǒng)不同，AI 模型的輸出并不是完全可預(yù)測的。在這種情況下，產(chǎn)品經(jīng)理需要建立有效的反饋機(jī)制，來實(shí)現(xiàn)系統(tǒng)的閉環(huán)管理。例如，當(dāng)模型的輸出偏離預(yù)期的時候，產(chǎn)品經(jīng)理需要有方法來判斷這種偏離是否在可接受范圍內(nèi)，如何快速地收集用戶的反饋信息，以及如何設(shè)置合理的防護(hù)措施，來避免模型出現(xiàn)嚴(yán)重的錯誤。

（2）整體性能監(jiān)控

產(chǎn)品經(jīng)理需要從整體上了解模型在大量用戶使用過程中的表現(xiàn)情況。這與傳統(tǒng)的軟件 bug 反饋有著本質(zhì)的區(qū)別，傳統(tǒng)的軟件問題通常表現(xiàn)為明確的”點(diǎn)擊按鈕沒反應(yīng)”這些現(xiàn)象，而 AI 模型的問題可能會更加復(fù)雜和隱蔽，需要產(chǎn)品經(jīng)理從多個維度進(jìn)行分析和處理。

（3）用戶體驗(yàn)設(shè)計

在適應(yīng)這種非確定性用戶界面的過程中，產(chǎn)品經(jīng)理不僅要自己理解和接受這種變化，還要站在用戶的角度思考問題。因?yàn)閷τ诖蠖鄶?shù)用戶來說，這種違背傳統(tǒng)電腦使用直覺的情況可能會讓他們感到困惑。產(chǎn)品經(jīng)理需要考慮如何在產(chǎn)品設(shè)計中減少這種困惑，同時利用這種新特性為用戶創(chuàng)造更好的體驗(yàn)。

希望對你有所幫助。