產(chǎn)品在上線新功能之前，往往需要先做灰度測(cè)試，那么灰度測(cè)試的難點(diǎn)在哪里？其中，如何定義灰度測(cè)試的標(biāo)準(zhǔn)就是難點(diǎn)之一。這篇文章里，作者結(jié)合實(shí)戰(zhàn)經(jīng)驗(yàn)，針對(duì)灰度標(biāo)準(zhǔn)如何定這個(gè)問題做了解讀，一起來看看吧。

我們?cè)谏暇€一個(gè)新功能前，如果沒把握，都會(huì)做灰度測(cè)試，那么灰度測(cè)試的難點(diǎn)在哪里呢？

筆者認(rèn)為如何定灰度測(cè)試的標(biāo)準(zhǔn)往往是難點(diǎn)。

一、結(jié)合測(cè)試目標(biāo)定灰度標(biāo)準(zhǔn)

定標(biāo)準(zhǔn)前，需要先明確灰度測(cè)試的目的是什么？

是檢測(cè)性能問題，還是想看體驗(yàn)效果。

比如如果灰度測(cè)試的標(biāo)準(zhǔn)是檢測(cè)性能問題，那么往往在灰度測(cè)試前，都會(huì)做壓測(cè)（壓力測(cè)試），模擬線上的流量環(huán)境，提高灰度測(cè)試的準(zhǔn)確性。

在灰度之后，如果發(fā)現(xiàn)性能受到較大影響，一般會(huì)做回滾（定位到新功能代碼行，下架新代碼，仍然復(fù)用老代碼），當(dāng)然一般開發(fā)都會(huì)在新功能代碼行處設(shè)置開關(guān)，當(dāng)出現(xiàn)性能問題后，直接關(guān)閉開關(guān)即可。而做性能檢測(cè)的難點(diǎn)在于模擬壓力測(cè)試的環(huán)境，壓測(cè)的環(huán)境越真實(shí)，檢測(cè)的標(biāo)準(zhǔn)真實(shí)度越高。

而如果是想看體驗(yàn)效果，例如上線新功能后，想查看新功能用戶的點(diǎn)擊率如何？

此時(shí)就涉及到灰度標(biāo)準(zhǔn)的制定。比如小紅書，當(dāng)你發(fā)布一篇小紅書筆記后，小紅書會(huì)先選定100人的范圍，可能涉及到發(fā)布筆記的話題，同城，女性等標(biāo)準(zhǔn)，在100人的范圍內(nèi)點(diǎn)擊數(shù)據(jù)理想，將會(huì)繼續(xù)釋放流量到500人范圍，以此類推，當(dāng)你的筆記獲得更多收藏和贊，會(huì)獲得更多流量助推。其實(shí)這個(gè)本質(zhì)上也是灰度測(cè)試。

二、計(jì)算“最小可靠性樣本”，定最佳樣本數(shù)

灰度測(cè)試的樣本數(shù)應(yīng)該如何選取呢？大多數(shù)情況下，測(cè)試樣本數(shù)是越多越好。但是如果沒有定好方案，那么將會(huì)影響最終測(cè)試的效果。

這里提供一個(gè)灰度測(cè)試樣本數(shù)計(jì)算網(wǎng)址，使用它便可以快速計(jì)算出樣本總數(shù)。

灰度實(shí)驗(yàn)組的人數(shù)為“最小可靠性樣本”?？梢酝ㄟ^這個(gè)網(wǎng)站來計(jì)算合適的人數(shù)：Evan’s Awesome A/B Tools。標(biāo)紅的部分即為最佳樣本數(shù)，至于計(jì)算原理和使用網(wǎng)站方法，大家可以自行百度，有各類文章可供參考。

三、顆粒度都會(huì)從粗到細(xì)，多次灰度

例如“文心一言”大模型剛面世的時(shí)候，篩選了一批用戶優(yōu)先體驗(yàn)。這其實(shí)本質(zhì)上也是灰度測(cè)試，而優(yōu)先獲得文心一言試用機(jī)會(huì)的，也許是這樣一些標(biāo)簽：高頻篩選“大模型”用戶、高頻搜素ChatGPT用戶等。那么回到最初的問題，灰度的標(biāo)準(zhǔn)應(yīng)該如何定呢？

一般灰度測(cè)試顆粒度都會(huì)從粗到細(xì)去制定，顆粒度的制定當(dāng)然前提是來源于公司是否有該字段數(shù)據(jù)庫的支持。

比如公司主打做旅游市場(chǎng)的汽車租賃服務(wù)，根據(jù)前期調(diào)研，發(fā)現(xiàn)疫情后，旅游業(yè)將迎來小高峰，很多自駕游游客都會(huì)選擇環(huán)島游，汽車租賃服務(wù)必然會(huì)非常受歡迎。因此公司計(jì)劃在海島附近開設(shè)汽車租賃服務(wù)。

在平臺(tái)開設(shè)租賃服務(wù)方案后，不確定該租賃服務(wù)上線后市場(chǎng)的接受度，需要先選取最小可靠性樣本?？煽啃詷颖緩淖铋_始的粗顆粒度：旅行目的地“海島、”旅行方式“自駕”，先回收一批用戶的測(cè)試數(shù)據(jù)，再慢慢細(xì)化顆粒度，比如旅行天數(shù)（30天內(nèi)、10天內(nèi)、5天內(nèi)）、旅行人數(shù)（家庭游、親子游、情侶游）、旅行交通費(fèi)用（1000、2000、3000）等字段對(duì)租賃方案的接受度各自如何。

多次灰度后，分析用戶數(shù)據(jù)，哪部分用戶會(huì)選擇汽車租賃服務(wù)。從而推動(dòng)租賃方案進(jìn)一步完善和精準(zhǔn)化投放。

而如果在細(xì)化顆粒度的過程中，數(shù)據(jù)庫缺少該字段，比如旅行交通費(fèi)用不在數(shù)據(jù)庫字段中，那么則無法就這一項(xiàng)做為灰度測(cè)試的標(biāo)準(zhǔn)。

以上是筆者在實(shí)戰(zhàn)中的一點(diǎn)心得，希望能幫助到大家。