新功能上線後，產品經理一般會對新功能進行數據驗收及彙報，以驗證數據效果及指導下一步的方向。
但是你有沒有遇到數據驗收被領導挑戰的情況？比如領導說你得出來的數據結論不客觀，因為沒有排除XX變量的情況；比如你只分析了過程指標，缺少分析結果指標等。沒關係，筆者總結了一套新功能上線的數據驗收方法論，供你參考。希望能助你做到數據分析客觀、全面、徹底，儘量減少被領導挑戰。
一、上線前的準備
1.設計實驗組與對比組
設計實驗組與對比組的作用是控制變量，保證數據驗收的客觀性。
1）實驗組要求
除了新功能這一個變量，其他的變量儘量與對比組保持一致，其他變量包括時間、渠道、用戶狀態等。客群數量方面，要足夠說明效果（一般需要1萬以上的客群）；
2）對比組要求
沒有新功能的變量，其他變量與實驗組保持一致。客群數量方面，如果數據驗收受客群數量影響，則實驗組與對比組的數量要基本一致；
3）分組切量方法
如果僅是上線了一個新功能，需要新版與舊版進行對比，可採用灰度方法，通過控流開關實現控量分組；如果是要做多個方案的對比測試，則可採用A/B測試方法，通過接入吆喝科技實現（如果開發資源充足，當然可以自己開發A/B測試功能）。
4）案例
某產品為提升登錄轉化率，接入一鍵登錄SDK，新功能是一鍵登錄。實驗組為可使用一鍵登錄及傳統登錄的客群，對比組為只能使用傳統登錄的客群。實驗組和對比組可按2：8的比例，按客戶號尾號切量。（實際上新功能剛開始灰度時，需要先切小部分量測試，因為擔心影響已有功能的數據）
2.指標體系建立
1）確定業務目標
比如提升某個功能的轉化率、提升某個業務的收入、提升功能留存等
2）按用戶路徑拆解數據指標
用戶數據：功能入口的流量、用戶分群等
行為數據：每個環節的行為轉化數和轉化率，例如功能使用的用戶數、功能點擊率、付費率等
業務數據：付費人數、收入、千次曝光收入等
3）數據指標再次細分
以上拆解的數據指標，為方便後面的深入分析，還可以按用戶屬性或事件屬性再次拆解。例如按用戶屬性拆解，借款產品則可區分授信通過戶、授信拒絕戶；按事件屬性拆解，區分登錄方式、區分渠道等。
4）案例
某借款產品為提高交易率，規劃一個預約借款功能。業務目標是提高交易率，指標體系為：用戶指標為預約借款曝光人數；行為數據為預約借款開啟率、預約借款取消率、預約借款平臺通過率、預約借款放款成功率等；業務數據為預約借款放款成功人數、預約借款額度等。
3.提供埋點
1）埋點規範確定：埋點組成是頁面+操作+區分類型的字段
2）前端埋點和後端埋點：結果性事件一般前後端都埋，包括成功事件、失敗事件（失敗還要埋失敗原因）；過程性事件一般是前端埋點。
3）上報時機確定：大多數埋點的上報時機是比較顯而易見的，所以文檔裡可以不用強調，比如曝光、點擊的埋點。但是像上報時機有多個的情況，則需要跟開發明確。比如失敗事件，是後臺返回失敗才算失敗，還是前端拋出失敗提示就算失敗。
二、上線後的觀察與分析
1.分析新功能效果
1）上線後對比數據是否符合預期
同期對比：實驗組與對比組同期整體對比，看分組的重點業務數據提升或降低效果。比如看某個功能的轉化率或某個業務的千次曝光收入等。基本上從同期對比就可以大概分析出數據結論，可以得出新功能對業務指標是起到正向還是負向的影響。
前後對比：已經有同期對比了，前後對比還需要嗎？答案是某些場景下需要。因為同期對比一般來說，需要開發做灰度切量的功能支持，即在保留舊功能的基礎上，新增新功能。所以如果新功能效果是顯而易見的，且灰度功能做起來比較耗資源，大多數產品經理就會放棄灰度，選擇上線後全覆蓋，通過前後對比來看數據效果。
2）上線後分析新功能是否帶來長期價值
一般來說，新功能只要看是否滿足業務目標就足夠了，但是這樣我們就只關注到短期價值，沒有關注長期價值。一個好產品需要具備對用戶有效用、對企業有收益、可持續這三個屬性。
所以我們還要放寬視角，關注新功能的精準留存。產品經理需要拉長時間週期，看用戶對新功能有沒有持續買單。如果用戶有持續使用新功能，那說明新功能具備長期價值，值得繼續深挖；如果用戶只使用一次新功能，那說明產品經理對需求把控沒有到位或新功能沒有很好地滿足用戶需求。
3）上線後探索新功能的更多可能性
除了看新功能是否符合預期、是否具備長期價值，還可以詳細分析新功能本身的數據，得到下一步優化的方向或獲得需求洞察。比如用漏斗分析看每一步的轉化率，分析漏損在哪裡；比如分客群看使用新功能的情況，分析哪個客群是新功能的核心客群；比如看用戶使用新功能的頻率和時間分佈，分析用戶對新功能的使用習慣。
2.分析新功能帶來效果的原因
一般來說，分析數據背後的原因，分為客觀原因和主觀原因。
1）客觀原因
由於改變客觀環境，帶來的數據變化。比如縮短用戶操作路徑，減少用戶操作；優化頁面佈局，使主要功能更聚焦；優化性能，提高接口返回數據速度，降低失敗率；增加場景，提高曝光從而提高收入等；
2）主觀原因
由於改變用戶的主觀意願，帶來的數據變化。比如增加獎勵刺激，提高用戶參與慾望；優化素材投放，提高用戶點擊慾望；客群本身的質量原因等。
3.制定後續規劃
根據新功能的數據結論及原因，確定接下來是要繼續優化還是改變方向。繼續優化一般是繼續保留新功能，下一步計劃是放量或優化後放量；改變方向是現有功能沒有符合預期，但是從現有數據獲得新洞察，可以換個方向嘗試。
作者：狐檬，具有千萬級互金產品和運營經驗。
