渠道質量評估模型

獲客是大多數的商業場景下的重中之重，高效的獲客在節省成本和用戶質量提升方面的重要性不必再贅述。實際業務場景中，我們面臨的是獲客質量，獲客量級和獲客成本之間的博弈，其中兩個方面的正向提升必然會導致另一方面的負向。在這三個維度中，量級和成本是天然的比較好衡量的，而質量則是一種更復雜更綜合也更長期的維度，對質量的準確衡量，就顯得尤為重要，本文希望結合日常工作中我對騰訊業務場景的理解，通過一些框架性的說明，來為大家構建評估模型提供一些思路。

01

背景

獲客是大多數的商業場景下的重中之重，高效的獲客在節省成本和用戶質量提升方面的重要性不必再贅述。實際業務場景中，我們面臨的是獲客質量，獲客量級和獲客成本之間的博弈，其中兩個方面的正向提升必然會導致另一方面的負向。在這三個維度中，量級和成本是天然的比較好衡量的，而質量則是一種更復雜更綜合也更長期的維度，對質量的準確衡量，能為業務優化建立一套清晰的標尺，也能為優化提供方向。在多種獲客手段中，新用戶渠道採買屬於其中非常重要的一種，具有高花費和可追蹤的特徵，故下文中僅針對新用戶渠道獲客進行說明。

常見的渠道優化鏈路如下：

1. 首先基於增長模型，拆解年度DAU或時長目標和進行成本預估
2. 其次基於渠道質量，渠道量級，成本單價等進行渠道預算分配
3. 再然後通過渠道歸因流程監控和渠道異常識別模型對渠道進行風險防控
4. 最後針對每個具體的渠道類型進行優化

本文中對質量評估、異常識別、歸因監控進行詳細說明，對渠道優化進行簡單提及

02

監控流程

渠道質量監控是一套系統化的工程，需要聯動產品，數倉，分析師，數據工程，運營等共同從業務流程和數據流程上進行建設和維護。通常情況下，渠道質量監控需要滿足以下幾個條件：

1. 標準清晰：也即是渠道的好與不好最終具體指向什麼樣的目標？比如DAU，時長，用戶收益等，多指標的優化容易讓人迷惑，並且可能存在相互矛盾的情況，通常情況下在監控初期就應該明確下來，並保持不變
2. 快速反饋：質量監控的本質是通過用戶的短期行為來判斷長期表現，這樣才能在最短的時間內快速發現渠道異常以及合理評估渠道質量。為了同時兼顧準確性和時效性，可採用多段式監控方式，一來對能快速定位到問題的渠道盡早預警來進行優化調整，而難以識別的渠道進行更長期的觀察；二來可以通過長期的質量評估來校準短期質量評估模型
3. 穩定可靠：質量監控最終產出的結果需要處於相對穩定的狀態（因為真實的渠道質量是長期處於相對穩定的狀態），所以在建模過程中，需要特別注意防止過擬合
4. 細節保密：對渠道質量評估和渠道異常識別的模型細節需要保密，因為渠道本身涉及到結算花費等，如果過多暴露細節可能導致渠道作弊的風險
5. 長期迭代：渠道風控涉及到攻防，隨著作弊和刷量手段的日新月異，需要定期對模型進行維護和更新

比較常用的監控流程如下：

03

質量評估

短期渠道質量評估

短期指標通常在T+1或者T+2輸出，優點是可以快速評估各渠道的好壞而不需要等待很長時間，缺點是評估較淺層也比較難以洞察用戶的長期表現

Step1.指標選取

• 關鍵行為分：關鍵行為代表新用戶來產品後，觸發的某些關鍵動作。通常有兩種方式來選取關鍵特徵。第一種方法是梳理產品邏輯和用戶路徑，基於產品理解選取某些關鍵行為，類似於行為漏斗，比如隱私頁授權，新用戶引導，首頁到達，關鍵內容等等。另一種方式是盤點用戶首次啟動app的關鍵行為，根據行為的滲透率以及留存的提升度（觸發該行為的用戶留存-未觸發該行為的用戶留存）來篩選出關鍵行為。
• 消費分：消費分值各類反應用戶消費水平的指標，比如vv數，時長等
• 互動分：點贊，收藏，評論，關注等
• 用戶構成：增長通常的兩類用戶觸達手段：挽回（老用戶迴流）和擴列（拓展新用戶）。我們有時候會發現某些渠道上用戶質量特別好，但並不說明這個渠道質量真的好，一個可能是這個渠道的換機用戶很多（用戶換了新手機後重新下載了app），所以說這實際上是用戶的自發迴流，一味地對這類渠道擴大投放可能會造成對免費用戶量的擠壓從而導致成本的浪費。我們在做產品擴列的時候 ，比如需要主打某一類人群，這時候我們需要對這類人群佔比較高的渠道進行加權，即使用戶表現並不是最好，也需要給與較高的得分。
• 歸因得分：歸因方式有很多，比如基於imei，idfa等的精確歸因，還有基於ip，UA等的模糊歸因。如果某些渠道模糊歸因太高，可能存在異常風險（有些渠道由於自身特殊性，僅有模糊歸因，不在這個得分的討論範圍之內）

Step2.指標篩選

在渠道質量評估初期，我們手上可能有一大堆的指標，最終究竟用哪些指標，需要進行指標篩選，通常 有以下幾種方式：

• 相關性分析：繪製相關性矩陣，相關性特別強的指標保留更常用的那個指標就好
• 通過一些機器學習或者統計學的手段進行特徵篩選

Step3.權重打分

• 層次分析法（AHP）
• 專家打分法
• 基於線性迴歸輸出的參數作為權重打分依據

Step4.結果呈現

長期渠道質量評估（LTV預測）

LTV可以通過各種各樣的方式進行擬合，但是有三個點需要特別注意：

• LTV視具體的用途需要來評估是否要把渠道和用戶終端機型等固有特徵加到模型中，這些特徵加入到模型中固然可以增加模型的準確性，如果以準確性作為唯一的評估指標，那麼這樣做沒有問題。如果要根據得分對最終的渠道做評估優化，我們應當避免採用這些特徵，而是僅根據用戶的行為屬性進行建模，雖然可能會損失部分的準確性，但更能有效反映渠道的好壞變化（也即是說，我們不對用戶做先入為主的判斷，不關心用戶的來源渠道和機型，僅根據用戶的表現來給分）。
• 用短期的用戶行為預估長期的LTV基本很難做到準確，而長期的用戶行為週期太長，容易讓渠道優化失去先機，一種比較好的辦法是同時構建兩個模型：1.短期模型，通過用戶前3-10天的數據預測未來1個月的表現；2.長期模型：根據用戶1個月的數據預測未來1年的行為表現；3.根據兩個模型的結果可以校準模型，也可能能發現某些渠道的異常表現。
• 關注LTV的分佈，常見的LTV分佈是60%-70%的用戶未來不會再產生LTV，而剩餘的少量用戶的LTV分佈近似正態分佈，如下圖所示，這種分佈對建模是一種挑戰，需要提前對LTV的分佈有比較清晰的認知。對這種情況可以採用分段擬合，比如分類+迴歸模型進行建模。

LTV擬合思路一：基於留存曲線進行擬合

以具體的渠道的留存曲線作為樣本點來進行留存曲線的擬合，這樣的好處是易於實現，壞處是沒法對渠道進行進一步按照廣告創意等的自由拆解，每一次維度發生變化，就要重新建模，每個渠道都是單獨的模型，難以複用。

基於留存曲線的擬合需要注意兩個點：

• 函數形態的選擇，比如究竟是用對數函數還是用指數函數等等，這裡我們應該將留存曲線儘量拉長，來看看各類函數形態在長期留存上的表現。
• 樣本點的選擇，1-3天的留存天屬於強影響點，是否需要保留，我們經常遇到的問題是，曲線為了擬合這些點，而導致在長期留存上出現擬合不上的情況，這裡建議在擬合的時候，對樣本點做一個組合遍歷，比如對1-10天的區間進行窮舉，選出表現最好的樣本點就行了，這個時候樣本點並不是越多越好

可能出現的幾種擬合結果如下：

LTV擬合思路二：基於用戶明細進行擬合

單用戶的長期LTV會受到隨機性的影響，不過一旦將用戶聚集到渠道等粒度上，結果還是相對準確的，並且這樣的結果支持多個維度的組合分析，從頭到尾只需要構建一套模型。模型的預測手段很多，這裡不再贅述，僅對模型的評估進行一些說明。模型評估除了常用的MSE，決定係數等之外，還需要關注的幾個指標是：

斯皮爾曼等級相關係數

• 在LTV的預測中，某些時候，相比於精度，我們更關注渠道的排序問題，也即是確實把末尾10%的渠道預測為了末尾的10%，頭部的10%的渠道預測為了頭部的10%，假設這樣一個極端場景，每個渠道的LTV均預測低了5%，這對整體渠道投放預算的優化調整幾乎是沒有影響的。所以在評估的時候，我們需要關注這樣的指標。
• 而斯皮爾曼等級相關係數是反映兩組變量之間聯繫的密切程度，它和相關係數r一樣，取值在-1到+1之間，所不同的是它是建立在等級的基礎上計算的。正適合這樣的場景

基尼係數（Gini Coefficient）和分位數圖（Decile Chart）

• 用來判斷模型是否能對樣本點的真實分佈有個較好的擬合效果，而不是最終的擬合結果都趨近與腰部，頭部和尾部沒有擬合好，導致結果區分度不強（比如較差的渠道會擬合高，較好的渠道會擬合低），具體評估方法和實現代碼詳見：
• 材料：https://arxiv.org/pdf/1912.07753.pdf
• GitHub：https://github.com/google/lifetime_value

04

反作弊及異常識別

作弊的識別除了要依賴反作弊團隊專業的作弊識別技術外，分析師還需要做什麼呢？分析師的優勢在哪裡呢？

分析師的優勢在於：對渠道的結算邏輯，渠道歸因邏輯，用戶激活，用戶站內承接，用戶後續表現有一套完整清晰的認識，這些優勢最終可以應用在以下幾個地方：

1. 明確哪些渠道，哪些結算方式是作弊的重災區，以及究竟是媒體作弊還是代理商作弊？
2. 撞庫過程中，哪些指標異常可以反映付費渠道在搶佔免費量，這時候即使付費渠道質量很好，結果也是不可信的，以及歸因過程中，從ip，imei等更多維度上，也能看出一些問題。
3. 哪些行為指標之間是強相關的，如果在某些渠道上，這些指標並不相關，甚至負相關，說明該渠道可能存在問題
4. 一個正常的留存曲線是什麼樣的？比如某些渠道前10天表現特別好，10天后突然變差，這種情況分析師可以識別，但是反作弊比較難識別，這種情況可能由於積分牆導致，需要引起注意，否則會對投放預算造成強誤導。
5. 用戶的正常行為是什麼樣的？用戶的異常行為是什麼樣的？

具體判斷細節一來根據業務不同有很強的個性化特徵，二來這些識別手段公開後可能導致模型失效，因此不再做過多說明

05

渠道優化
在對渠道質量進行準確評估並且識別出異常渠道後，我們來到了渠道優化環節，渠道優化一方面需要調整預算，另一方面涉及到具體渠道的優化細節。各個渠道由於結算方式的不同，而導致優化邏輯截然不同：

• 比如預裝本質上屬於一種合約廣告，按照裝機量進行收費，優化的邏輯就是給出準確的裝機建議，並且做好預裝的調起和承接工作
• 再比如幾大主要的應用商店廠商比如華米OV應用商店是無法拆解付費免費量的，就會導致應用商店的用戶質量看起來很高，但其實可能是虛假繁榮
• 還有很多時候SEM的目標在於找出大量的低成本長尾詞來獲客，而信息流專注於投放素材的優化和調整，並且具有較強的時效性

隨著現在大數據技術的日益發展，RTA，RTB等這些技術應用越來越多，很多媒體也開始採用OCPX的手段來做廣告的自動優化。投放工作開始逐漸朝著產品化的方向發展，分析師在具體渠道的優化上需要做的事情越來越少，而需要用一種更宏觀的視角來做全局的優化調整。

作者：姜博