淘寶網店運營如何評估客戶流失預測模型預測效果

淘寶網店運營如何評估客戶流失預測模型預測效果

用來評估客戶流失預測模型預測效果好壞的一個重要指標就是提升度了。所謂提升度，簡單來說，使用模型預測客戶流失比不使用模型要好多少。如圖，將客戶按流失概率由大到小排名，圖中的點（10%，50%）表示流失排名前10%的客戶包含了實際流失客戶的50%。換句話說，如果企業有300萬的客戶，平均流失率為1%，如果對前10%的客戶進行捕獲，實際上能夠捕獲到真實流失的客戶15000人（即300萬×1%×50%）。

圖中藍線表示在沒有預測模型指導的情況下隨機抽取客戶的結果。這條線其實很好理解，如果抽取10%的客戶，則能夠捕獲到300萬×10%×1%個流失客戶，佔到總實際流失客戶的300萬×10%×1%÷（300萬×1%）=10%，所以這條線實際上是一條斜率為45度的直線。圖中紅線表示客戶流失預測模型預測下的結果，如線上的點（10%，50%）表示流失排名前10%的客戶包含了實際流失客戶的50%。所以，對於流失排名前10%的客戶，使用模型預測的效果是沒有使用模型預測的5倍！這就是所謂的提升度。

ROC曲線

其實，上圖的紅線就是傳說中的ROC曲線，全稱Receiver Operating Characteristic Curve，中文名叫接收者操作特性曲線。而藍線就是基準線。一般來說，ROC曲線與偏離基準線，越向左上方靠攏，模型的預測效果就越好。

提升度對於評判模型預測性能好壞固然很重要。但是，人們往往只關注有由提升度所給出的模型預測效果，卻忽視（或者沒有去評估）客戶流失預測模型所表現出來的“應用效果”。

人們一般比較關心，有了這樣一個流失預測模型，或者說在這個模型的指導下對高流失可能客戶開展挽留關懷活動，下個月的客戶流失率會不會顯著地降低呢？這樣的看法是不正確的，因為客戶流失預測模型只是揭示了“什麼樣的客戶更可能會流失”這樣一個客觀規律。

實際情況是，在使用客戶流失預測模型之後，客戶流失率往往得不到大幅度的降低。下面通過一個證券行業的例子來說明。

假設某個券商A，當前有300萬的客戶，月平均流失率為1%。為了更好地建立預測模型，在開發模型的過程，僅對有效客戶進行建模，也就是說，在建模之前，需要通過設定一定的條件來剔除非有效客戶，如機構客戶、資產極大或極小客戶、無交易行為客戶，等等。這樣，有效客戶數120萬，月平均流失1.8萬，流失率為1.5%。最後，券商A針對有效客戶開發了客戶流失預測模型，其效果可以用上面的圖示來表示，即如果選取最具流失傾向的前10%客戶作為目標活動客戶，可以包括所有實際流失客戶的50%。

由於券商A的各方面資源緊缺，客服人員人數有限。所以券商A決定根據流失預測模型的高流失傾向的客戶名單，對有效客戶開展一對一的針對性挽留關懷活動，而對非有效客戶，則希望通過普通的營銷政策進行挽留。

券商A按照流失預測模型給出的流失傾向評分從高到低，依次選擇這次活動的目標客戶，即從120萬的有效客戶中選取了前5%的高流失傾向客戶作為目標客戶，即6萬。，接下來，客服人員將在“挽留月”對這6萬客戶進行一對一的挽留關懷工作。券商A希望能在月末的流失率統計中有一個令人滿意的結果。

這6萬客戶中真實流失的客戶有120×5%×1.5%×5=0.45萬個，若能全部挽留住這0.45萬個客戶自然是好，但在實際挽留關懷工作中，卻是很難做到。

我們需要注意客戶流失預測模型在實際應用中會引起耗散的幾個地方：

（1）在全部客戶中，僅對有效客戶進行針對性挽留關懷，假設比例a，這裡a=120/300=40%

（2）目標活動客戶選取時，僅對高流失傾向客戶進行挽留，假設選取比例b=5%

（3）客戶挽留過程，存在目標活動客戶的接觸成功率，假設c

（4）客戶接觸成功的客戶中又存在挽留成功率問題，假設d

根據之前券商A在客服方面的經驗，a、b、c、d都是可以估算的。這裡不妨假定，成功接觸率c為50%，接觸成功的客戶中有流失傾向的人的挽留成功率d為30%。

進一步假設流失客戶在接觸到和接觸不到的客戶中均勻分佈，我們可以計算出券商A根據流失預測模型來採取挽留關懷活動能夠成功挽留下來的客戶數量為

成功挽留的客戶數=總客戶數×有效客戶比例a×高流失傾向客戶比例b×有效客戶的平均流失率×模型提升度×接觸成功率c×接觸到的客戶的成功挽留率d=3000000×40%×5%×1.5%×5×50%×30%=675人

在這種情況下，總體流失率=（30000-675）/3000000=0.9775%，和不做活動的1%幾乎沒有什麼區別！

從這裡我們可以看出，客戶流失預測模型並沒有給企業帶來關於客戶流失率方面的多大改變。看到這樣的結果，有人不禁要問，那還要不要做流失預測模型呢？這是一個非常現實的問題。

實際上，回答這個問題，首先就要回答另外一個問題：建立流失預測模型的目的是為了減低客戶流失率呢，還是為了提高關懷與挽留工作的有效性呢？如果是單純為了大幅度降低客戶流失率，流失預測模型所起到的效果是相對較少的。原因很簡單，流失預測模型其實是一種方法論，它並不能直接帶來客戶流失率的降低。打個比方，就好比給病人看病，再先進的醫療設備也只能幫助病人查毛病，而不能幫助病人養好病。證券行業的流失預測模型在客戶挽留中所起的作用也只能是幫助券商找到流失傾向比較高的客戶群，而不能直接導致流失率的下降。這一點要清楚。

縱觀證券行業，券商通常認定真正流失的客戶是指發生了消資金賬戶、轉託管和撤銷指定等行為的客戶，但客戶流失預測模型的流失定義通常是針對客戶資產是否嚴重縮水。這樣，預測模型不僅包括了上述三種客戶，而且還包括了這樣的一些客戶：由於資產縮水嚴重而超出自己能夠承受的預期損失、被深度套牢而很可能轉為睡眠客戶、等等。這些客戶雖然看起來仍然還是券商的客戶，但已由活躍客戶逐漸轉為不活躍，不再給券商貢獻利潤價值。從證券行業的實際情況來看，發生消資金賬戶、轉託管和撤銷指定等行為的客戶流失不可避免，而且佔一定的比例。但後一種客戶，卻是可以通過挽留關懷來使客戶繼續保持活躍，繼續為券商貢獻利潤價值。

所以，客戶流失預測模型的目的應該是為了提高挽留關懷工作的有效性，最大限度地讓客戶保持活躍狀態，而不是所謂的大幅度降低客戶流失率。

客戶保持工作的最佳時機是在其未流失時，所謂防患於未然嘛。面對日益激烈的市場競爭，大多數企業越來越重視客戶保持工作，通過不斷地投入來做好客戶關懷與挽留工作，最大可能地留住客戶。但它們通常都會面臨這樣的問題：如何在企業資源緊缺的情況下，提高客戶關懷與挽留工作的效率，如何能夠在較少的客戶接觸成本上關懷到更多實際將會流失的客戶呢？這就要藉助於基於數據挖掘的客戶流失預測模型了。

繼續上面的例子，假定券商A每月可以達到的客戶接觸為6萬人次，而且把要接觸的對象集中在了高價值客戶上。如果根據由客戶流失預測模型給出的高流失傾向的前5%的客戶名單開展關懷與挽留工作，剛好120×5%=6萬人，這個時候每月可以成功挽留住的客戶數為675人。但如果沒有模型指導，每月可以成功挽留住的客戶數為

總客戶數×高價值客戶比例a×高流失傾向客戶比例b×高價值客戶的平均流失率×接觸成功率c×接觸到的客戶的成功挽留率d =3000000×40%×5%×1.5%×50%×30%= 135人

通過簡單的比較就可以發現，基於完全相同的人員投入、完全相同的接觸成功率、完全相同的挽留成功率，有模型指導的挽留比沒有模型指導的挽留在每月的工作中成功地多挽留了675-135=540個客戶。假設這些成功留住的客戶可以繼續保持活躍狀態的時長為半年（比較保守的估計），有效客戶平均貢獻佣金每月100元，則每月由於挽留效率的提高可以獲得的額外收益將為540×100×6=324000元，一年下來，年總收益將增加324000×12=3888000元。這已經是最為保守的估算了，因為據瞭解，多數客戶的月平均佣金貢獻高達幾百元，甚至幾千元。

再進行更為保守的估算，如果在模型指導下選取前5%的高流失傾向客戶作為目標客戶時，模型的提升度為3。這樣的情況下，每年的收益依然能夠增加1944000元，投資回報依然很大！

實際上，我們的估算忽略了開展挽留關懷活動所耗費的成本問題。之所以忽略，是因為我們在沒有模型指導和有模型指導下進行挽留活動所花費的成本都是一樣的。我們只需要比較在有模型指導下進行挽留活動比沒有模型指導增加了多少收益。

通過這些估算，只是為了說明一個問題：客戶流失預測模型不是開發好了，部署起來，就扔在那裡，每月按時跑數，也不能只看到模型預測結果準還是不準，關鍵是要應用到實際的客戶挽留關懷工作當中去，這樣才能看到實實在在的效果。www.changyeluntan.cn請大家多多關注本號