B 測試數據欺騙你了嗎?

意向保護:你的 A/B 測試數據欺騙你了嗎?

如果企業通過 A/B 測試發現可以實現 10% 以上的提升,但是在實施後並沒達到獲得 10% 提升的效果。這就是一個令人憤怒的體驗,但是,你做了一個可以實現 10% 提升的實驗,並根據實驗調整了渠道,那麼你的收入、下載量、註冊量等指標中的任何一個真的能如預期提升 10% 嗎?

事實上,不可否認會有這種情況的發生,但往往產生的效果是會上升一點,甚至有的根本不上升。

這是為什麼呢?這種現象我們稱之為“ 意向的保護 ”(受動量守恆定律的啟發 )。

高意向用戶和低意向用戶之間的區別

對於企業的所有用戶來說,其中只有一些用戶是高意向的。所以僅僅通過簡化一些步驟來增加這種高意向是很困難的,這樣大多隻會增加你的低意向目標用戶,如做一些戰術性的事情,像減少按鈕、優化標題、刪除表單字段等方式,儘管這些手段都很棒,但增幅很難超出你的預期。

換句話說,系統中的意向總量是固定的。這就是“保護意向”的法則!

A / B 測試結果的正確評估

如果你的企業喜歡通過 A / B 測試來測驗公司的各個模塊並總是有很好的反饋確實非常贊,但如果企業只是將所有 A / B 測試結果彙總在一起,並查看整體的最大化理想結果,這樣往往與現實很難匹配。

最明顯的驗證方法是通過漏斗測試轉化,例如觀察新用戶點擊的目標網頁或者為召回用戶發送電子郵件相關的漏斗,你可以看到用戶會從漏斗頂部不均勻地流下來,每一個節點的摩擦都會消耗掉一些意向沒有那麼強烈的用戶 。

解鎖高意向用戶的增加方式

首先,要了解什麼是真正阻止了你的高意向用戶按照你期望的“路線”走下去,不管出於什麼原因,也不能讓那些想要從漏斗離開的人輕易流失。對於 Uber 來說,這些流失點可能是支付方式、App 反應速度、密碼的忘記與找回方式等因素。舉個例子,如果你無法付款或無法重新進入你的帳戶,那麼即使你每天都使用這個 App,你也可能會丟棄該 App,切換到另一個不那麼痛苦的 App。

因此,你可以通過漏斗進一步使高意向用戶增加。如你可以查看交易流程周圍的步驟,比如通過參考購物車和添加地址信息的電子商務網站或 SaaS 產品的請求發票流程等信息。考慮這些高意向情景,例如當你點擊付費按鈕或進行付款後的場景等,所有這些都可以進行優化,並迅速達到用戶流失率和轉化率的優化。

你的規劃圖反映現實了嗎?

當涉及到產品規劃時,很多企業都可以策劃一場頭腦風暴後設立一些增長 10% 的目標,但需要注意的是企業要在規劃圖中添加各種影響因素來反映現實因素的不可控影響,不能只是依據所有理想結果進行規劃。

最後我想強調一點,“意向的保護”實際上反映了企業產品增長的實際狀況受到心理學和數據驅動有機組合共同影響,因此,你不能只在某一塊單一地查看這些內容,並假設每一步的理想結果都會如期而至,而要更有“彈性”地綜合應用。

編譯過程中有所刪減,本文僅代表作者觀點。

更多互聯網乾貨和案例,可關注【神策數據】公眾號瞭解~


分享到:


相關文章: