我總結了這樣一份數據產品建設指南

“產品千萬種,數據第一條,建設不規範,公司兩行淚”。

作為一名在美團、摩拜等互聯網公司工作多年的數據產品經理,深知數據的重要性,也一直在思考數據產品如何賦能業務,如何去建設一款好的數據產品,以及如何讓數據產品發揮更大的價值。本文分別從數據產品的價值、願景、設計思路、建設方法及案例等方面,結合這些來的工作經驗和心得,全方位介紹數據產品,幫你梳理數據產品建設方案,相信一定會對你有所幫助。

一、數據產品的價值與定位是什麼?

我們為什麼需要數據產品?數據產品可以為公司帶來什麼?我想,這是每個數據產品經理都會思考的問題。在大數據時代,數據的價值越來重要,更多的企業希望能夠通過數據驅動業務發展,在這個大背景下,數據產品的作用也越來越大,它會讓每個想基於數據做決策的人能夠更高效的獲取自己想要的數據,並且讓決策更正確和科學,促進業務不斷髮展,這也是數據產品的價值與定位。

二、數據產品應該達到怎樣的要求?

一款數據產品要達到什麼水平才算是合格的?數據產品要實現的產品願景又是怎樣的?我認為,要實現一款好的數據產品,應該滿足如下幾點要求。

數據產品提供的數據必須是準確的。數據要質量高,數據要準確,指標口徑要一致,即使數據出現故障,也能夠儘快的定位到問題,高效解決。

數據產品提供的服務必須是安全的。數據是公司的核心資產,因此數據產品要建立一個完整的安全體系,能夠控制數據權限,做到沒有權限的人不能訪問,即便數據出現洩漏,也能夠通過系統快速追查,及時補救,把損失降到最小。

數據產品覆蓋的業務數據必須是全面的。數據產品應該覆蓋到公司各個數據生態環節,儘量整合公司所有相關業務數據,充分發揮大數據應有的價值。

數據產品要讓數據獲取更加高效。這是數據產品的核心價值,工具類的產品一般都是為了提高效率而存在的,數據產品要提高公司人員的取數效率,並把分析師從幫助業務人員出數、取數的重複工作中釋放出來。

數據產品要為業務提供更智能的洞察。數據產品不應該只提供數據及報表的展示,還應該更智能的為業務提供指導,例如可以把人工智能、機器學習等領域的模型整合進來,形成業務大腦,讓業務人員更聰明快速的工作。

三、數據產品建設方法論

明確了數據產品的價值和願景,如何去設計一款數據產品呢?通過多年的數據產品工作經驗總結,並結合5W2H分析法,在做一款數據產品前,我總結了下面四個步驟來回答如何做的問題。

第一步,思考數據產品要解決什麼問題(Why),為用戶或者公司帶來什麼價值(How Much)?產品的開發週期要多久(When)?一款數據產品的核心是要解決某種問題的,那麼它到底解決了什麼問題,是否給公司或者用戶帶來了足夠的價值。

第二步,要想清楚產品的目標用戶是誰(Who),用戶在什麼場景下使用這款產品(Where),要站在用戶的角度和使用場景下來設計數據產品。

第三步,要解決的問題分析思路是什麼(How)?由於是一款數據產品,那麼必然是要用數據說話,針對解決的問題,我們應該以什麼樣的思路來分析,需要整理出一套全面的分析框架,並且制定產品的實現路徑。

第四步,對於問題需要用到哪些指標來核量(What),可以把指標組合為哪些模塊?應該以何種方式展現?這一步主要思考產品具體的展現內容和形式。

四、數據產品的分類與建設方法

講完了數據產品的價值、願景和設計思路,接下來讓看一下數據產品的具體建設方法。在企業中,對於數據產品,一般分為數據管理、數據工具、數據應用三個方向,通過數據管理,可以解決數據質量產品的問題;通過數據工具產品,可以提升獲取數據的效率;通過數據應用產品,可以通過數據賦能企業或者用戶,充分發揮數據驅動的價值。下面分別介紹針對這三個方向做具體介紹。

關於數據管理

隨著業務發展,數據量呈爆炸式增加,數據發揮的價值越來越大,數據質量問題也變得越來越嚴重,低質量的數據不僅使用不便,還會誤導決策,甚至災難性的結果,數據質量的好壞,決定了數據是否能夠真正發揮價值。

如何判斷數據質量的高低呢?什麼樣的數據是高質量的呢?引用美國著名的質量管理學家朱蘭博士(J.M.Juran)的一句話:If they are fit for their intended in operations, decision making and planning.翻譯一下,就是,如果根據這些數據做出的操作、決策和規劃,符合之前的預期,那麼這些數據就是高質量的,換個角度來理解,高質量的數據可以真實反映它們所代表的主體信息。

結合大數據與業務經驗,在從定性的角度來看,影響數據質量的因素包括數據完整性、數據正確性、數據一致性、數據的可獲取性以及數據的時效性等方面,其中,數據的完整性是指業務涉及到數據是完整的,能夠對業務使用影響很大的數據都要保持一定的完整性;數據的正確性要滿足準確性和精準性兩方面,即數據要是準確無誤的,數據要在精度上滿足業務需求;數據的一致性要滿足同一個指標的口徑要一致,數據不要有二義性;數據的可獲取性是指使用數據的時候,數據是被有效組織的,並且能夠被高效獲取;數據的時效性指使用的業務數據都是最新的,而不是無效的過期數據。

之所以強調數據質量的重要性,因為它是數據產品的基礎,它會影響到數據倉庫、商業智能、數據分析平臺、數據應用等各個方面。同時,影響數據質量的因素又有很多,包括數據埋點質量、數據傳輸過程中出現的問題,數據口徑是否一致等等,因此,為了保證數據質量,有資源和精力的公司會搭建自己的數據管理系統,圖1為數據管理中心產品架構,主要包含指標體系管理、全局數據管理、元數據管理等。另外,在數據安全性的前提下,還可以通過全局數據接口對外輸出高質量的數據。

我总结了这样一份数据产品建设指南

以數據管理系統為例,它側重於從時效性和數據一致性這兩大質量方向保證數據的可讀性。

1. 數據倉庫的數據時效性檢查

明確每天的每一個層級、每一個數據表的最早和最晚生成時間,發現影響當天數據生成延誤的數據表,並能夠通過數據管理系統回答以下問題:

當天 MySQL 表和 Hive 表中的核心指標是何時生成的? 有哪些表的產出時間比預期時間延遲了? 任務延遲的原因是由哪幾張表造成的? 瓶頸在哪裡?優化哪幾層?哪幾張表可以提高核心指標等的生成時間?

2. 數據倉庫的數據一致性檢查

通過數據一致性檢查,在數據質量視圖的展現下,我們可以快速瞭解存在依賴關係的數據表的分維度數據變化情況。

為了對數據一致性進行檢查,大數據管理系統項目需要做的事情主要分為以下幾步:

第一步,建立數據依賴引擎,實現依賴圖譜。依賴圖譜用於構建數據倉庫表之間的分層級依賴關係,然後存入MySQL表並能支持可視化展現,如圖2所示。

第二步,計算數據準備情況。各個表、各個分區的數據準備就緒時間按天、小時級進行彙總。根據Hive倉庫的Meta信息可以獲取Hive表各個分區的創建時間,根據創建時間確定數據的實效性,用來分析展現每天、每小時的狀態和瓶頸。如果需要對MySQL進行驗證,則通過SQL語句查詢的方式獲取對應時間在MySQL中是否存在。

第三步,建立數據計算引擎。根據定義的小時級指標、天級別指標規則,結合數據表各個分區的準備就緒時間,調用Spark SQL計算核心指標。

第四步,數據比較引擎。根據表和表之間核心指標的關係、表和表之間的規則進行比較驗證。例如,A = B,A + B = C,B/A < 0.95等邏輯判斷。

我总结了这样一份数据产品建设指南

關於數據工具產品

數據工具產品主要在數據的角度通過工具產品來為公司賦能,為業務提供數據工具平臺,提升獲取數據的效率和決策速度,通過數據驅動公司精細化運營,主要包含數據分析平臺、用戶行為分析平臺、用戶畫像工具等工具產品。

讓我們先看一下數據分析平臺的建設,在這個競爭白熱化的大數據時代,每個公司對數據的重視程度都提高到了前所未有的程度,無論是考慮數據的安全性,還是數據的使用效率,擁有為企業自己量身定製的數據分析平臺,是實現精細化運營、數據驅動業務增長的利器。因此,掌握大數據分析平臺的思路和方法,是數據產品經理必備的一項能力。

如圖3所示,為數據分析平臺的產品架構圖,數據分析平臺一般包括可視化分析模塊、數據查詢模塊、權限及資源管理模塊等,其中,數據分析模塊還包括可視化模塊、自助式分析模塊、分析工具、智能分析等模塊。

我总结了这样一份数据产品建设指南

提起數據分析平臺,很多人還停留在後端接口查詢數據庫數據、前端頁面展現數據這種傳統的定製化報表分析平臺上。確實,公司在業務規模不大和人力不足的情況下,可以實現這種原始的報表分析平臺,更準確地說應該是指標展現頁面。可是,這種方式太定製化了,沒有任何的可拓展性,如果增加一個指標,前端和後端代碼修改的成本都比較高,可以毫不誇張地說,前者就像還停留在冷兵器時代的軍隊,只能招兵買馬、堆積人力,辛苦和艱難程度可想而知。

然而,隨著業務的增長,報表的需求越來越多,天天深受寫業務報表之苦的程序員和數據產品經理決定研製一個更先進的工具,來擺脫這種拼體力的工作。為了提高數據分析平臺的可擴展性,終於找到了QueryAdapter的方式解決問題,具體的方式就是通過前端配置 JSON數據,在API層下添加QueryAdapter層把API的接口翻譯成相應的SQL,然後通過SQL查詢具體的數據庫,進一步提高前端的擴展性和報表的靈活性。上面的這一過程可以用如圖4所示的架構實現。就這樣,“冷兵器”時代的大數據團隊終於有了自己的“大炮”,他們只需更換“子彈”就可以快速解決不同的業務問題。於是,數據分析平臺迭代到了V1版本---可拓展的報表分析平臺。

我总结了这样一份数据产品建设指南

人類科技的進步從來都不會止步不前,擁有了“大炮”和“步槍”,能不能再造出“飛機”與“坦克”,進一步提高“作戰”效率?雖然 V1版本解放了研發的生產力,但是隨著業務人員的需求的多樣性不斷增加,數據分析師和產品經理的業務需求應接不暇,而且還有很大的溝通成本,面對上面的痛點,就需要為業務人員實現一個他們自己能夠快速、方便搭建報表的平臺。於是,就需要為業務人員提供創建數據源、創建單圖以及創建看板功能,讓他們自己去創建報表自助分析,也就是所謂的自助分析三步曲,如圖5所示,實現了這些功能,也就完成了數據分析平臺V2版本---自助式分析平臺。

我总结了这样一份数据产品建设指南

一個完善的大數據分析平臺,不僅僅是單純展現數據的,更不是一些業務常用報表的羅列,還要能夠為數據分析師、業務人員提供更多對數據的洞察,讓數據更加智能化。例如,可以支持維度下鑽數據、單圖之間數據聯動、對數據異常點進行標註、指標異常檢測等功能,可以讓使用人員方便、快捷地分析更精細的業務場景,實現從更多維度去了解業務,讓數據發揮更立體的價值。實現一個智能的數據分析平臺,是大數據分析平臺V3版本的迭代目標。

大數據分析平臺要更方便地服務於不同的業務場景進行數據分析,整理數據報告是數據分析師必不可少的工作,無論是週報、月報,還是新版本表現的分析報告,都需要在圍繞報告目標的基礎上,對數據整理、分析並提煉要點,最後形成一份有指導意義、易讀且美觀的數據報告。而這些報告,就是每個業務場景都會沉澱下來的一套固定的分析思路和分析架構,這套固定的分析架構可以放在平臺上實現,例如可以實現業務大腦、渠道分析、用戶留存分析、用戶活躍分析及日常的周月報等。

通過更貼近業務場景的數據分析平臺,我們可以方便、智能地查看分析數據,提高效率,通過數據驅動業務高效發展,完成了這個階段,便實現了大數據分析平臺V4版本---業務場景分析平臺。

總結一下,如果一個公司要自己研發數據分析平臺,一般會經過可拓展的報表分析平臺,自助式分析平臺,智能化分析平臺,業務場景分析平臺等四個大版本的迭代,演進路線可以用下圖6表示。

我总结了这样一份数据产品建设指南

關於數據應用型產品

數據應用向產品是更貼合業務的一些數據產品和數據變現類項目,會基於業務產生的數據做整合或者加工,輸出可以為業務提供指導、對用戶產生價值或者對其他公司、商家產生決策支持的數據產品。對於應用型數據產品,可以是2B的,也可以是2C的,還可以是面向公司各類業務同學的。下面分別以2B數據產品、2C數據產品為例,來看一下數據應用型產品在各領域的情況。

2C數據產品

2C的數據產品主要是面向普通用戶提供的數據服務,是直接服務於個人的,它主要為用戶提供描述性分析、預測性分析或者指導性分析應用,為用戶的決策提供更多的數據支持,用來解決用戶的某個“痛點”。

例如,小明想要約女生週末去看電影,可是不知道週末有什麼電影上映,也不知道哪個電影好看。這時候,他也可以諮詢朋友或者同事,根據他們的建議和觀看經歷判斷明天看什麼電影,這相當於由別人提供了諮詢服務。當然,他還可以打開貓眼電影,通過如圖7所示的貓眼實時票房功能,查看票房、拍片、上座等數據,發現今天《流浪地球》的實時票房最高,然後綜合產品提供的用戶評價等數據情況,決定是否去看這部電影。

可見,貓眼電影的實時票房變就是一款2C的數據產品,它把基礎數據、數據模型以及分析決策思路儘可能直觀的形成一個產品形態,更直觀智能的形式展現,充分發揮數據的價值,輔助用戶更快地做出更合理的決策。

2B數據產品

2B的數據產品主要為企業級或者商家提供數據服務,為客戶決策提供數據洞察和策略支持。它主要是公司利用自己的數據資產,形成針對某個行業或者某個行業客戶制定解決方案,形成數據服務,以輔助客戶進行決策,拓展業務。

以某汽車資訊網站實現的面向汽車商家的數據產品為例,我們來看一個在歐洲盃期間,Jeep自由光的銷售商是如何利用數據產品深挖用戶痛點,制定請假攻略的應用案例來營銷的。

首先通過該數據產品提供的用戶畫像功能,來看一下關注Jeep自由光的用戶,在歐洲盃期間的關注焦點,如圖8所示,發現用戶除了關注球隊、球星、賽事、進程等之外,還面臨請假、熬夜看球、上班等現實問題。

再結合產品的興趣圖譜功能,看一下Jeep自由光這款車型用戶在諮詢內容中,感興趣內容類別的興趣圖譜,發現用戶對足球、家庭等興趣顯著。

另外,通過產品提供的數據瞭解到Jeep自由光用戶中有65%為公司職員,72.9%為已婚人士,並深度剖析了歐洲盃賽事期間的用戶行為,發現“請假看球”成為用戶最關注的問題之一。

歐洲盃決賽在週一凌晨三點,上班族熬夜看球會影響週一的正常工作,已婚族通宵看球容易影響妻子和孩子的正常休息。對於真球迷來說,他們是請假看球還是忍痛割愛成為世紀難題!那麼,Jeep自由光的銷售商是不是可以針對用戶的痛點,對這個世紀難題做營銷,引起共鳴,提升汽車銷量?

五、小結

以上是結合6年多的數據工作相關經驗,整理的一份數據產品建設指南,希望讀完這篇文字,對你能夠有所幫助。當然,除了上面提到的這些數據產品的建設,數據產品經理還要掌握一些必備數據分析技能,有一定的分析思路,由於之前寫過專門的文章,這裡就不過多介紹。其實,大數據產品在各行各業中的應用還不止於此,隨著2B時代的到來,傳統行業會更多地與互聯網結合,大數據也會在更多的維度上驅動產業升級。作為一名數據產品經理,希望在這個最好的時代,用數據產品驅動世界變得越來越美好。

CIO之家 www.ciozj.com 微信公眾號:imciow


分享到:


相關文章: