決定大數據搭建場所的重要因素是什麼?

決定大數據搭建場所的重要因素是什麼?

如今,企業大數據搭建地可以在本地、公有云和私有云之間靈活選擇,而這一決定的關鍵因素是數據安全、數據體量和業務預判。

隨著雲計算的逐漸成熟,很多大公司都開始創建高效、靈活的雲使用環境,這些環境被部署在服務器、存儲和網絡資源池中,這類方案通常更具成本效益,可以提高大數據技術和高級分析的投資回報率。

當然,雲計算不僅適用於類似 Facebook、Uber 這類的互聯網公司,同樣適用於傳統企業。在此之前,企業內部團隊在協作共享、大規模數據傳輸以及敏捷開發層面均存在不同程度的困難。如果將大數據服務搭建在雲端,企業將不再需要專門的研發人員來負責基礎分析,還可以更加積極主動地訪問、分析和處理最新數據,甚至直接構建可視化分析。

過去幾年,雲平臺大數據服務越來越成熟,單就這一項,主流雲廠商可提供的服務列表就達到數十種,本地大數據服務的聲音似乎越來越弱,這在 Cloudera 與 Hortonworks 合併之後尤為明顯。實際上,雲平臺大數據服務和本地大數據服務各有其生存空間和適用場景,那麼,這場爭端的最終決定因素應該是什麼?傳統企業在選擇大數據服務時主要會考慮哪些因素?本地大數據服務的演進方向會是什麼樣的呢?

InfoQ 將就上述問題展開系列探討,追蹤採訪數位行業內雲計算和大數據相關方向技術專家,從他們的觀點中獲取答案。本期採訪嘉賓——百分點首席架構師黃偉。

決定大數據搭建場所的重要因素是什麼?


大數據搭建地爭端

大數據服務的搭建地到底是選擇雲端還是本地,抑或兼而有之?這個討論一直都存在。對此,筆者也曾與某互聯網雲計算廠商的技術專家進行過溝通,他在談及此事時表示,因為是技術出身,從來不敢說百分百這種事情,技術的演進趨勢總是在不斷調整,從端到雲再到邊緣計算,一定會朝著運算更高效、客戶體驗更優質的方向發展,最終要看整個計算鏈路上每個要素的技術發展及成本變化。

2009 年,百分點開始上線個性化推薦業務,自行搭建後端本地大數據平臺為客戶提供 SaaS 服務;2014 年,百分點基於早期積累的平臺技術和產品, 為傳統企業客戶提供本地化大數據服務,並幫助客戶最大程度實現數據效用、創造數據價值。據介紹,百分點目前仍在提供多項 SaaS 業務,因為其技術使用門檻低、擴容方便,對數據量小、安全級別不太高的場景來說是最優選擇。

因此,根據多年來在數據智能領域的實踐經驗,百分點首席架構師黃偉總結,主要有三個因素決定企業如何選擇大數據服務:

數據安全級別、數據量和業務發展預估。

數據安全級別

2018 年,無論是互聯網公司 Facebook、打車應用 Uber 還是美國信用服務公司 Equifax 都曾爆出客戶數據遭到竊取事件,不少國家和組織制定了大數據安全相關法律法規和政策,來推動大數據利用和安全保護。可以說,幾乎所有行業都會面對數據安全與數據隱私問題,特別是電商、健康醫療、教育、通訊等需要直接面對 C 端用戶群體的領域,對個人隱私和數據安全等問題的處理更加敏感。

傳統企業考慮到自身技術能力的不足,都不可避免會選擇第三方大數據服務,但也需要具備一定鑑別能力和數據安全的管控能力。

相比較雲平臺大數據服務,黃偉認為,本地大數據廠商無論是在架構、產品 ,還是操作規範、工作流程中,均加強了對數據安全的全面管控和保證。在數據安全層面,預防優先於彌補,對不少企業而言,數據安全不容出錯,不同安全級別對應不同的方案措施,需要做好安全防護。

數據量

雲平臺初始進入門檻較低,所需成本比本地平臺初期建設要低很多,尤其是歷史負擔較輕(本地原始數據量較小,遷移成本不高)的企業。但是,黃偉表示,隨著企業數據規模的增大,雲平臺使用成本的增幅將大大超過本地平臺。對企業而言,必須對數據量增長進行預判,儘早選擇合適的大數據解決方案,一旦數據體量達到一定規模,何種遷移方式都需要耗費大量成本。

業務發展預估

在選用平臺服務時,企業除了考慮當前的數據安全、數據體量成本,一定還要考慮未來的業務增長空間,從而綜合選擇服務。隨著業務的發展,企業將數據應用到企業運轉的各個環節,平臺運轉高負荷亦會持續,考慮運維、機房、擴容成本,依然是本地自建更划算。當然,企業在發展初期可以選擇第三方來提供雲服務,但也需要根據數據價值產出來擴充自身技術和運維團隊能力,增強對數據的掌控能力,以應對未來業務增長產生的新訴求。

不難看出,雲平臺和本地大數據服務均有足夠的細分市場,成本是這其中很重要的一個因素,且成本與數據體量密切相關。簡單來說,小數據量企業更適合雲平臺大數據服務,大數據量則更適合本地大數據服務。

本地大數據服務的生存空間

現實中也有不少企業選擇上雲,但不用雲供應商提供的大數據服務,這部分企業尤以中型互聯網公司居多,他們具備一定技術能力,可以獨立搭建雲平臺大數據服務並進行運維。黃偉認為,這可能還出於對安全和價格等多方考慮。雲大數據服務讓用戶相比 IaaS 與數據更近了一步,因而會讓數據安全感降低;在同等數據量增長條件下,雲供應商提供的大數據服務價格更貴也可能是一個原因。

對比來看,本地大數據的優勢主要還是安全性好、大數據量下成本低,適合大數據體量(高負荷)、高安全性的企業需求;雲大數據服務的優勢主要是小數據量下成本低(入門門檻低、運維擴容方便),適合小數據體量(低負荷),低安全性需求。雲大數據服務一般由互聯網寡頭提供服務,產品成熟度更高;本地大數據服務在產品成熟度上亦在持續進步。

從客戶群體來看,本地大數據服務廠商的客戶大多來自於銀行、保險、證券、政務、製造等數據敏感型傳統企業客戶和政府客戶;而云廠商大數據服務的客戶更多來自於新經濟體下的中小企業(新零售、新金融等)。不同的客戶群體,大數據服務選擇的偏好各有不同。

因此,黃偉認為企業大數據服務的未來會是本地、雲平臺混合使用,不會有絕對的主流,但是針對特定群體的主流服務已經形成。

採訪最後,黃偉綜合分析了初創互聯網企業、成熟互聯網企業和線下傳統企業的最優選擇:

對初創互聯網企業而言,前期業務試錯階段,控制成本、快速驗證概念為核心需求,且還未形成一定體量,數據安全亦不是核心矛盾,快速接入雲大數據平臺是一個較好的選擇;

對成熟的互聯網企業而言,數據安全已是核心矛盾,加之數據規模較大,自建大數據平臺成本較低,選擇本地大數據服務廠商為其搭建為最優;

對線下傳統企業而言,由於自身業務已運轉多年,必然產生和積累了海量數據,大多希望利用這些大數據提高業務效率,綜合考慮數據安全、數據體量和未來數據使用場景,絕大多數客戶會傾向於選擇本地大數據服務。首先是數據安全方面:對這類客戶而言,數據安全出現一點問題,就可能決定整個企業的未來走向,亦有部分數據保密級別更高的客戶,環境整體與互聯網隔離,也會傾向選擇更加安全可靠的本地大數據服務;其次是數據體量和未來數據使用場景方面:這類客戶不只需要大數據平臺的產品和技術,也在持續轉變著企業經營思維,拓展業務場景,數據計算的場景繁多,平臺運轉高負荷亦會持續,自建是最優選擇。

存在即合理,不同的技術均有其存在的必要性,經過這幾輪探討(《觀點:雲大數據服務一定是終極形態嗎?》、《本地 vs 雲:大數據廝殺的最終倖存者會是誰?》),本地大數據服務與雲平臺大數據服務的適用場景已經非常清晰,企業可以根據自身的業務特點、發展需求和安全級別選擇適合自己的方案,當然也可以進行多方選擇,對數據進行合理利用。最終,讓技術更好得為業務服務,而不是牽制業務發展。


分享到:


相關文章: