17 Media數據遷移

17 Media數據遷移 | MongoDB案例

隨著網絡技術的提升,視頻直播已經成為了互聯網的一種常態。因為視頻直播最接近人類溝通方式,易於使用、交互能力強、體驗最好,所以擁有龐大的用戶群。巨大的用戶需求加劇了直播平臺之間的競爭,為了增強競爭力,吸引更多的用戶,各大直播平臺想方設法提升自身服務質量,不僅要不斷推出新的業務形式,還要大力藉助IT技術的力量。

17 Media是成立於2015年的一家臺灣直播平臺。由於其創始人是著名的音樂明星黃立成,也註定了其平臺之上將會入駐更多明星主播,吸引更多用戶,這讓17 Media在直播這一熱門領域具有較強的競爭力。截止目前,17 Media平臺全球註冊用戶已經超過4000萬。

視頻直播類業務具有鮮明的特點,企業除了需要有強大的視頻流技術支撐外,還要具備管理用戶、朋友、留言、評論、渠道、付款、關係、排名、活動等社交媒體內容的能力,可以說直播是互聯網行業發展至今攜帶信息量最大的溝通平臺。為了應對巨量信息的存儲問題, 17 Media選擇了不同的數據庫,來處理視頻和社交兩種不同特性的數據。同時,考慮到自身平臺高頻的明星效應,對數據庫的巨大吞吐量提出了較高的要求,因此17 Media一開始就選擇了具有高擴展性、低延遲性的MongoDB作為其視頻流之外內容的主要存儲方案。

17 Media數據遷移 | MongoDB案例

17 Media為何需要遷移:用戶體驗需要進一步提升

17 Media的主要市場是臺灣和發達亞洲國家,而他們基於雲的數據中心主要在美國俄勒岡州。當前的數據中心在數據傳輸過程中存在一定的延遲,對17 Media直播業務造成了影響。你可以想象,當粉絲滿心歡喜地為他所喜愛的主播發送禮物後,幾秒鐘都沒能得到回應,這對直播平臺的用戶來說,是多麼難以接受的一件事,平臺有可能因此流失大量用戶。

為改善這種情況,17 Media決定將其數據中心遷移到更能滿足業務需求的另一個雲計算平臺上。但是數據遷移並不是一件簡單的事,需要做好全面準備才能確保遷移成功,因此,17 Media面臨著許多問題:

  • 首先,從一個雲平臺遷移到另一個雲平臺,不同品牌的雲平臺,其基礎架構大相徑庭,如何確保數據的一致性,確保平臺的兼容性?
  • 其次,TB級別的數據遷移工作,如何確保數據的完整性,在長距離傳輸中不會丟失?
  • 第三,遷移過程中如何避免宕機事件的發生?如何將遷移時間控制在3小時之內?確保應用無縫遷移,不會對業務造成影響,並且讓用戶無感知?
  • 最後,當前自管理模式的MongoDB,由17 Media自己非專業人員管理,難免造成疏漏,給運維人員造成不小的壓力,因此遷移後的方案需要可以自動管理。

綜合考慮遷移所面臨的這些挑戰,以及用戶的全球分佈情況,17 Media選擇了MongoDB Atlas作為其數據遷移的解決方案。

17 Media數據遷移 | MongoDB案例

為什麼選擇MongoDB Atlas:秒級傳輸,無縫遷移

MongoDB是可以應用於各種規模企業、各類行業以及各類應用程序的開源數據庫,是專為高擴展性、高性能和高可用性的業務需求而設計的數據庫。MongoDB Atlas是MongoDB提供的雲端數據庫服務,自2016年推出後,Atlas以其按需付費、自動備份和恢復、輕鬆擴縮容的特性,受到眾多客戶所青睞。

此次,17 Media選擇將自管理的MongoDB遷移到雲端的MongoDB Atlas上,一方面,同一品牌的數據庫遷移,可以保證數據的一致性;另一方面,Atlas可以同時支持多個主流雲平臺,再結合MongoDB專家團隊協助17 Media對業務架構進行規劃,讓17 Media可以忽略平臺的差異化問題,使遷移工作得以順利進行。

在遷移過程中,針對歷史積累的存量數據,即封閉的數據集群,客戶可以利用MongoDB的備份與恢復工具,以秒級的速度從源數據集群遷移到目標的Atlas集群中。

此外,為了確保Atlas集群能實時同步到最新數據,MongoDB在源數據集群與Atlas集群之間建立了一個通道,可以捕捉在數據備份與恢復期間產生的新數據,實時傳輸到Atlas中,前後相差只有一、兩秒鐘,避免了數據的丟失。

最終,利用MongoDB的遷移方案,17 Media 的TB級別的數據,在2小時之內就完成了傳輸;而且遷移過程中只在執行DNS交換機時,進行了極短時間的停機,實現了跨平臺數據的無縫遷移。

17 Media數據遷移 | MongoDB案例

遷移後的成效:從開源MongoDB到MongoDB Atlas,用戶體驗與工作效率雙提升

“整個業務應用和數據的遷移,用戶完全無感知,對17 Media的業務完全無影響。通過將數據遷移到雲端的Atlas,繁瑣的數據庫管理工作完全交由MongoDB進行,減輕了運維人員的負擔,提高了工作效率。Atlas的資源自動調度功能,提高了17 Media的資源利用率,再加上雲端按需付費模式,雙重作用下,幫助17 Media節省了大量的成本開支。” 17 Media 資深產品科技副總裁李昀樵表示。

MongoDB具備大規模表單數據處理能力,當數據超過一定量時,MongoDB可以輕鬆實現數據庫的分片和分割,提高數據處理速度;其基於位置的數據查詢,可以快速、精確的從指定位置獲取數據,縮短查詢時間,足以滿足17 Media在維護、追蹤平臺上人與人之間的關係時,對速度的要求。

同時,基於雲端的MongoDB Atlas,在業務高峰期可以自動擴展,非常適合17 Media,在因明星主播而引起的瞬時高峰流量期間,可以給用戶提供更好的體驗;而且,從自管理MongoDB遷移到MongoDB Atlas之後,原來對數據庫的部署、容災、備份、監控等運維工作,可以由MongoDB的專業團隊維護,不但確保了數據庫的穩定,還釋放了17 Media運維人員的時間,讓其可以更注於關鍵業務的發展。

未來,為了方便用戶將數據從自管理的MongoDB順利遷移到MongoDB Atlas上,MongoDB將會增加Mongomirror對分片集群的支持;17 Media也表示會時刻關注MongoDB Atlas的最新功能,以便將最新的技術應用到未來業務中,為17 Media的長期發展提供強有力的技術支持。

17 Media數據遷移 | MongoDB案例

MongoDB中文社區

掃描關注,獲取更多精彩內容

長按二維碼關注我們


分享到:


相關文章: