華爲雲技術私享會亮相深圳 揭祕 300% 資料庫性能提升原理引熱議

科技改變生活,技術改變世界。8月25日,華為雲技術私享會深圳站在南山科技園圓滿結束。本次活動圍繞數據庫展開,分享了以 MySQL 為代表的關係型數據庫、以及以 MongoDB 為代表的 NoSQL 數據庫技術新趨勢,並通過現場實戰演練和動手體驗,為初秋的深圳技術人員帶來一抹亮色體驗。

華為雲技術私享會亮相深圳 揭秘 300% 數據庫性能提升原理引熱議

本次分享會的討論包括《 MySQL 雲數據庫的性能優化和發展趨勢》、《華為雲原生(Cloud Native)分佈式數據庫技術》、《MongoDB 在雲上的計算與存儲分離架構實踐》、《華為雲數據庫體系及優勢解讀》、《雲時代數據庫遷移的新挑戰與新玩法》等主題,全面介紹了華為雲數據庫服務及技術全景,並就行業最新動向展開討論。

在雲時代,企業IT業務走向跨地區、全球化部署,IT應用軟件逐漸雲化、分佈式化,要求數據庫也要基於雲場景架構設計,具備跨地區分佈式部署的能力。華為雲技術專家總結了傳統數據庫上雲或雲服務化遇到的問題,同時深入介紹了華為雲原生分佈式數據庫的技術原理和最佳實踐。

在《MongoDB 在雲上的計算與存儲分離架構實踐》主題分享中,針對華為雲近期推出的 MongoDB 社區增強版,專家團隊就如何將其性能提升到 300% 的技術揭秘引人入勝,引發大家熱烈討論。

華為雲技術私享會亮相深圳 揭秘 300% 數據庫性能提升原理引熱議

開源 MongoDB 的困境

眾所周知,MongoDB 作為全球流行度最高的 NoSQL 數據庫,強大的擴展性使其在流量具有強爆發性的場景使用中如魚得水。在現今互聯網直播、遊戲業務、物聯網大數據盛行、業務流量峰值波動大的情況下,MongoDB 尤受企業歡迎。

但是,隨著企業發展和數據的不斷累積,滿足業務性能與數據存儲容量的需求也日益增長。在長時間的使用過程中,MongoDB 擴容時性能差、擴容耗時長、擴容成本高、存在資源浪費等缺點也逐漸顯現出來。

究其原因,還是在於傳統開源 MongoDB 採用的三副本架構本身。

首先,開源 MongoDB 集群擴容以 3 節點為單位,擴容成本高,Secondary 節點平時並不處理業務請求,造成資源浪費。此外,固定的節點複製關係,不能容忍任意 2 節點以上的故障,節點故障數據重同步時間長,長時間處於降級狀態,故障重構能力差。

由於存儲數據使用本地文件系統,每一個 shard(分片) 節點之間數據是相對獨立的。當擴容時,需要將已有節點的數據均衡到新節點;因為數據獨立存在,所以要對數據進行網絡拷貝;也因此,MongoDB 擴容後性能不能立即得到提升。

此外,數據拷貝對節點資源消耗很大,出於對整體性能的考慮,MongoDB 限制了數據遷移的速度,導致集群橫向擴展不能及時完成;

以上種種,都在很大程度上限制了 MongoDB 的使用場景範圍。

那麼,華為雲 MongoDB 社區增強版,是如何從技術上解決這些難題的呢?

增強版 MongoDB,從內核開始改造

華為雲 MongoDB 社區增強版,完全基於遊戲業務、互聯網應用、大數據等場景研發,採用計算和存儲分離的全新架構,是典型的 Cloud Native (雲原生)文檔數據庫。在技術上,更是通過一系列自研黑科技,將整體性價比提升 3 倍。

  • 將 MongoDB 的多副本複製功能卸載到分佈式存儲,使得 Secondary 節點也可以為讀寫服務,相同成本下獲得 3 倍的計算能力,進而獲得 300% 的讀寫性能提升。
  • 將 MongoDB 數據庫節點無狀態化,將數據和計算節點分離,去掉數據強歸宿某個計算節點的限制,使得橫向彈性伸縮性能提升 100 倍以上。
  • 打破 MongoDB 只在單個 Shard 副本集內節點間複製 3 副本的限制,分佈式存儲採用分片複製能力,磁盤故障後可以由更多磁盤參與數據重構,10 倍縮短數據重構時間。
  • 使用分佈式存儲的快照備份技術,替代 MongoDB 的邏輯備份,10 倍提升備份恢復性能。
  • 採用存儲計算分離架構,擴容步長僅 1 個節點,提升擴容效率,降低擴容成本。
  • 打破 MongoDB 只在單個 Shard 副本集內支持 HA 高可用的限制,集群內所有 Shard 的所有節點都互為 HA 備份關係,使得可以支持任意 N-1 個節點故障。
華為雲技術私享會亮相深圳 揭秘 300% 數據庫性能提升原理引熱議

社區版原生集群架構與華為雲 MongoDB 社區增強版架構

目前,華為雲 MongoDB 社區增強版處於公測期間,但在性能測評中的表現卻相當搶眼。在數據量為1 .6億文檔(160GB)時,2Shard 擴容到 4Shard 時,耗時從原來的 30 小時減少到 2 分鐘,不但擴容時間縮短了上百倍,而且擴容期間性能更加平緩。

華為雲數據庫依託於華為30多年的技術實力,結合機器學習算法,已為多次大型海量併發交易與金融級數據安全提供堅實的技術支撐。截至目前,華為雲已上線 16 大類超過 120 款雲服務,涵蓋製造、醫療、電商、車聯網、SAP、HPC、IoT 等領域60多個解決方案。

此外,華為的業務性質,決定了其在尊重租戶數據主權,堅持中立、客觀立場方面的獨樹一幟。在任何場合,公司也承諾恪守業務邊界,不碰租戶數據,不會利用租戶數據謀取商業價值。

由此可見,華為雲數據庫無論在技術底蘊上、生產環境運用上、還是在安全保障方面,均具有得天獨厚的優勢。

華為雲技術私享會亮相深圳 揭秘 300% 數據庫性能提升原理引熱議

2018 華為全聯接大會將於10月份在上海召開,屆時將首發華為AI戰略和全棧全場景的解決方案,並攜合作伙伴帶來更多諸如“秦渲雲”這樣AI、雲、大數據、5G、IoT、視頻等在各行業的創新與實踐,惠及更多開發者人群,“+智能,見未來”我們拭目以待。

免費試用華為雲 MongoDB 社區增強版,請移步官網:

https://activity.huaweicloud.com/dfv_mongo/index.html?utm_source=jinritoutiao&utm_medium=sm&utm_content=sixianghui_0824

http://activity.huaweicloud.com/free_test/index.html?utm_source=jinritoutiao&utm_medium=sm&utm_content=sixianghui_0824


分享到:


相關文章: