谷歌發佈BigQuery Omni服務

在Google Cloud Next 2020虛擬活動上,Google 宣佈了 BigQuery Omni,它是基於BigQuery的多雲擴展服務,可以在AWS和Azure中運行。

BigQuery是可在Google Cloud上使用的託管無服務器數據倉庫。繼App Engine之後,BigQuery是Google最早提供的託管雲服務之一。BigQuery於2010年推出,是公共雲中最受歡迎的雲數據倉庫平臺,它是Google Cloud產品組合中增長最快的服務之一。

BigQuery可以從各種數據源(例如BigTable,Cloud Storage,Google Drive和Cloud SQL)中加載數據。它支持流行的數據格式,包括Avro,CSV,JSON,Apache ORC和Apache Parquet。

在過去的十年中,BigQuery不斷髮展以滿足客戶的需求。它已成為構建在Google Cloud中運行的數據驅動和基於分析的應用程序的基礎。客戶可以執行與複雜的機器學習算法集成的標準SQL查詢,以對現有數據集執行預測和分類。通過關聯工作表功能,Google表格可以成為分析BigQuery中存儲的數十億行數據的前端。

通過收購Looker,Google通過分析和可視化工具對BigQuery進行了補充,以構建功能強大的儀表板。

BigQuery和Looker的組合是具有Amazon QuickSight的Amazon Redshift和具有Microsoft Power BI的Azure Synapse Analytics的可行替代方案。

什麼是BigQuery Omni?

BigQuery Omni將BigQuery功能的子集引入AWS和Azure(即將推出)。它使客戶可以使用熟悉的用戶體驗和BigQuery API,而無需將數據明確移至Google Cloud。

由於它的出色性能和速度,很多客戶已經在BigQuery上標準化了其數據倉庫。即使工作負載在其他雲環境中運行,它們也會將數據虹吸到Google Cloud中,最終將其加載到BigQuery中進行分析。我們已經看到許多在AWS和Azure上運行的SaaS播放器將其點擊流數據、日誌、事務數據和遙測數據從各種來源提取到BigQuery,以運行分析。

將數據從其他雲環境遷移到Google Cloud的成本很高。例如,AWS收費為$ 0.09 / GB,而Azure收費為$ 0.087 / GB。在AWS上運行但將數據攝取到Google Cloud的電子商務門戶將不得不在數據傳輸上花費大量資金。

除了出站數據傳輸成本外,在雲平臺之間移動數據還涉及延遲。客戶必須等待數據移入Google Cloud,然後再將其加載到BigQuery中,然後再執行分析。

BigQuery Omni解決了這兩個挑戰: 數據傳輸成本和延遲。從本質上講,它使計算更接近數據,而不是將數據移動到計算中。AWS和Azure客戶可以立即使用在與工作負載相同的區域,可用性區域和虛擬網絡中運行的BigQuery實例。

藉助BigQuery Omni,客戶可以使用Amazon S3存儲bucket或Azure存儲容器來收集數據並進行遙測,以提取和分析數據,而不必將數據移出他們的環境。BigQuery Omni的查詢結果可以保存在本地存儲帳戶中,而不會出現跨雲移動。

由於Looker始終支持AWS和Azure,因此它仍然是BigQuery Omni的可視化工具。

BigQuery Omni提供靈活性,成本優勢和速度,同時確保符合數據本地性和數據主權政策。更重要的是,它為客戶提供了雲數據倉庫和分析工具的選擇。

由於BigQuery Omni處於測試階段,因此Google並未分享太多細節。但是,很明顯,該服務僅支持在Google Cloud中運行的BigQuery提供的功能的子集。


分享到:


相關文章: