別說不可能,數據庫和對象存儲是可以結合的

別說不可能,數據庫和對象存儲是可以結合的


現在雲中存在的大量非結構化數據在很多方面改變了信息技術的本質。其中很重要的一點是,它導致了對象存儲作為視頻、圖像和音頻等數據的存儲庫被廣泛使用。這種類型的存儲在雲環境中的普遍存在,但它最近受到數據庫應用程序的影響。

對象存儲所受到的一個打擊是,雖然它在提供吞吐量方面相當出色,但在提供IOPS方面並不那麼讓人滿意。這基本上讓它不適合於數據庫分析,更不用說機器學習和其他類型的I/O高要求的應用程序。

Minio是一家為私有云開發開源對象存儲系統的公司,提供了高水平的吞吐量和IOPS。它是圍繞亞馬遜的S3 API構建的,可以說它是基於雲的對象存儲的事實標準。該平臺允許你輕鬆地將應用程序移動到幾乎任何類型的雲環境中。

Minio首席執行官兼聯合創始人Anand Babu Periasamy深入介紹了數據庫為什麼要遷移到對象存儲。你可能還記得,Periasamy是GlusterFS最早的開發人員——GlusterFS是一個集群文件系統,旨在將非結構化數據引入更傳統的POSIX風格的平臺。

在某種程度上,Periasamy認為POSIX並不是互聯網時代的最佳技術,因為他逐漸意識到它不適合在這些龐大的存儲網絡中執行文件操作。他考慮將S3網關集成到文件系統中,作為提供統一平臺的一種方式。但很快,他意識到這兩個模型根本上是不兼容的,因為S3網關給文件系統增加了太多的負擔。他解釋說:“你最終會得到一個普通的文件系統和一個糟糕的對象存儲系統。”然而,GlusterFS頗有一些追隨者,並於2011年被紅帽收購。

最終,Periasamy決定開發一個專門圍繞S3而構建的分佈式文件系統。就這樣誕生了Minio。不過,據Periasamy稱,2014年公司成立時,他們並沒有著手佔領企業數據庫市場。

在他看來,對象存儲只是針對非結構化數據,而數據庫是關於存儲“可變元數據”,與雲中大量的非結構化數據相比,這些企業數據庫相對較小。他表示:“在過去的三年裡,我學到的是,在這些組織中,消耗千兆字節存儲空間的並不是照片和視頻,而是peta規模的元數據。”

他所指的是企業正在積累並分析的金融交易、事件日誌和其他類型日誌使得存儲不斷增加。隨著這些數據庫的增長,管理員發現它們的擴展與傳統的文件和塊模型並不匹配。這時,他們開始轉向對象存儲(從公有云開始)。據Periasamy稱,目前大多數分析引擎(Ssnowflake、Azure ML、Power BI、SageMaker、BitQuery等)都在使用對象存儲。

Periasamy說,最近,這個數據庫對象模型已經滲透到私有云中。就在那時,他注意到一些這樣的引擎被放置在MinIO之上。他們第一次意識到這一點是因為銀行客戶。他說:“最讓我吃驚的是,交易型數據庫開始深入到對象存儲的內部。”

通過提升對象存儲表的性能,MinIO很有希望不斷積累用戶,因為越來越多的企業為其數據集採用對象存儲模型。Minio服務器、客戶端和軟件開發在Apache許可下提供,可以免費下載。

原文鏈接:

https://www.nextplatform.com/2019/10/17/the-unlikely-marriage-of-databases-and-object-storage/


分享到:


相關文章: