隨著計算機技術的發展，現在已經邁入了互聯網時代，這個時代最大的特點就是產生海量的信息，“大數據”一詞也就應時而生了。無法使用常規軟件工具在可接受的時間內進行捕捉、管理和處理的數據集合，稱為大數據。大數據研究機構Gartner認為大數據是海量、高增長率及多樣化的信息資產，只有使用新處理模式大數據才能具備更強的決策力、洞察發現力及流程優化能力。
大數據的發展與雲計算的發展息息相關。雲時代的到來，大數據越來越受到關注，由大量非結構化和半結構化數據組成，而如果把這些數據下載，使用關係型數據庫分析時花費時間和金錢會比較高。大數據分析常和雲計算捆綁在一起，在分析實時大型數據集時通常採用MapReduce一樣的框架向多臺計算機分配工作。從技術角度，大數據和雲計算的關係猶如一枚硬幣的正反面有密不可分的關係。
單臺計算的處理無法滿足大數據的需要，只有依託雲計算的分佈式處理，採用分佈式數據庫、虛擬化技術和雲存儲，構建分佈式架構，對海量數據進行分佈式數據挖掘，才能發揮大數據的作用。因此，大數據必須用特殊的技術，在可容忍的時間內有效地處理大量數據。大數據的技術所採用的技術，一般包括大規模並行處理數據庫、分佈式文件系統、雲計算平臺、數據挖掘電網、分佈式數據庫、互聯網及可擴展的存儲系統。
分享到:
閱讀更多 觀點互動 的文章
