大數據（big data），指無法在一定時間範圍內用常規軟件工具進行捕捉、管理和處理的數據集合，是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。
大數據特徵分析
大數據，不僅有“大”這個特點，除此之外，它還有很多其他特色。在這方面，業界各個廠商都有自己獨特的見解，但是總體而言，可以用“4V+1C”來概括，“4V+1C分別代表了Variety（多樣化）、Volume（海量）、Velocity（快速）、Vitality（靈活）以及Complexity（複雜）這五個單詞。
1、Variety（多樣化）
大數據一般包括以事務為代表的結構化數據、以網頁為代表的半結構化數據和以視頻和語音信息為代表的非結構化等多類數據，並且它們的處理和分析方式區別很大。
與大數據現象有關的數據量為嘗試處理它的數據中心帶來了新的挑戰：它多樣的種類。隨著傳感器、智能設備以及社交協作技術的激增，企業中的數據也變得更加複雜，因為它不僅包含傳統的關係型數據，還包含來自網頁、互聯網日誌文件（包括單擊流數據）、搜索索引、社交媒體論壇、電子郵件、文檔、主動和被動系統的傳感器數據等原始、半結構化和非結構化數據。簡言之，種類表示所有的數據類型。
2、Volume（海量）
如今存儲的數據數量正在急劇增長，毫無疑問我們正深陷在數據之中。我們存儲所有事物：環境數據、財務數據、醫療數據、監控數據等。有關數據量的對話已從TB級別轉向PB級別，並且不可避免地會轉向ZB級。現在經常聽到一些企業使用存儲集群來保存數PB的數據。隨著可供企業使用的數據量不斷增長，可處理、理解和分析的數據比例卻不斷下降。
通過各種智能設備產生了大量的數據，PB級別可謂是常態，一些客戶每天處理的數據量都在幾十GB、幾百GB左右，估計國內大型互聯網企業每天的數據量已經接近TB級別。
3、Velocity（快速）
大數據要求快速處理，因為有些數據存在時效性。比如電商的數據，假如今天數據的分析結果要等到明天才能得到，那麼將會使電商很難做類似補貨這樣的決策，從而導致這些數據失去了分析的意義。
就像我們收集和存儲的數據量和種類發生了變化一樣，生成和需要處理數據的速度也在變化。不要將速度的概念限定為與數據存儲庫相關的增長速率，應動態地將此定義應用到數據——數據流動的速度。有效處理大數據需要在數據變化的過程中對它的數量和種類執行分析，而不只是在它靜止後執行分析。
4、Vitality（靈活）
在互聯網時代，和以往相比，企業的業務需求更新的頻率加快了很多，那麼相關大數據的分析和處理模型必須快速地適應新的業務需求。
5、Complexity（複雜）
雖然傳統的BI已經很複雜了，但是由於前面4個V的存在，使得針對大數據的處理和分析更艱鉅，並且過去那套基於關係型數據庫的BI開始有點不合時宜了，同時也需要根據不同的業務場景，採取不同的處理方式和工具。
大數據產業的戰略地位
1、國家級別的戰略產業
美國政府認為數據資源是繼陸空海三大資源外的另一種重要的國家戰略資源，已將大數據戰略上升到國家層面，從2012年到現在為止提出了諸多促進大數據產業發展的宣言和計劃。英國在頂著經濟低迷的巨大壓力下還將大數據作為重點發展的科技領域，2013年投資1.89億英鎊用來加強數據採集和分析，以求在數據革命中搶佔先機，2016年，英國政府又拿出7300萬英鎊投入大數據技術的開發。包括：在55個政府數據分析項目中展開大數據技術的應用；以高等學府為依託投資興辦大數據研究中心；積極帶動牛津大學、倫敦大學等著名高校開設以大數據為核心業務的專業等。同樣日本政府也提出了大力發展IT業的發展計劃，不斷地對信息產業提出戰略規劃。世界各國也逐漸意識到大數據時代的到來，紛紛建立大數據產業。
2、推動技術和知識創新模式的變革
大數據時代的到來引發了探索知識模式的改變。大數據時代的海量數據給科研模式帶來了一種新的發展方向，存在於事物之間的因果關係已經不再是科研人員進行深度研究的必要步驟和關鍵，現在只需從大數據中得出有意義的相互關係，也許從這些相互關係中不能準確知曉事物發生的原因，但是可以預測這件事將會發生，這個價值已經足夠大。在企業界，一些精明的領導者們可以洞察出對大數據的應用其實就是為了管理方式的變革。在學術界，著名的第四範式的科學研究階段提出，即在人類經歷了經驗、理論、計算三個科學研究範式後進入第四範式——數據探索。
3、推動經濟結構轉型
大數據產業的興起加快了產業升級和經濟結構轉型的進程。隨著大數據時代的到來，部分產業界已經逐漸把重點轉向把傳統產業和大數據產業相結合的發展模式。對於傳統工業，採用大數據處理方法進行新需求的探索和新材料的研發，既可降低研發成本，又能提高新產品研發的準確性；對於傳統農業，利用大數據處理方法，可以培育新品種。大數據將會帶來新一浪潮的生產力增長和消費者需求。計算機行業也從開始只關注運算速度轉移到提高大數據的處理分析能力上來，變成真正的信息行業。大數據時代的發展迫使軟硬件的不斷更新從而能夠推進信息行業不斷髮展，這為信息產業提供了又一大的發展機遇。
大數據行業發展規模
工信部印發《大數據產業發展規劃2016-2020年》，特別提出加快推進大數據產業應用能力，到2020年，技術先進、應用繁榮、保障有力的大數據產業體系基本形成。
大數據相關產品和服務業務收入突破1萬億元，加快建設數據強國，為實現製造強國和網絡強國提供強大的產業支撐。
2017年我國大數據市場規模為4700億元（大數據是新興產業，統計口徑沒有標準，市場上對於大數據規模的統計數據各有不同，本文大數據產業指以數據生產、採集、存儲、加工、分析、服務為主的相關經濟活動，包括數據資源建設、大數據軟硬件產品的開發、銷售和租賃活動，以及相關信息技術服務，仍然具有增長空間。
圖1：2015-2017年中國大數據產業規模
中國大數據產業發展因素分析
1、有利因素
跟國外相比，國內的大數據發展，尤其在面向應用及相關技術方面，具有獨特優勢。國內外在大數據應用方面的差距已逐漸縮小，甚至在有些應用領域，國內比國外更靈活、更巧妙，這主要受益於我國人口基數大，隨著大數據越來越深入人們的生活，全社會對數據智能化的需求不斷增加，有效激發了市場活力，帶動相關大數據技術發展。從總體來看，美國、英國和歐洲其他國家大數據發展處於相對成熟階段，國內大數據發展已趨於成熟。
當前，很多大數據技術應用已被金融領域所關注。全球大數據發展得益於對計算機技術開源理念的推行，而相比國外，國內創造新技術的週期可能更短、速度更快，尤其需要滿足國內龐大人口數量的廣泛需求，這使國內對於大數據技術的能力要求超出國外“標準技術所達到的能力範圍，促進了國內新技術的發展。國內要進一步加強對數據應用和相關技術的梳理，使之成規模化發展、成體系化傳承；應進一步加強與大數據相關的立法、制度和標準化建設，強化技術理論研究與傳承，穩固大數據的根基。
2、不利因素
豐富的數據源是大數據產業發展的前提。而我國數字化的數據資源總量遠遠低於美歐，每年新增數據量僅為美國的7%，歐洲的12%，其中政府和製造業的數據資源積累遠遠落後於國外。
就已有有限的數據資源來說，還存在標準化、準確性、完整性低，利用價值不高的情況，這大大降低了數據的價值。
同時，我國政府、企業和行業信息化系統建設往往缺少統一規劃和科學論證，系統之間缺乏統一的標準，形成了眾多“信息孤島”，而且受行政壟斷和商業利益所限，數據開放程度較低，以鄰為壑、共享難，這給數據利用造成極大障礙。制約我國數據資源開放和共享的一個重要因素是政策法規不完善，大數據挖掘缺乏相應的立法，無法既保證共享又防止濫用。
一方面欠缺推動政府和公共數據的政策，另一方面數據保護和隱私保護方面的制度不完善抑制了開放的積極性。因此，建立一個良性發展的數據共享生態系統，是我國大數據發展需要邁過去的第一道砍。
我國數據處理技術基礎薄弱，總體上以跟隨為主，難以滿足大數據大規模應用的需求。
如果把大數據比作石油，那數據分析工具就是勘探、鑽井、提煉、加工的技術。
我國必須掌握大數據關鍵技術，才能將資源轉化為價值。
圖2:2018-2023年中國大數據產業市場規模預測
閱讀更多 中研網 的文章
