faqiangu

大數據是經過數據採集、分析、可視化呈現這些程序後的結果。

2.應用在哪些方面:

大數據廣泛應用於各種領域，在此僅概括舉例一二。

（1）新聞報道:在媒體新聞報道時，不只是對信息的簡單整理和複製。做出一個好新聞，也需要大數據的幫助，哪些是大眾熱議的話題，哪些事件內容具有相關性或因果關係，這些都有大數據的統計和參與。

（2）信息的個性化人性化傳播:通過大數據的某種運算，提供有效信息。

舉例:如在今日頭條或抖音上，大家刷到的內容是不一樣的，它會根據你覺得興趣愛好、關注領域來推送，這就是大數據運用的結果。

（3）重大事件:如此次疫情當中，對疫情嚴重地區具體地理位置的獲取，嚴重程度的分析，所需物資的統計等等，都採用了大數據。

就如我們可以感知到的:“獲取個人位置查看周圍是否有疫情病例”，這個就是一個簡單的數據處理。

大數據是海量的，多種多樣的，取之不盡的，看你如何分析，從那個角度去運用。

3.經典案例

現有的如:抖音、今日頭條、B站等各大信息平臺的信息推送，打造個性化差異化平臺，並取得巨大陳成功。

獨醒茶心

大數據說到底就是一個大字。到底有多大看拿維基百科上的例子來說，CERN做的LHC（大型強子對撞機）周長27公里，裡面一共有1.5億個傳感器，每秒鐘讀數達四千萬次。每秒鐘發生的粒子對撞高達6億次。剔除99.999%的無用數據，每秒鐘也有100次碰撞需要記錄。如果在這些數據裡面僅僅使用十萬分之一，那麼一年也要積累25 petabytes的數據，相當於25000個1TB的硬盤。

在這些數據裡尋找希格斯玻色子的證據，是真正的大海撈針。這麼大的數據你給我用Excel算算看看不要說計算，根本連載入內存都不可能。

再比如說，Facebook據說擁有500億以上的用戶照片。前些日子美國波士頓發生了爆炸案。這些照片裡可能就有爆炸案的線索。那你給我找找看那張照片上面有嫌犯看波士頓馬拉松僅運動員就有兩三萬人，圍觀群眾近五十萬。在同一時間同一地點拍攝的照片可能有幾十萬張，錄像可能有幾千小時。用人工一張一張看過來是不切實際的。如果要考察爆炸案前後幾天的照片那就更不現實了。還有的照片根本就沒有時間和地點信息。

再舉一個例子。2009年華盛頓大學的研究人員使用15萬張Flickr上的圖片，重建了整個羅馬城的3D模型。整個重建過程的計算使用了496個CPU核心，耗時8小時。如果每張照片按100KB計算，總數據量達到15GB。至少要達到這個級別的數據，才能稱得上大數據。

人生短短三十年

大數據，很明顯從字面上理解就是大量的數據，海量的數據。大，意思就是數據的量級很大，不上TB都不好意思說是大數據。數據，狹義上理解就是12345那麼些數據，畢竟計算機底層是二進制來存的，那麼在大數據領域，數據就不僅僅包括數字這些，它可以是所有格式的東西，比如日誌，音頻視頻，文件等等。

所以，大數據從字面上理解就是海量的數據，技術上它包括這些海量數據的採集，過濾，清洗，存儲，處理，查看等等部分，每一個部分包括一些大數據的相關技術框架來支持。

舉個例子，淘寶雙十一的總交易額的顯示，後面就是大數據技術的支持，全國那麼多淘寶用戶的交易記錄匯聚到一起，數據量很大，而且要做到實時的展現，就需要強有力的大數據技術來處理了。

數據量一大，那麼得找地方來存，一個服務器硬盤可以掛多少，肯定滿足不了這麼大的數據量存儲啊，所以，分佈式的存儲系統應運而生，那就是HDFS分佈式文件系統。簡單的說，就是把這麼大的數據分開存在甚至幾百甚至幾千臺服務器上，那麼管理他們的系統就是HDFS文件系統，也是大數據技術的最基本的組件。

有地方存了，需要一些分佈式的數據庫來管理查詢啊，那就有了Hbase等，還需要一些組件來計算分析這些數據啊，mapreduce是最基本的計算框架，其他的計算框架Spark和Storm可以完成實時的處理，其中HDFS和MapReduce組成了Hadoop1.

總之，一切都是數據。我們的歷史，是不是都是大量的數據保存下來的，現在我們也是大數據的生活，天天有沒有接到騷擾電話還知道你姓什麼，你查話費什麼的從幾億人的數據中查到你的信息，大數據生活。未來，大數據將更深刻的滲透到生活中。

大羅先生

大數據（big data），或稱巨量數據；是由數量巨大、結構複雜、類型眾多數據構成的數據集合，是基於雲計算的數據處理與應用模式，通過數據的集成共享，交叉複用形成的智力資源和知識服務能力。在商業領域指的是所涉及的資料規模巨大到無法透過目前主流軟件工具，在合理時間內達到擷取、管理、處理、並整理成為幫助企業經營決策更積極目的的資訊。對於組織和個人職業生涯而言,成功的大數據項目應該都是一場成果顯著的勝利。但如果優先順序出錯，那麼大數據項目在實行伊始便註定將以失敗告終。區分數據真實度（veracity）、可視化（visualization）以及價值（value）的優先順序是成功的關鍵。

陌上寒煙雪紛飛

怎樣簡單理解“大數據”及其應用？

“大數據”研究機構Gartner給出了這樣的定義：“大數據”是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力來適應海量、高增長率和多樣化的信息資產。

如今，大數據在互聯網，電子商務領域得到了有效的應用，主要體現在以下幾個方面：

（1）對大量消費者提供產品或服務的企業可以利用大數據進行精準營銷；

（2）做小而美模式的中小微企業可以利用大數據做服務轉型；

（3）面臨互聯網壓力之下必須轉型的傳統企業需要與時俱進充分利用大數據的價值。

在電商領域，大數據被企業充分挖掘並使用，比如淘寶的千人千面系統，每個進入淘寶的客戶，淘寶根據其搜索瀏覽方向，內容，使用習慣等對每個人進行標籤化，眾多的淘寶客戶標籤便形成了淘寶大數據，淘寶方面可以根據客戶特徵，特點等標籤，更為精準的向進入淘寶的客戶推薦更符合該用戶需求及預期的產品或服務。

頭條系應用也多采用大數據標籤化，針對性的向顧客推薦算法下更為優質且更符合訪問者需求的素材。

科技沈說

簡單理解大數據：大量行為數據的彙總便是大數據。有了大數據可以讓各行各業更加精準高效的工作。

舉例一、頭條根據統計每個人的行為數據，知道個人喜好，精準的投放你喜歡的內容，同時也精準的投放廣告。要知道以前沒有這些數據的時候，網站投放廣告是投放給每一用戶的，這樣浪費廣告資源，也浪費了投放廣告方資源。

舉例二、外賣餐廳可以通過大數據知道店內每個菜品消費者喜愛情況，用戶年齡，性別，喜好等畫像。便於後續更精準的調整菜品及服務。

對於大數據，麥肯錫全球研究所給出的定義是：

”一種規模大到在獲取、存儲、管理、分析方面大大超出了傳統數據庫軟件工具能力範圍的數據集合。“

大數據具有五大特點，稱為5V。

1. 多樣（Variety）

大數據的多樣性是指數據的種類和來源是多樣化的，數據可以是結構化的、半結構化的以及非結構化的，數據的呈現形式包括但不僅限於文本，圖像，視頻，HTML頁面等等。

2. 大量（Volume）

大數據的大量性是指數據量的大小，這個就是上面筆者介紹的內容，不再贅述。

3. 高速（Velocity）

大數據的高速性是指數據增長快速，處理快速，每一天，各行各業的數據都在呈現指數性爆炸增長。在許多場景下，數據都具有時效性，如搜索引擎要在幾秒中內呈現出用戶所需數據。企業或系統在面對快速增長的海量數據時，必須要高速處理，快速響應。

4. 低價值密度（Value）

大數據的低價值密度性是指在海量的數據源中，真正有價值的數據少之又少，許多數據可能是錯誤的，是不完整的，是無法利用的。總體而言，有價值的數據佔據數據總量的密度極低，提煉數據好比浪裡淘沙。

5. 真實性（Veracity）

大數據的真實性是指數據的準確度和可信賴度，代表數據的質量。

數據一直都在，變革的是方式

大數據的意義不僅僅在於生產和掌握龐大的數據信息，更重要的是對有價值的數據進行專業化處理。

人類從來不缺數據，缺的是對數據進行深度價值挖掘與利用。可以說，從人類社會有了文字以來，數據就開始存在了，現在亦是如此。這其中唯一改變的是數據從產生，到記錄，再到使用這整個流程的形式。

1. 數據生產

在人類社會的早期，民以食為天，數據的產生大多與商品，食物，土地等掛鉤。舊石器時代的部落人民在樹枝或骨頭上刻下凹痕來記錄日常的交易活動或物品供應。

為了衡量商品長度，中國人發明了尺、裡、寸、丈、步、仞等長度單位；為了衡量重量，發明了升、鬥，斛等重量單位。

在互聯網時代，數據的生產變得更為容易。美國互聯網數據中心曾指出，互聯網上的數據每年都將增長50%，每兩年便將翻一倍，而目前世界上90%以上的數據是最近幾年才產生的。

每人每天都會產生海量數據，如視頻數據，電商數據，社交數據等等。

2. 數據記錄

千年之前，人們用龜甲石鼓、簡牘絹帛到造紙術成熟後的刻本等一切觸手可及的器物來作為數據的載體。

千年之後，人們用圖書，報紙，硬盤，光盤，存儲器等各種更為靈活，簡便的方式記錄數據。

3. 數據利用

古人利用利用甲骨文占卜判斷兇吉，利用占星術預測朝代興衰；利用螞蟻搬家，燕子低飛，蚯蚓出洞來預測天氣。

互聯網時代，企業或產品利用電商數據為用戶推薦商品，利用社交數據做廣告營銷等等。

在大數據概念興起之前，大部分企業並沒有注意到數據的寶貴价值，只是在純粹的生產和記錄數據。更有甚者視海量數據為累贅，因為數據的存儲與管理需要耗費企業大量的成本，極少有企業能把數據作為一種資源，嗅到大數據背後的價值，從而加以利用。就算到現在，數據資源的整合利用能力依然是考驗每個企業的一大難點。

大數據應用

大數據作為一個能夠改變產業應用的技術，只有切實落地才能帶來真正的價值。

其實大數據的應用範圍非常廣，不單單限於互聯網行業，在其他諸如金融，製造業，交通物流方面也都有非常大的應用價值。

1. 大數據讓借貸款更加放心

在金融行業中，以借貸款為例。在貸款前，貸款借出方會先利用大數據對借款人進行貸前審核，以此來保障貸後的還款率。

借出方從各個渠道合法收集借款人的標籤信息，如學歷，職業，薪資狀況，歷史借還款情況等（據說一個用戶的標籤維度可以達到7000個）。海量數據被放入反欺詐模型，還款能力模型，身份驗證模型等數箇中做訓練，最終得出是否通過本次貸款申請，貸款的額度，貸款人的還款意願等評估信息。

借款人數據收集的越多，標籤維度越細，數據越真實，則審核效果越全面。

2. 大數據讓廣告營銷更高效

廣告作為互聯網行業最常見的變現手段之一，大數據賦能廣告營銷，讓廣告從惹人惱轉變為廣告即內容，廣告即服務。

曾幾何時，你會發現日常生活中看到的廣告居然那麼懂你。點開淘寶，你最愛的商品被推薦在Banner首頁；打開微信朋友圈，映入眼簾的是你正想要做的汽車保養；打開百度搜索，你前兩天看的別墅信息赫然出現。

這一切的實現都得益於大數據賦能廣告。

在廣告投放前期，通過大數據手段大量的整合、分析數據，包括用戶的瀏覽習慣、消費行為、瀏覽記錄、對廣告的點擊數量等，並從中挖掘出有效的信息；構建全面的用戶畫像，結合廣告業務，精準定位目標用戶，保證廣告定向投放。

在廣告投放的中後期，通過實時數據反饋，結合用戶所處地域，時間的變化，動態優化廣告素材，調整廣告的呈現方式與廣告的展覽位置，讓同一個用戶在不同的場景下享受不一樣的廣告服務，實現一人千面，增加廣告營銷效果，提升廣告主KPI。

3. 大數據賦能零售

新零售時代，客戶的需求無時無刻不在變化，大數據賦能零售，讓零售在人，貨，場上進行變革。

零售商可以藉助大數據對未來市場需求進行預測，搶先一步對庫存進行管理。在流量高發的前期，及時補足庫存，提升商品供應率；在流量散去的前期，及時去庫存，避免庫存積壓。

藉助大數據分析用戶地域分佈情況，商店流量，消費者習慣等那個，在合適的地區開設商店，建造倉庫。在物流發貨時，從數據出發，合理規劃運輸路勁，降低運輸成本。

利用數據還可以統一上下游供應鏈交互，解決數據不對成問題，減小牛鞭效應，提升供應鏈中每個環節的利用效率。

總結

數據一直都在，大數據變革的只是方式。大數據並不神秘，神秘的是對未知數據的探索與利用。

桑丘說影視

大數據：所有數據的集合！

大數據具有五大特點，稱為5V。

1. 多樣（Variety）

大數據的多樣性是指數據的種類和來源是多樣化的，數據可以是結構化的、半結構化的以及非結構化的，數據的呈現形式包括但不僅限於文本，圖像，視頻，HTML頁面等等。

2. 大量（Volume）

大數據的大量性是指數據量的大小，這個就是上面筆者介紹的內容，不再贅述。

3. 高速（Velocity）

大數據的高速性是指數據增長快速，處理快速，每一天，各行各業的數據都在呈現指數性爆炸增長。在許多場景下，數據都具有時效性，如搜索引擎要在幾秒中內呈現出用戶所需數據。企業或系統在面對快速增長的海量數據時，必須要高速處理，快速響應。

4. 低價值密度（Value）

大數據的低價值密度性是指在海量的數據源中，真正有價值的數據少之又少，許多數據可能是錯誤的，是不完整的，是無法利用的。總體而言，有價值的數據佔據數據總量的密度極低，提煉數據好比浪裡淘沙。

5. 真實性（Veracity）

大數據的真實性是指數據的準確度和可信賴度，代表數據的質量。

大數據常見領域：

大數據的應用方面，用我們日常生活中會被收集到的，如頭條，淘寶，和美團等。

當你在刷頭條的時候，經常點擊的內容，會通過頭條後臺記錄數據，頭條會根據你點擊的內容，分析出你的興趣愛好，從而推送給你可能感興趣的內容。

當你在淘寶反覆搜索某一類商品時，如數碼，你就會發現，每次你打開淘寶領取紅包後，你紅包消費的內容就是你經常搜索的內容。

當你在美團訂購外賣的時候，經常訂漢堡的，你每次打開都會出現很多漢堡店。你經常訂麻辣燙，自然而然的也會出現類似的外賣店。

當然，最為成功的就是AI智能了，華為最先推出AI智能，就是通過大數據收集使用者的生活習慣，從而更方便的為使用者服務。

寧靜視窗

/01

大數據的定義

首先，我們看看大數據的定義。

行業裡對大數據的定義有很多，有廣義的定義，也有狹義的定義。

廣義的定義，有點哲學味道——大數據，是指物理世界到數字世界的映射和提煉。通過發現其中的數據特徵，從而做出提升效率的決策行為。

狹義的定義，是技術工程師給的——大數據，是通過獲取、存儲、分析，從大容量數據中挖掘價值的一種全新的技術架構。

相比較而言，狹義定義更好理解一些。

大家注意，關鍵詞我都在上面原句加粗了：

要做什麼？——獲取數據、存儲數據、分析數據

對誰做？——大容量數據

目的是什麼？——挖掘價值

獲取數據、存儲數據、分析數據，這一系列的行為，都不算新奇。我們每天都在用電腦，每天都在幹這個事。

例如，每月的月初，考勤管理員會獲取每個員工的考勤信息，錄入Excel表格，然後存在電腦裡，統計分析有多少人遲到、缺勤，然後扣TA工資。

但是，同樣的行為，放在大數據身上，就行不通了。換言之，傳統個人電腦，傳統常規軟件，無力應對的數據級別，才叫“大數據”。

/02

大數據，到底有多大？

我們傳統的個人電腦，處理的數據，是GB/TB級別。例如，我們的硬盤，現在通常是1TB/2TB/4TB的容量。

TB、GB、MB、KB的關係，大家應該都很熟悉了：

1 KB = 1024 B (KB - kilobyte)

1 MB = 1024 KB (MB - megabyte)

1 GB = 1024 MB (GB - gigabyte)

1 TB = 1024 GB (TB - terabyte)

而大數據是什麼級別呢？PB/EB級別。

大部分人都沒聽過。其實也就是繼續乘以1024：

1 PB = 1024 TB (PB - petabyte)

1 EB = 1024 PB (EB - exabyte)

只是看這幾個字母的話，貌似不是很直觀。我來舉個例子吧。

1TB，只需要一塊硬盤可以存儲。容量大約是20萬張照片或20萬首MP3音樂，或者是20萬部電子書。

普通硬盤

1PB，需要大約2個機櫃的存儲設備。容量大約是2億張照片或2億首MP3音樂。如果一個人不停地聽這些音樂，可以聽1900年。。。

2個機櫃

1EB，需要大約2000個機櫃的存儲設備。如果並排放這些機櫃，可以連綿1.2公里那麼長。如果擺放在機房裡，需要21個標準籃球場那麼大的機房，才能放得下。

21個籃球場

阿里、百度、騰訊這樣的互聯網巨頭，數據量據說已經接近EB級。

阿里數據中心內景

EB還不是最大的。目前全人類的數據量，是ZB級。

1 ZB = 1024 EB (ZB - zettabyte)

2011年，全球被創建和複製的數據總量是1.8ZB。

而到2020年，全球電子設備存儲的數據，將達到35ZB。如果建一個機房來存儲這些數據，那麼，這個機房的面積將比42個鳥巢體育場還大。

數據量不僅大，增長還很快——每年增長50%。也就是說，每兩年就會增長一倍。

目前的大數據應用，還沒有達到ZB級，主要集中在PB/EB級別。

大數據的級別定位

1 KB = 1024 B (KB - kilobyte)

1 MB = 1024 KB (MB - megabyte)

1 GB = 1024 MB (GB - gigabyte)

1 TB = 1024 GB (TB - terabyte)

1 PB = 1024 TB (PB - petabyte)

1 EB = 1024 PB (EB - exabyte)

1 ZB = 1024 EB (ZB - zettabyte)

/03

數據的來源

數據的增長，為什麼會如此之快？

說到這裡，就要回顧一下人類社會數據產生的幾個重要階段。

大致來說，是三個重要的階段。

第一個階段，就是計算機被髮明之後的階段。尤其是數據庫被髮明之後，使得數據管理的複雜度大大降低。各行各業開始產生了數據，從而被記錄在數據庫中。這時的數據，以結構化數據為主（待會解釋什麼是“結構化數據”）。數據的產生方式，也是被動的。

世界上第一臺通用計算機-ENIAC

第二個階段，是伴隨著互聯網2.0時代出現的。互聯網2.0的最重要標誌，就是用戶原創內容。隨著互聯網和移動通信設備的普及，人們開始使用博客、facebook、youtube這樣的社交網絡，從而主動產生了大量的數據。

第三個階段，是感知式系統階段。隨著物聯網的發展，各種各樣的感知層節點開始自動產生大量的數據，例如遍佈世界各個角落的傳感器、攝像頭。

經過了“被動-主動-自動”這三個階段的發展，最終導致了人類數據總量的極速膨脹。

/04

大數據的4個V

行業裡對大數據的特點，概括為4個V。

前面所說的龐大數據體量，就是Volume（海量化）。除了Volume之外，剩下三個，分別是Variety、Velocity、Value。

我們一個一個來介紹。

Variety（多樣化）

數據的形式是多種多樣的，包括數字（價格、交易數據、體重、人數等）、文本（郵件、網頁等）、圖像、音頻、視頻、位置信息（經緯度、海拔等），等等，都是數據。

數據又分為結構化數據和非結構化數據。

從名字可以看出，結構化數據，是指可以用預先定義的數據模型表述，或者，可以存入關係型數據庫的數據。

結構化數據

例如，一個班級所有人的年齡、一個超市所有商品的價格，這些都是結構化數據。

而網頁文章、郵件內容、圖像、音頻、視頻等，都屬於非結構話數據。

在互聯網領域裡，非結構化數據的佔比已經超過整個數據量的80%。

大數據，就符合這樣的特點：數據形式多樣化，且非結構化數據佔比高。

Velocity（時效性）

大數據還有一個特點，那就是時效性。從數據的生成到消耗，時間窗口非常小。數據的變化速率，還有處理過程，越來越快。例如變化速率，從以前的按天變化，變成現在的按秒甚至毫秒變化。

我們還是用數字來說話：

就在剛剛過去的這一分鐘，數據世界裡發生了什麼？

Email：2.04億封被髮出

Google：200萬次搜索請求被提交

Youtube：2880分鐘的視頻被上傳

Facebook：69.5萬條狀態被更新

Twitter：98000條推送被髮出

12306：1840張車票被賣出

……

怎麼樣？是不是瞬息萬變？

Value（價值密度）

最後一個特點，就是價值密度。

大數據的數據量很大，但隨之帶來的，就是價值密度很低，數據中真正有價值的，只是其中的很少一部分。

例如通過監控視頻尋找犯罪分子的相貌，也許幾TB的視頻文件，真正有價值的，只有幾秒鐘。

2014年美國波士頓爆炸案，現場調取了10TB的監控數據（包括移動基站的通訊記錄，附近商店、加油站、報攤的監控錄像以及志願者提供的影像資料），最終找到了嫌疑犯的一張照片。

/05

大數據的價值

剛才說到價值密度，也就說到了大數據的核心本質，那就是價值。

人類提出大數據、研究大數據的主要目的，就是為了挖掘大數據裡面的價值。

大數據，究竟有什麼價值？

2012年的世界經濟論壇指出：“數據已經成為一種新的經濟資產類別，就像貨幣和黃金一樣”。這無疑將大數據的價值推到了前所未有的高度層面上。

如今，大數據應用開始走進我們的生活，影響我們的衣食住行。

滴滴的大數據殺熟，相信大家都有所耳聞

之所以大數據會有這麼快的發展，就是因為越來越多的行業和企業，開始認識到大數據的價值，開始試圖參與挖掘大數據的價值。

歸納來說，大數據的價值主要來自於兩個方面：

1 幫助企業瞭解用戶

大數據通過相關性分析，將客戶和產品、服務進行關係串聯，對用戶的偏好進行定位，從而提供更精準、更有導向性的產品和服務，提升銷售業績。

典型的例子就是電商。

像阿里淘寶這樣的電子商務平臺，積累了大量的用戶購買數據。在早期的時候，這些數據都是累贅和負擔，存儲它們需要大量的硬件成本。但是，現在這些數據都是阿里最寶貴的財富。

通過這些數據，可以分析用戶行為，精準定位目標客群的消費特點、品牌偏好、地域分佈，從而引導商家的運營管理、品牌定位、推廣營銷等。

大數據可以對業績產生直接影響。它的效率和準確性，遠遠超過傳統的用戶調研。

除了電商，包括能源、影視、證券、金融、農業、工業、交通運輸、公共事業等，都是大數據的用武之地。

大數據甚至能夠幫助競選總統

2 幫助企業瞭解自己

除了幫助瞭解用戶之外，大數據還能幫助瞭解自己。

企業生產經營需要大量的資源，大數據可以分析和鎖定資源的具體情況，例如儲量分佈和需求趨勢。這些資源的可視化，可以幫助企業管理者更直觀地瞭解企業的運作狀態，更快地發現問題，及時調整運營策略，降低經營風險。

總而言之，“知己知彼，百戰百勝”。大數據，就是為決策服務的。

/06

大數據和雲計算

說到這裡，我們要回答一個很多人心裡都存在的疑惑——大數據和雲計算之間，到底有什麼關係？

可以這麼解釋：數據本身是一種資產，而云計算，則是為挖掘資產價值提供合適的工具。

從技術上，大數據是依賴於雲計算的。雲計算裡面的海量數據存儲技術、海量數據管理技術、分佈式計算模型等，都是大數據技術的基礎。

雲計算就像是挖掘機，大數據就是礦山。如果沒有云計算，大數據的價值就發揮不出來。

相反的，大數據的處理需求，也刺激了雲計算相關技術的發展和落地。

也就是說，如果沒有大數據這座礦山，雲計算這個挖掘機，很多強悍的功能都發展不起來。

套用一句老話——雲計算和大數據，兩者是相輔相成的。

/07

大數據和物聯網（5G）

第二個問題，大數據和物聯網有什麼關係？

這個問題我覺得大家應該能夠很快想明白，前面其實也提到了。

物聯網就是“物與物互相連接的互聯網”。物聯網的感知層，產生了海量的數據，將會極大地促進大數據的發展。

同樣，大數據應用也發揮了物聯網的價值，反向刺激了物聯網的使用需求。越來越多的企業，發覺能夠通過物聯網大數據獲得價值，就會願意投資建設物聯網。

其實這個問題也可以進一步延伸為“大數據和5G之間的關係”。

即將到來的5G，通過提升連接速率，提升了“人聯網”的感知，也促進了人類主動創造數據。

另一方面，它更多是為“物聯網”服務的。包括低延時、海量終端連接等，都是物聯網場景的需求。

5G刺激物聯網的發展，而物聯網刺激大數據的發展。所有通信基礎設施的強大，都是為大數據崛起鋪平道路。

/08

大數據的產業鏈

接下來再說說大數據的產業鏈。

大數據的產業鏈，和大數據的處理流程是緊密相關的。簡單來說，就是生產數據、聚合數據、分析數據、消費數據。

每個環節，都有相應的角色玩家。如下圖：

從目前的情況來看，國外廠商在大數據產業佔據了較大的份額，尤其是上游領域，基本上都是國外企業。國內IT企業相比而言，存在較大的差距。

大數據相關重點領域及企業（技術）

/09

大數據的挑戰

說了那麼多大數據的好話，並不代表大數據是完美的。

大數據也面臨著很多挑戰。

除了數據管理技術難度之外，大數據的最大挑戰，就是安全。

數據是資產，也是隱私。沒有人願意自己的隱私被暴露，所以，人們對自己的隱私保護越來越重視。政府也在不斷加強對公民隱私權的保護，出臺了很多法律。

歐盟在2018年出臺了有史以來最嚴厲的GDPR（《一般數據保護法案》），把網絡數據保護上升到前所未有的高度

在這種情況下，企業獲取用戶數據，就需要慎重考慮，是否符合倫理和法律。一旦違法，將付出極為沉重的代價。

此外，即使企業合法獲取數據，也要擔心是否會被惡意攻擊和竊取。這裡面的風險也是不容忽視的。

除了安全之外，大數據還要面臨能耗等方面的問題。

換言之，如果不能很好地保護和利用手裡的大數據，那麼它就是一個燙手的山芋，有還不如沒有。

好啦，洋洋灑灑寫了這麼多，相信大家已經對大數據有了初步的瞭解。

勵志健身小青年

1、我理解的大數據就是：數據量大(Volume)、數據種類多樣(Variety)、 要求實時性強(Velocity) 。對它關注也是因為它蘊藏的商業價值大(Value)。也是大數據的4V特性。符合這些特性的，叫大數據。

2、對它關注一個原因就它的大價值，比方ebay,建立的大數據分析平臺可以準確分析用戶的購物行為。通過對顧客的行為進行跟蹤、對搜索關鍵字廣告的投入產出進行衡量，優化後eBay 產品銷售的廣告費降低了99%，頂級賣家佔總銷售額的百分比卻上升至32%。就大數據價值這一塊，例子很多，詳情可以再自己查查。

再一個對它關注的原因就是因為這麼大量和複雜的數據確實不好管理，這樣就有了處理大數據的一些技術，比如Hadoop。Hadoop是個開源的，像百度做搜索，就用Hadoop管理數據。淘寶在2011年11月11日，搞得優惠活動，你想想在零點的時候，淘寶點擊有多高，每一筆買賣算一個數據請求，那怎麼保證網站的正常運轉啊？這些就是一些技術方面的關注了。

3、它的作用更多，拿球賽說，我們現在可以通過比賽錄像找出對手缺點了。有個大數據應用是視頻教練工具，用這個工具，球員可以比較和對比同一投球手的不同投球，或是幾天或幾周的投球情況的時間序列數據。

4、解決的問題。你問的大數據解決什麼問題，應該是處理大數據的技術解決什麼問題。通過我上面說的，你大概也能知道一點了，管理大規模的複雜數據需要用到大數據的技術，通過大數據的技術把這些大數據管理分析好了，可以使企業領導對各方面有更明確的認識，做出更好的決策。

總結下：大數據更多的體現數據的價值。各行業的數據都越來越多，在大數據情況下，如何保障業務的順暢，有效的管理分析數據，能讓領導層做出最有利的決策。這是關注大數據的原因。也是大數據技術要解決的問題。

這些都是我自己寫的我個人的理解，供你參考。再有不明白的可以百度，或者加追問咱們共同探討。嘿嘿。

藍鼻子的喬巴

大數據，顧名思義，“大”該是應有之義，大數據的定義最初與容量有關係。業界有幾種對大數據的定義，其中一個共同點就是數據的容量超出了原有的存儲、管理和處理能力。

已經被應用到了各個行業，包括金融、汽車、餐飲、電信、能源、體能和娛樂等在內的社會各行各業都已經融入了大數據的印跡，5G 時代大數據大數據將無處不在

金融行業，大數據在高頻交易、社交情緒分析和信貸風險分析三大金融創新領域發揮重大作用。

汽車行業，利用大數據和物聯網技術的無人駕駛汽車，在不遠的未來將走入我們的日常生活。

互聯網行業，藉助於大數據技術，可以分析客戶行為，進行商品推薦和針對性廣告投放。

餐飲行業，利用大數據實現餐飲O2O模式，徹底改變傳統餐飲經營方式。

電信行業，利用大數據技術實現客戶離網分析，及時掌握客戶離網傾向，出臺客戶挽留措施。

能源行業，隨著智能電網的發展，電力公司可以掌握海量的用戶用電信息，利用大數據技術分析用戶用電模式，可以改進電網運行，合理設計電力需求響應系統，確保電網運行安全。

物流行業，利用大數據優化物流網絡，提高物流效率，降低物流成本。

城市管理，可以利用大數據實現智能交通、環保監測、城市規劃和智能安防。

關鍵字: 此僅 大數據 雲計算