大數據的起源:
大數據概念最初起源與美國，是由思科，威睿，甲骨文，IBM等公司倡議發展起來的。早在1980年，著名未來學家托夫勒在其所著的《第三次浪潮》中就熱情地將“大數據”稱頌為“第三次浪潮的華彩樂章”。《自然》雜誌在2008年9月推出了名為“大數據”的封面專欄。從2009年開始“大數據”才成為互聯網技術行業中的熱門詞彙。
最早應用“大數據”的是麥肯錫公司（McKinsey）.對“大數據”進行收集和分析的設想，來自於世界著名的管理諮詢公司麥肯錫公司。麥肯錫公司看到了各種網絡平臺記錄的個人海量信息具備潛在的商業價值，於是投入大量人力物力進行調研，在2011年6月發佈了關於“大數據”的報告，該報告對“大數據”的影響、關鍵技術和應用領域等都進行了詳盡的分析。麥肯錫的報告得到了金融界的高度重視，而後逐漸受到了各行各業關注。
大數據的發展歷史：
一、萌芽階段：20世紀90年代到21世紀的樣子，數據庫技術成熟，數據挖掘理論成熟，也稱數據挖掘階段。
二、突破階段：2003-2006年，非結構化的數據大量出現。傳統的數據庫難以應對，也稱非結構化數據階段。
三、成熟階段：2006——2009年，谷歌公開發表兩篇論文《谷歌文件系統》和《基於集群的簡單數據處理:MapReduce》，其核心的技術包括分佈式文件系統GFS，分佈式計算系統框架MapReduce，分佈式鎖Chubby，及分佈式數據庫BigTable，這期間大數據研究的焦點是性能，雲計算，大規模的數據集並行運算算法，以及開源分佈式架構（Hadoop)。
四、 應用階段：2013年大數據技術開始向商業，科技，醫療，政府，教育，經濟，交通，物流及社會的各個領域滲透，因此2013年也被稱為大數據元年。
大數據的常用技術：
大數據工程師技能圖
一 .大數據基礎：
Linux、Docker、KVM、 MySql基礎、Oracle基礎、MongoDB、redis以及hadoop、 mapreduce、 hdfs 、yarn等。
二 .大數據存儲階段
hbase、 hive 、sqoop
三 .大數據架構設計階段
Flume分佈式 、 Zookeeper 、 Kafka
四 .大數據實時計算階段
Mahout 、 Spark 、 storm
五 .大數據數據採集階段
Python 、Scala
六 .大數據商業實戰階段
大數據商業實戰階段需掌握的技術有：實操企業大數據處理業務場景，分析需求、解決方案實施，綜合技術實戰應用
閱讀更多 智能交通機器人 的文章
