Spark誕生之前的故事（二）

，一群不知天高地厚的工程師，將Mapreudce的方式在Google開始應用，在google跨時代的論文發表之前， Doug Cutting正在嘗試進行開發一款低開銷的方式構建網頁倒排索引的方式，當看Google的paper後，Doug Cutting開始著手進行開發類似的mapreduce系統和GFS，但是Doug Cutting當時所在的公司並不是很重視這個技術，因此幾經周折，終於遇到了伯樂Yahoo的搜索負責人Raymie Stata，Raymie Stata對Hadoop很有熱心，其實也受制於原有系統的諸多問題，Raymie組建了百人的團隊做Yahoo的開發和維護，這個百人團隊後來發展到幾百人的團隊是Yahoo的infrastructure基礎團隊的重要組成，後來這個團隊做出來了pig，oozie，從這個團隊跳槽的很多人成了各個公司Hadoop開發的中流砥柱。

2008年Yahoo做出一個重大的決定，將Hadoop進行開源，主要包含兩個核心組件HDFS和MapReduce，雖然現在看來，裡面存在諸多問題，甚至有很多bug，以及被大家詬病的HA問題，但是正如今天互聯網的速度一樣，汽車能跑就先跑起來，跑的過程中混換輪子。時至今日對於Hadoop開源的意義不言而喻，這已經影響到了全球每一個互聯網公司，在下有一次有幸和曾今google的中層針對這個事情有一個簡單的溝通，其實開始針對Hadoop的開源並不是很在意，畢竟Map-reduce的諸多問題已經暴露，而且google已經開始嘗試開發第二代的GFS了，已經遠遠領先業界。但是時至今日，Hadoop生態席捲全球，後學所有的計算引擎必須支持HDFS，不知道是否有人後悔呢。