你還在傻傻的以爲數據科學家=統計學家+數據分析師?

大數據和數據科學已經形成一門學科並將持續發展。本文將討論數據科學家應有的幾個主要特徵,以及他們應該具有或獲取的專業知識 。本文選自《數據天才:數據科學家修煉之道》。

你還在傻傻的以為數據科學家=統計學家+數據分析師?

數據科學家不是統計學家,不是數據分析師,不是計算機科學家,不是軟件工程師,也不是業務分析師。他們對這些領域都有一定的瞭解,但同時還具有這些領域之外的知識。

你還在傻傻的以為數據科學家=統計學家+數據分析師?

在過去的15年裡,統計學家和數據科學家之間的距離越來越遠的原因之一是,統計學家,即發表理論性文章(有時不是建立在數據分析基礎上的)並且培訓統計學家的那些人……已不再是統計學家。此外,很多統計學家認為數據科學是關於分析數據的學科,但事實上它的範疇不止於此。數據科學還包括實現數據自動處理的算法,從而提供對數據自動化的預測和操作,例如下面這些領域。

  • 自動競價系統。
  • (實時)評估美國所有房屋的價值(Zillow.com)。
  • 高頻交易。
  • 將一條谷歌廣告與一個用戶及一個網頁匹配起來,使轉化率最大化。
  • 使每條谷歌搜索都能返回高相關性的結果。
  • Amazon.com或者Facebook上的書籍和朋友推薦。
  • 稅務欺詐檢測和恐怖主義檢測。
  • 為所有信用卡交易評分(欺詐檢測)。
  • 計算化學,模擬新分子用於癌症治療。
  • 傳染病的早期檢測。
  • 分析NASA(美國太空總署)圖像,尋找新的行星或小行星。
  • 天氣預報。
  • 自動駕駛(飛機和汽車)。
  • 用於所有旅館房間的客戶定製化(實時)定價系統。

所有這些領域皆涉及統計科學和百萬兆的數據。從事這方面工作的人通常不把自己稱為統計學家,他們稱自己為數據科學家。隨著時間的推移,統計學家也會逐漸開始使用大數據和現代應用程序,這時數據科學和統計學之間的差距就會越來越小。

同時,數據科學家不是統計學家,因為統計學家懂得很多數據科學家工作中不需要的知識:廣義逆矩陣、特徵值、隨機微分方程,等等。當數據科學家需要用到基於這類數學知識的技術時,通常他們會藉助高級的工具(軟件),而其中這些數學知識被封裝成了黑盒——這就好像軟件工程師不再使用匯編語言來編寫代碼一樣。反過來,數據科學家需要新的統計知識,特別是數據驅動、模型無關、穩定可靠的技術,可以用於現代、大規模、快速變化、時常是非結構化的數據。此外數據科學家還要將非結構化數據進行結構化處理和精通分類學、NLP(自然語言處理,也被稱為文本挖掘)和標籤管理系統。

數據科學家也不是計算機科學家——首先,因為他們不需要具備計算機科學家那樣完整的計算機理論知識體系,其次,數據科學家需要更好地瞭解隨機過程、實驗設計及抽樣,這些通常是統計學家擅長的領域。但是,數據科學家需要熟悉計算複雜度、算法設計、分佈式架構和編程(R、SQL、NoSQL、Python、Java和C++)。獨立的數據科學家可以使用Perl來代替Python,雖然Python已經成為標準的腳本語言。數據科學家需要熟悉軟件開發生命週期和精簡架構以進行代碼開發和團隊協作。

你還在傻傻的以為數據科學家=統計學家+數據分析師?

數據科學家還應成為一兩個應用領域內的專家、有可以分享的成功經驗(以及量化成功的指標)、有商業洞察力,並能評估數據科學解決方案給客戶或者老闆帶來的投資回報率。如果你在某個橫向領域已經具有幾年的行業經驗和培訓(運籌學、面向大規模數據集的應用統計學、計算機科學、工程學或者側重分析學科的MBA學位),以上這些技能大多數可以在短期內獲得。

你還在傻傻的以為數據科學家=統計學家+數據分析師?

數據科學家還需善於溝通,能夠理解,很多時候還需猜測,客戶、老闆或者管理層試圖解決的問題。尤其重要的是能夠把高層次的英語語言轉換成簡單、高效、可擴展、可複製、健壯、靈活、平臺獨立的解決方案。

最後,分析師這個名稱適合於一個較初級的角色,一般指分析數據的人,但其不涉及創建系統或架構來自動分析處理數據並基於自動檢測到的模式或理解執行自動的操作。

你還在傻傻的以為數據科學家=統計學家+數據分析師?

總結起來就是,數據科學 = 一些(計算機科學)+ 一些(統計科學)+ 一些(業務管理)+ 一些(軟件工程)+ 專業領域知識 + 新的(統計科學),其中

  • 一些()指該領域並非完全從屬於數據科學。
  • 新的()指需要該領域的新知識。

相關圖書《數據天才:數據科學家修煉之道》

你還在傻傻的以為數據科學家=統計學家+數據分析師?

多層次討論數據科學是什麼,包含豐富的教程和案例研究,提供大量職業資源,是數據科學家的求職與準備必備指南。

作者:[美]Vincent Granville 著,吳博 張曉峰 季春霖 譯

圖書詳情:https://item.jd.com/12072613.html


分享到:


相關文章: