在美國,大數據工程師平均年薪達17.5萬美元,在中國頂尖的互聯網公司裡,大數據工程師的薪酬比同級別的其他職位高出30%以上。DT時代來得太突然了,國內發展勢頭很猛,而大數據相關的人才卻非常地有限,在未來若干年內都會是供不應求的狀況,因此程序員們,你們的春天到了!
轉行也並非一朝一夕的事情,你需要對這個行業有一定的瞭解,並匹配一下自己的知識和能力結構。
以下是一位在BAT大數據領域打滾了N年後的分析師寫下的一些總結和體會給想入行或是剛入行大數據的朋友借鑑學習!
成為數據分析師有哪些要求?
1、理論知識要寬泛,涉及數學、市場和技術。要求及對數據敏感,包括統計知識、市場研究、模型原理等。
2、常規分析工具的使用,包括數據庫、數據挖掘、統計分析工具,常用辦公軟件(Excel、PPT、思維導圖)等等。
3、有一定的業務理解能力,能理解業務背後的商業邏輯。因為只有理解了商業問題,才能轉換成數據分析的問題,從而滿足部門的要求。
4、數據報告和數據可視化的能力。數據分析得再好,如果不能以漂亮的方式“表達”,成效也會大打折扣。
現在大多工作都需要你擁有邏輯分析能力,尤其是對數據的分析理解。在數據化運營理念深入的今天,BAT這樣的大型互聯網公司強調全員參與數據化運營,把數據分析當作一種能力在培訓,也必定是未來趨勢。
數據分析師所需具備的能力和知識(從數據分析的4個步驟來理解 )
數據分析的四個步驟:數據獲取、數據處理、數據分析、數據呈現。
1、數據獲取
數據獲取看似簡單,但是需要把握對問題的商業理解,轉化成數據問題來解決,直白點講就是需要哪些數據,從哪些角度來分析,界定問題後,再進行數據採集。此環節,需要數據分析師具備結構化的邏輯思維。
推薦書籍:《金字塔原理》、麥肯錫三部曲:麥肯錫意識、工具、方法;
2、數據處理
數據的處理需要掌握有效率的工具:
Excel及高端技能:日常工作通用,容易掌握,處理10萬級別的數據很輕鬆。
學習高端Excel需要哪些技能?
學習excel是個循序漸進的過程
基礎:簡單的表格數據處理、打印、查詢、篩選、排序
函數和公式:常用函數、高級數據計算、數組公式、多維引用、function
可視化圖表:圖形圖示展示、高級圖表、圖表插件
數據透視表、VBA程序開發
按照我習慣的方法,先過一遍基礎,知道什麼是什麼,然後找幾個case練習。多逛逛excelhome論壇,平常多思考如何用excel來解決問題,善用插件,還有記得保存。
帆軟FineReport:專業的報表工具,日常做報表設計一個模板可通用,只要會寫SQL就可上手。相比excel做報表,開發的技術要求較少,能很快地開發常規報表、動態報表,並可以放在移動端和大屏查看。
Oracle和SQL sever:企業最常用的千萬級別的數據庫,熟練掌握SQL語言。
保持不斷的技術學習,比如學習新流行的hadoop之類的分佈式數據庫來提升個人能力,對求職有幫助。
3、分析數據
分析數據往往需要各類統計分析模型,如關聯規則、聚類、分類、預測模型等等。
因此,熟練掌握一些統計分析工具不可免:
SPSS系列:老牌的統計分析軟件,SPSS Statistics(偏統計功能、市場研究)、SPSS Modeler(偏數據挖掘),不用編程,易學。
SAS:經典挖掘軟件,需要編程。
R:開源軟件,新流行,對非結構化數據處理效率上更高,需編程。
各類BI工具:
Tableau:可視化工具的鼻祖,對於處理好的數據可作自由的可視化分析,圖表效果驚人
大數據BI工具FineBI:類同Tableau,可在前端做任意維度分析;數據可在前端繼續處理(計算、篩選過濾等),可對接hadoop之類的大數據平臺,數據處理性能較好。
推薦書籍:
1、《說菜鳥不會數據分析》系列,入門級書,初學者最適。
2、《數據挖掘與數據化運營實戰,思路、方法、技巧與應用》,內容很系統很全面。
3、《市場研究定量分析方法與應用》,簡明等編著,中國人民大學出版社。
4、數據可視化呈現
很多數據分析工具已經涵蓋了數據可視化部分,只需要把數據結果進行有效的呈現和演講彙報,可用word\PPT\H5等方式展現。
學習路線規劃
第一階段(基礎階段)
Linux學習
Linux操作系統介紹與安裝、Linux常用命令、Linux常用軟件安裝、Linux網絡、 防火牆、Shell編程等。
Java 高級學習(《深入理解Java虛擬機》、《Java高併發實戰》)
掌握多線程、掌握併發包下的隊列、掌握JVM技術、掌握反射和動態代理、瞭解JMS。
Zookeeper學習
Zookeeper分佈式協調服務介紹、Zookeeper集群的安裝部署、Zookeeper數據結構、命令。
第二階段(攻堅階段)
Hadoop、Hive、HBase、Scala、Spark、Python
第三階段(輔助工具工學習階段)
Sqoop、Flume、Oozie、Hue這些工具的學習主要在CSDN,51CTO以及官網都可以學習。
那如何學習才能快速入門並精通呢?
當真正開始學習的時候難免不知道從哪入手,導致效率低下影響繼續學習的信心。
但最重要的是不知道哪些技術需要重點掌握,學習時頻繁踩坑,最終浪費大量時間,所以有一套實用的視頻課程用來跟著學習是非常有必要的。
為了讓學習變得輕鬆、高效,今天給大家免費分享一套陸金所的大數據架構師傳授的一套教學資源。幫助大家在學習大數據的道路上披荊斬棘。
這套視頻課程,詳細講解了Hadoop生態(MR、Hbase、Spark、Storm等)開發技術,深度講解了數據挖掘、機器學習相關的算法、神經網絡等內容!
而且還把集群需要用到的各種程序進行了打包,根據基礎視頻可以讓你輕鬆搭建Hadoop完全分佈式環境,像在企業生產環境一樣進行學習和實踐。
後臺私信回覆“大數據” 就可以馬上免費獲得這套價值一萬八的內部教材!先到先得。
再次強調:
1、把數據分析作為一種能力培養,讓自己在現在的團隊中展現出良好的數據分析能力,為你以後內部轉崗做好準備。
2、紮實學好一、兩門數據挖掘軟件,基於你已有得編程基礎,可以學SAS或者R,基本能夠滿足很大部分企業的需求。
3、多看多想多觀察,學習業務職能是這樣,細水長流,還需要不斷工作積累和廣泛的閱讀。
最後,希望你能夠成為你想成為的人!
閱讀更多 Java高級架構資訊 的文章