怎麼學習大數據?

暱稱已被重置


大數據是我的主要研究方向之一,同時也在帶大數據方向的研究生,所以我來回答一下這個問題。

大數據技術經過多年的發展已經趨於成熟,目前已經形成了一個初步的產業鏈,包括數據的採集、整理、存儲、安全、分析、呈現和應用,這條產業鏈分佈了多個崗位,同時也涉及到物聯網、雲計算等相關內容。

從技術的角度出發,當前大數據技術崗位分為大數據平臺研發、大數據應用開發、大數據分析、大數據運維等崗位,所以學習大數據技術可以按照這些崗位來制定學習計劃。

對於基礎比較薄弱的人來說,可以重點考慮大數據應用開發和大數據分析崗位,這兩個崗位的人才需求量也比較大。大數據應用開發崗位可以按照以下幾個步驟學習:

第一:計算機基礎。學習大數據需要具備一定的操作系統知識和數據庫知識,其中重點在於Linux操作系統,因為學習大數據需要搭建大數據實驗平臺。另外,數據庫基礎對於學習大數據知識也是比較重要的。

第二:編程語言。大數據開發比較常見的編程語言包括Java、Scala和Python,在Hadoop平臺下比較常見的選擇是Java語言,而在Spark平臺下可以選擇Scala語言,Python在數據分析領域的應用比較普遍。

第三:大數據平臺知識。目前比較常見的大數據平臺包括Hadoop和Spark,不少商業大數據平臺也是基於這兩個平臺搭建的,而且這兩個平臺的生態也比較健全。

在掌握以上知識之後就可以通過大量的實驗來提升大數據開發能力,如果能參加一個項目組進行實習是一個不錯的選擇,因為大數據相關知識比較多,所以邊用邊學是個不錯的選擇。

我從事互聯網行業多年,目前也在帶計算機專業的研究生,主要的研究方向集中在大數據和人工智能領域,我會陸續寫一些關於互聯網技術方面的文章,感興趣的朋友可以關注我,相信一定會有所收穫。

如果有互聯網方面的問題,或者考研方面的問題,都可以諮詢我,謝謝!


IT人劉俊明


易買網

實訓項目一——Web階段項目

項目介紹: 項目貫穿整個JavaWeb學習階段。利用項目需求引申出知識點進行授課。需求引領思路,應用驅動學習。可以整體提升學員的編程思想、編碼能力、實現對Java後臺知識的熟練掌握,併為後續課程學習做鋪墊。

項目涉及:HTTP協議、Tomcat服務器、靜態Web資源開發技術(HTML、CSS、JS)/Java後臺開發技術(Servlet、JSP)、數據庫技術、手寫基礎框架、編程思想實踐、在線支付、權限控制等重點功能點。

匯通物流

項目實訓二——SSH階段項目

項目介紹: 項目中比較核心的業務邏輯比較複雜的功能實現。 並熟練使用各種主流核心技術。如工作流、WebService服務、安全框架、 大型數據庫應用等。瞭解國際物流行業,進出口貿易,貨運管理核心業務。

項目涉及:基於SSH框架+Maven+Apache Shiro 安全框架+Apache CXF+Activity5工作流。

京淘

項目實訓三——SSI階段項目

項目介紹: 瞭解電商行業發展情況及技術投入點,瞭解電商業務,分佈式系統架構Nginx,CMS、HttpClient、Rdeis緩存,單點登錄,訂單系統、Quartz定時任務;全文檢索,刪商品查找Lucence,MQ消息隊列等。

項目涉及:CentOS Linux、Nginx集群及負載均衡、Tomcat集群、Spring Quartz任務調度、RabbitMQ、Rdeis、MySQL等。

電信項目

項目實訓四——互聯網架構

項目介紹:項目應用的架構選擇、系統性能的監控、對分佈式和集群有豐富經驗。

項目涉及:Java通訊方面基礎知識、原理、集群;RPC、MINA、Thrift、SOA、消息中間件、數據倉庫、分佈式緩存、雲計算、實現行亮數據批處理等。

電商數據分析平臺

項目實訓五——大數據階段

項目介紹:通過收集數據源中不同數據,聚集在HDFS上,通過多維方式進行分析,導出到關係型數據庫中進行展示,負責網站整體經營情況概覽,按照地域進行數據結果展示。

項目涉及:Pig日誌清洗,Hive離線分析,Sqoop關係型數據庫和HDFS數據傳輸,ZooKeeper整體集群協調,Ooziezhengti diaodu。


分享到:


相關文章: