大數據主要學習什麼內容?有什麼要求和條件?

用戶2717790427918


----專注解答大學生就業問題,歡迎提問!----

如果你是大學生,相關專業,確實應該學習,哪怕是理論層面的瞭解也是有價值的。

你要具備大數據思維,這點非常重要,時代變了,沒有這種思維,很容易落後。

如果你想在技術上學習大數據,我建議,首先是計算機語言,和發數據開發架構,然後是數學和算法。這些是大數據的基礎。

但大數據真正使用,是需要結合業務的,不同行業需要的業務不同,比如金融行業,工業,互聯網等等。

----專注解答大學生就業問題,歡迎提問!----


我的瀋陽


作為一名IT從業者,同時也是一名計算機專業的教育工作者,我來回答一下這個問題。

首先,當前大數據的知識體系還是比較龐大的,隨著大數據技術生態的逐漸成熟和完善,大數據領域也逐漸形成了更多的崗位細分,從事不同的崗位細分方向則需要學習不同的知識。

從當前大的崗位劃分來看,通常包括以下幾個崗位:

第一:大數據開發崗位。從近兩年大數據方向研究生的就業情況來看,開發崗位的人才需求量還是比較大的,相關崗位的薪資待遇也比較高,其中從事大數據平臺開發的研發級崗位會有更高的薪資待遇。從事大數據開發崗位,通常需要學習三大塊內容,其一是程序開發技術,初學者可以從Java或者Python開始學起;其二是學習大數據平臺知識,初學者可以從Hadoop和Spark開始學起;其三是大數據開發實踐,這個過程需要掌握一定的行業知識。

第二:大數據分析崗位。大數據分析崗位的人才需求潛力是非常大的,不僅IT(互聯網)行業需要大量的大數據分析人才,傳統行業領域也需要大數據分析人才。選擇大數據分析方向需要具有一定的數學和統計學基礎,而且也有一定的學習難度。目前大數據分析的常見方式有兩種,分別是統計學方式和機器學習方式。

第三:大數據運維崗位。如果對於編程和算法設計不感興趣,那麼也可以考慮學習大數據運維知識,未來可以從事大數據運維崗位。大數據運維崗位的任務相對比較雜,需要從業者具有較強的動手實踐能力。從知識結構上來看,大數據運維需要掌握網絡知識、大數據平臺知識和服務器知識。

我從事互聯網行業多年,目前也在帶計算機專業的研究生,主要的研究方向集中在大數據和人工智能領域,我會陸續寫一些關於互聯網技術方面的文章,感興趣的朋友可以關注我,相信一定會有所收穫。

如果有互聯網、大數據、人工智能等方面的問題,或者是考研方面的問題,都可以在評論區留言,或者私信我!


IT人劉俊明


學習大數據需要循序漸進的學,掌握一套學習方法很重,把需要學習的內容分成幾個階段,系統學習。我簡單的列了一下需要學習的內容,僅供參考。

第一階段

JavaSE基礎核心

Java入門語法、面向對象核心、集合與泛型、線程機制、網絡編程、流程控制結構、異常體系、反射體系、IO流、設計模式

第二階段

數據庫關鍵技術

MySql安裝和使用、DML(數據操縱語言)、DCL(數據控制語言)、存儲過程和函數、JDBC核心技術、SQL語言解析、DDL(數據定義語言)

第三階段

大數據基礎核心

Maven、Hadoop、Hive、Kafka、Linux、Shell、Zookeeper+HA、Flume、HBase

第四階段

Spark生態體系框架

Scala語言、Spark SQL、Kylin、Druid、Sqoop、Spark Core、Presto、Spark Streaming、Redis緩存數據庫、GIT & GIT Hub、ElasticSearch

第五階段

Flink流式數據處理框架

Flink Environment、Flink DataSet、Flink Window、Flink State & Checkpoint、Flink on Yarn、Flink DataStream、Flink Watermark


大數據漫路求索


hadoop、Hbase、hive、spark等框架使用來分析海量的數據,進行計算、統計、得出想要的結果。

條件:開發語言JAVA、操作系統Linux系統




閉著眼睛切土豆


1. 數學知識

數學知識是數據分析師的基礎知識。對於初級數據分析師,瞭解一些描述統計相關的基礎內容,有一定的公式計算能力即可,瞭解常用統計模型算法則是加分。對於高級數據分析師,統計模型相關知識是必備能力,線性代數(主要是矩陣計算相關知識)最好也有一定的瞭解。而對於數據挖掘工程師,除了統計學以外,各類算法也需要熟練使用,對數學的要求是最高的。

2. 分析工具對於初級數據分析師,玩轉Excel是必須的,數據透視表和公式使用必須熟練,VBA是加分。另外,還要學會一個統計分析工具,SPSS作為入門是比較好的。對於高級數據分析師,使用分析工具是核心能力,VBA基本必備,SPSS/SAS/R至少要熟練使用其中之一,其他分析工具(如Matlab)視情況而定。對於數據挖掘工程師……嗯,會用用Excel就行了,主要工作要靠寫代碼來解決呢。

3. 編程語言對於初級數據分析師,會寫SQL查詢,有需要的話寫寫Hadoop和Hive查詢,基本就OK了。對於高級數據分析師,除了SQL以外,學習Python是很有必要的,用來獲取和處理數據都是事半功倍。當然其他編程語言也是可以的。對於數據挖掘工程師,Hadoop得熟悉,Python/Java/C++至少得熟悉一門,Shell得會用……總之編程語言絕對是數據挖掘工程師的最核心能力了。

4. 業務理解業務理解說是數據分析師所有工作的基礎也不為過,數據的獲取方案、指標的選取、乃至最終結論的洞察,都依賴於數據分析師對業務本身的理解。對於初級數據分析師,主要工作是提取數據和做一些簡單圖表,以及少量的洞察結論,擁有對業務的基本瞭解就可以。對於高級數據分析師,需要對業務有較為深入的瞭解,能夠基於數據,提煉出有效觀點,對實際業務能有所幫助。對於數據挖掘工程師,對業務有基本瞭解就可以,重點還是需要放在發揮自己的技術能力上。

5. 邏輯思維這項能力在我之前的文章中提的比較少,這次單獨拿出來說一下。對於初級數據分析師,邏輯思維主要體現在數據分析過程中每一步都有目的性,知道自己需要用什麼樣的手段,達到什麼樣的目標。對於高級數據分析師,邏輯思維主要體現在搭建完整有效的分析框架,瞭解分析對象之間的關聯關係,清楚每一個指標變化的前因後果,會給業務帶來的影響。對於數據挖掘工程師,邏輯思維除了體現在和業務相關的分析工作上,還包括算法邏輯,程序邏輯等,所以對邏輯思維的要求也是最高的。

6. 數據可視化數據可視化說起來很高大上,其實包括的範圍很廣,做個PPT裡邊放上數據圖表也可以算是數據可視化,所以我認為這是一項普遍需要的能力。對於初級數據分析師,能用Excel和PPT做出基本的圖表和報告,能清楚的展示數據,就達到目標了。對於高級數據分析師,需要探尋更好的數據可視化方法,使用更有效的數據可視化工具,根據實際需求做出或簡單或複雜,但適合受眾觀看的數據可視化內容。對於數據挖掘工程師,瞭解一些數據可視化工具是有必要的,也要根據需求做一些複雜的可視化圖表,但通常不需要考慮太多美化的問題。

7. 協調溝通對於初級數據分析師,瞭解業務、尋找數據、講解報告,都需要和不同部門的人打交道,因此溝通能力很重要。對於高級數據分析師,需要開始獨立帶項目,或者和產品做一些合作,因此除了溝通能力以外,還需要一些項目協調能力。對於數據挖掘工程師,和人溝通技術方面內容偏多,業務方面相對少一些,對溝通協調的要求也相對低一些。

下面是學習資料指南(需要原圖,加我好友,私信索取):


Echa攻城獅


大數據技術的學習內容有很多,包括:

基礎階段:Linux、Docker、KVM、MySQL基礎、Oracle基礎、MongoDB、redis。

hadoop mapreduce hdfs yarn:hadoop:Hadoop 概念、版本、歷史,HDFS工作原理,YARN介紹及組件介紹。

大數據存儲階段:hbase、hive、sqoop。

大數據架構設計階段:Flume分佈式、Zookeeper、Kafka。

大數據實時計算階段:Mahout、Spark、storm。

大數據數據採集階段:Python、Scala。

大數據商業實戰階段:實操企業大數據處理業務場景,分析需求、解決方案實施,綜合技術實戰應用。


武器的小知識


大數據可以學習hadoop,hive,zookeeper,hbase,scala,kafka,flume,spark很多,mysql,


分享到:


相關文章: