2020-03-13 23:13:40 佚名

回眸一笑5

----專注解答大學生就業問題，歡迎提問！----

專業從事大數據多年，我告訴你，有！

但是，你有沒有，不確定，因為這取決於你的能力。

可以說這個行業有發展，而且近10年內，應該都是出於好的那種行業，但是這個行業可以侵入的周邊行業又太多，比如金融，教育，工業，網絡等等，都有需求。

但最終這個行業的開發，會隨著技術難度降低，而變為低收入體力工作。

你要在這個過程中不斷地學習，接受新技術才能真正立足。

----專注解答大學生就業問題，歡迎提問！----

我的瀋陽

這種問題不能瞎答亂答，要講基本道理的。泛泛而論，我認為大數據開發有前途，但是你得考慮清楚未來的路徑。（大數據開發的幾個發展路徑和建議在文末，可以直接拉到結尾直接看，然後再看中間的分析內容）。

最近三年“大數據”這個詞很火，火爆異常，各種培訓班開課廣告滿天飛。但是很多開課的忽悠師傅也不知道大數據分析師、大數據研發工程師、大數據建模工程師、大數據挖掘工程師等等有什麼不同或者差異。

相信提問的兄弟，也不確定大數據開發具體和大數據有什麼關係？和別的開發有什麼不同？為什麼大數據開發有前途？

本回答嘗試從個人工作中的接觸和朋友的經驗分享總結整理一下，以供參考。

開宗明義，大數據目前籠統一點的崗位劃分是：

數據科學家&數據工程師&數據分析師。

對大數據這個新的細分領域來說，幹活的人有幾種：

一種是用大數據的，就是數據科學家，或者數據分析師；
一種是開發大數據平臺的，就是平臺開發工程師。
當然交叉起來還可以繼續細分，挖掘、建模都可以成為單獨的職位。

我們不扯遠，專注講大數據開發好了，類似建築行業裡面砌磚的。

大數據本質其實也是數據，不過也包括了些新的特徵，

數據來源廣；

數據格式多樣化（結構化數據、非結構化數據、Excel文件等）；

數據量大（最少也是TB級別的、甚至可以是PB級別）；

數據增長速度快。

所以，大數據開發更多要重視大數據量+多種格式的清洗+大量數據的分析和複雜模型建模+隨時應對變化的數據量和數據結構+高深點的需要注意底層技術提高應用效率。

我認為通用型的大數據開發需要了解整個領域的技術框架

——具體進入某個公司的大數據開發團隊後，可以就該團隊的技術框架深入鑽研
——但是如果是進入某公司去負責一整塊大數據開發的話，還是需要了解和熟悉整個領域的技術框架的。

介紹大數據相關的工作前我們先了解下大數據的處理流程

我們看到好多略有差異的思路，但是總結起來，無非就是：

1、數據源整合和數據收集：結構化數據+不完整結構化的數據（大多數外部數據源都很亂，各位以後做這個一定會面對很多提供方自以為牛逼的數據）+非結構化數據；前段時間，我遇到一個自稱做了5年數據分析的健身房老闆，說自己也懂大數據分析。。。我問了下他有多少數據量。。。他說5000條客戶數據，我去。。。
2、導入數據庫：先結構化，這一步很難，很多人都不知道商務數據需要把主數據和業務數據分開表格——你怎麼能在客戶數據表上面放交易數據呢，這是一對多關係阿。
3、數據清洗。
4、數據建模。
5、數據分析。
6、數據報表和儀表板。

在前面做好2步做好後，後面就是持續的重複工作。當然需要不斷根據業務要求做新模型。

那麼在整個過程裡面需要學習什麼呢？

第0步：最基本的是學好Linux；
第1步：學好數據獲取工具，包括數據庫（SQL、Hadoop、Hive）；爬蟲工具（Python和Java，以及對應的庫，比如Py的爬蟲庫和數據處理庫等）；
第2步：數據處理層，SQL、Hive、Excel、Python和相關庫、R等；
第3步：建模層。
第4步：可視化工具，參見上圖。

你會發現，這裡面東西太多了，你能做的也很多。

既可以當企業的服務於業務部門的數據分析和數據應用開發人員（比如給銷售部門做呈現數據工具，比如給企業IT部門做分析簡化模型工具）；
也可以給外部大數據工具供應商當開發人員；

也可能給開課講工具應用和分析模型。
學好數學和業務，還能轉數據分析師和挖掘工程師。

你說，前途好不好？

如果對您有幫助，麻煩點個贊；如果你覺得對其他朋友有價值，請轉發分享。

三叉戟看科技

改革開放以來特別是黨的十八大以來，我國發生了深刻的變化，信息領域部分核心技術實現了創新突破，集成電路、操作系統等基礎通用技術加速追趕，人工智能、大數據、雲計算、物聯網等前沿技術研究加快，量子通信、高性能計算等取得了重大突破。　

　數字經濟拓展了經濟發展新空間，新技術新業態新模式不斷湧現，分享經濟蓬勃發展，網絡零售、移動支付交易規模位居全球第一，數字經濟規模位居全球第二。　

　大數據在現代化發展進程中發揮了重大的作用，從夢想走向現實，改變和豐富了人們的生活：到陌生地打開導航，猶如裝上了千里眼；收費站通過移動支付輕鬆通關；帶上一部手機，吃喝玩樂全搞定。隨著電子信息技術的飛速發展，數字化、網絡化已經深入到了社會生活的各個領域，成為人們日常工作和生活中不可缺少的部分。　

　我國大數據新一代信息技術的迅猛發展，從跟著跑到領著跑，其背後凝聚著廣大科技人員的汗水和心血。打破技術壟斷，獨立自主創新，攻堅克難，頑強拼搏，瞄準世界科技前沿，攻下一道道技術難題，研發出一大批具有自主知識產權的核心技術，攀登世界高峰。　

　隨著5G時代的來臨，中國已在5G技術、標準制定、頻譜規劃等方面不斷進取突破，中國信息技術的快速發展，展示出自強不息的民族精神，展示中國的創新力量。未來中國數據經濟市場規模將接近55萬億　　

據相關機構數據顯示，2017年中國數字經濟市場規模達到了27.2萬億元，佔GDP的32.9%。截止至2018年我國數字經濟規模達到31.3萬億元，按可比口徑計算，名義增長20.9%，佔GDP比重為34.8%，佔比同比提升1.9個百分點。預測2019年我國數據經濟市場規模將達到35萬億元，並預測在2023年我國數據經濟市場規模將增長至54.5萬億元，2019-2023年均複合增長率約為11.71%。

近幾年，我國大數據產業發展逐漸加快，但專業化人才短缺也逐漸成為了大數據產業發展的絆腳石。雖然在國家政府及其相關部門正在積極推進大數據人才建設的進程，許多高校和企業也在積極培養大數據產業相關的專業人才。但是人才的培養畢竟需要時間的積累，從大數據迅猛發展對相關人才的需求來看，未來很長一段時間，大數據人才都面臨嚴重缺口。

大數據基礎研究、產品研發和業務應用、大數據平臺運維與開發、數據分析、數據安全等專業人才供求矛盾就十分突出，尤其是既具備紮實理論基礎又有業務實踐經驗的大數據人才奇缺，能夠將兩者結合到一起運用到公司經營的綜合型人才較少，這也是當前大數據應用少的重要原因。

Linux基礎教程

首先，當前學習大數據開發是不錯的選擇，一方面就業崗位相對比較多，另一方面薪資待遇也相對比較高。從研究生的就業情況來看，2019年秋招期間不少大廠都釋放出了較多的大數據開發崗位。

大數據開發可以簡單地劃分為兩類，一類是大數據平臺開發，另一類是大數據應用開發，當前大廠的崗位多集中在大數據平臺開發崗位上，隨著大數據逐漸開始落地應用，未來大數據應用開發崗位的人才需求量會逐漸增加。

對於數學基礎比較紮實，同時具有一定計算機基礎知識的人來說，可以向大數據平臺開發方向發展。大數據平臺開發通常屬於研發級崗位，相對於大數據應用開發來說，目前大數據平臺開發崗位的薪資待遇要更高一些，而且職業生命週期也相對比較長。從近些年大廠的招聘情況來看，目前大數據方向的研究生往往更容易獲得大數據平臺開發崗位。

對於基礎比較薄弱的初學者來說，可以先從大數據應用開發開始學起，然後隨著自身知識結構的不斷完善再逐漸實現崗位升級。學習大數據應用開發需要注重三方面知識的學習，其一是編程語言基礎；其二是大數據開發平臺知識；其三是行業知識。

目前Java、Python、Scala等語言在大數據開發領域有比較廣泛的應用，所以可以從其中一門編程語言開始學起，而大數據平臺可以重點關注一下Hadoop和Spark。在產業互聯網時代，大量的應用開發都將基於各種平臺展開，包括大數據平臺、雲計算平臺和人工智能平臺等等。

我從事互聯網行業多年，目前也在帶計算機專業的研究生，主要的研究方向集中在大數據和人工智能領域，我會陸續寫一些關於互聯網技術方面的文章，感興趣的朋友可以關注我，相信一定會有所收穫。

如果有互聯網、大數據、人工智能等方面的問題，或者是考研方面的問題，都可以在評論區留言，或者私信我！

IT人劉俊明

大數據作為時下火熱的IT行業的詞彙，隨之而來的數據開發、數據倉庫、數據安全、數據分析、數據挖掘等等圍繞大數據的商業價值的利用逐漸成為行業人士爭相追捧的利潤焦點。

隨著大數據時代的來臨，大數據開發也應運而生。大數據開發其實分兩種，第一類是編寫一些Hadoop、Spark的應用程序，第二類是對大數據處理系統本身進行開發。

第一類工作感覺更適用於data analyst這種職位，而且現在Hive Spark-SQL這種系統也提供SQL的接口。第二類工作的話通常才大公司裡才有，一般他們都會搞自己的系統或者再對開源的做些二次開發。這種工作的話對理論和實踐要求的都更深一些，也更有技術含量。

接下來說一下大數據開發的未來就業方向！

一、聚焦公司

首先找工作的時候聚焦到頭部企業，特別是龍頭壟斷企業，但是在這些企業當中，現在已經擁有了很多牛叉的大數據開發大師。比如說阿里，騰訊，華為，以及包括很多其他的互聯網公司，像360，金山，包括今日頭條。

二、聚焦行業

大數據開發是未來5G領域當中不可或缺的生存技能。幾百年前佔據了資源，你就佔據了優勢，佔據了財富。當今你佔據了數據，你就佔據了資源和財富，數據就是一切。所以大數據開發沒有問題，特別是圍繞著消費和行為習慣的數據，這些數據都是能夠變現的。

所以餐飲業、出行行業、大健康產業、電商購物類的，可以說所有的行業都要圍繞著大數據來去做文章。包括未來集市當了公務員，透過大量的數據進行分析，去得出整個國家經濟的細微特徵和變化，包括人口統計健康狀況都是非常非常重要的。

甚至大數據可以預測一個地區選舉的結果。

三、聚焦產業和變現

我的建議是學習大數據處理未來呢，要聚焦在公司當中，工作一段時間後自己要有一種能力，就是當數據給到你手裡面的時候，能夠幫助企業進行變現。比方說現在自媒體領域當中幫助企業進行變現，實際上本質也是數據進行引流，粉絲就是數據粉絲量就是數據量，透過跟粉絲的行為特徵進行識別，包括滿足粉絲的這種愛好，那麼對接相關的企業進行商品製造，這也是一種能力的體現。

四、商業模式的變化

以前的是由商品端來決定的，也就是工廠生產的商品，它決定了消費者的購買趨勢。只要透過廣告引導，包括流行時尚的元素創造，就可以引領年輕人的消費習慣。

當今是用戶決定工廠大量的粉絲，針對他們的喜好行為習慣，能夠安排指導工廠生產粉絲所喜歡和喜好的商品，也就是由用戶端決定了生產端。

所以你要學習大數據開發沒有問題，但是一定要學以致用，要注意如何將大數據開發進行變現，只有這樣擁有了這種能力，結合上營銷策劃。你就會處於不敗之地，你才是非常牛逼的大數據領域的尖端人才。

我是HI木易子楊，聚焦財經和職場出版領域更多精彩內容，歡迎私信關注交流分享。

HI木易子楊

大數據技術目前正處在落地應用的初期，從大數據自身發展和行業發展的趨勢來看，大數據未來的前景還是不錯的，具體原因有以下幾點：

第一：大數據自身能夠創造出更多的價值。大數據相關技術緊緊圍繞數據價值化展開，數據價值化將開闢出廣大的市場空間，重點在於數據本身將為整個信息化社會賦能。隨著大數據的落地應用，大數據的價值將逐漸得到體現。目前在互聯網領域，大數據技術已經得到了較為廣泛的應用。

第二：大數據推動科技領域的發展。大數據的發展正在推動科技領域的發展進程，大數據的影響不僅僅體現在互聯網領域，也體現在金融、教育、醫療等諸多領域。在人工智能研發領域，大數據也起到了重要的作用，尤其在機器學習、計算機視覺和自然語言處理等方面，大數據正在成為智能化社會的基礎。

第三：大數據產業鏈逐漸形成。經過近些年的發展，大數據已經初步形成了一個較為完整的產業鏈，包括數據採集、整理、傳輸、存儲、分析、呈現和應用，眾多企業開始參與到大數據產業鏈中，並形成了一定的產業規模，相信隨著大數據的不斷髮展，相關產業規模會進一步擴大。

第四：產業互聯網將推動大數據落地。當前互聯網正在經歷從消費互聯網向產業互聯網過渡，產業互聯網將利用大數據、物聯網、人工智能等技術來賦能廣大的傳統產業，可以說產業互聯網的發展空間非常大，而大數據則是產業互聯網發展的一個重點，大數據能否落地到傳統行業，關乎產業互聯網的發展進程，所以在產業互聯網階段，大數據將逐漸落地，也必然落地。

通過以上分析可以得出，未來大數據領域的發展空間還是比較大的，而且目前大數據領域的人才缺口比較大，所以從就業的角度來說，當前學習大數據相關知識是個不錯的選擇。

墨雨無痕db

當前，全球已進入大數據時代，大數據正以一種革命風暴的姿態闖入人們視野，其技術和市場在快速發展，而駕馭大數據的呼聲則一浪高過一浪。隨著大數據蘊涵價值的逐步釋放，使其成為IT信息產業中最具潛力的藍海。鑑於在技術和產業層面，國際上在大數據領域還未形成技術和市場的壟斷，技術應用創新機會較多;當前大數據技術和應用需求的蓬勃興起，及開源技術提出的革命性挑戰，各家IT廠商均需同等面對，這無形中縮短了彼此起步的差距，這意味著國內企業在開拓大數據市場上存在巨大的機遇!

　　1. 中國大數據產業發展現狀分析

　　大數據產業鏈建設情況

　　目前，IT產業在發展過程中已經形成了一些層次分佈，有做服務器和底層系統的，有做軟件的，有做應用的，大數據也需要在原有的架構上加以發展。原來做基礎設施的企業，如聯想、華為，也要向大數據轉型，提供低成本、低能耗的大型存儲器，這是大數據產業的基礎。中間層是類似Hadoop、MapReduce的數據分析軟件，原有的軟件產業也要轉型，由賣軟件轉為以數據為中心。再往上就是百度、騰訊、阿里巴巴等大數據應用服務公司，需要增加數據分析的效用。

　　大數據產業市場規模分析

　　據貴陽大數據交易所發佈的《2016年中國大數據交易產業白皮書》數據顯示，2014年，中國大數據產業規模大約為1038億元，2015年產業整體規模達到1692億元。隨著大數據應用範圍的不斷擴大，大數據所形成的價值正在快速提升。

　　大數據應用行業投資分佈

　　2015年，我國政府大數據應用份額依然佔比最高，達到11.38%;其次是電信和金融行業，份額分別為9.35%和8.90%;電商、醫療和能源行業緊隨其後，三者佔比分別為7.92%、7.63%和7.50%。其餘行業佔比均低於7%，但從全球發展趨勢來看，未來企業的佔比將有所提高，而政府的佔比將有所減少。

　　大數據產業面臨的挑戰

　　大數據在開始應用的同時，也在基礎軟件研發、智慧城市建設、數據流動性等方面尚存在一些不足。主要表現在以下幾個方面：

　　2. 中國大數據應用實踐分析

　　大數據在經濟預警方面的應用

　　在2008年金融危機中，阿里平臺的海量交易記錄預測了經濟指數的下滑。2008年初，阿里巴巴平臺上整個買家詢盤數急劇下滑，預示了經濟危機的來臨。數以萬計的中小製造商及時獲得阿里巴巴的預警，為預防危機做好了準備。

　　大數據在市場營銷方面的應用

　　與傳統的市場研究方法不同，大數據的市場研究方法不再侷限於抽樣調查，而是基於幾乎全樣本空間。例如，百度擁有中國最大的消費者行為數據庫，覆蓋95%的中國網民，搜索市場佔比達87%。百度基於最真實的用戶行為數據和多維度研究工具，幫助寶潔精準的定位了消費者的地域分佈、興趣愛好等信息，根據百度分析的結論，寶潔適時地調整了營銷策略。

　　大數據在醫療領域的應用

　　中國目前已經有十餘座城市開展了數字醫療。病歷、影像、遠程醫療等都會產生大量的數據並形成電子病歷及健康檔案。基於這些海量數據，醫院能夠精準地分析病人的體徵、治療費用和療效數據，可避免過度及副作用較為明顯的治療，此外還可以利用這些數據進行實現計算機遠程監護，對慢性病進行管理等。

　　大數據在金融領域的應用

　　大數據能夠解決金融領域海量數據的存儲、查詢優化及聲音、影像等非結構化數據的處理。金融系統可以通過大數據分析平臺，導入客戶社交網絡、電子商務、終端媒體產生的數據，從而構建客戶視圖。依託大數據平臺可以進行客戶行為跟蹤、分析，進而獲取用戶的消費習慣、風險收益偏好等。針對用戶這些特性，銀行等金融部門能夠實施風險及營銷管理。

　　3. 中國大數據產業前景預測

　　大數據產業總體規模預測

　　據貴陽大數據統計來看，中國大數據產業市場在未來五年內，仍將保持著高速增長。預計2016年末，市場規模將達到2485億元，而隨著各項政策的配套落實及推進，到2020年，中國大數據產業規模或達13626億元的高點。

　　大數據產業細分市場預測

　　1、大數據基礎架構硬件市場預測

　　2014年，我國大數據相關硬件市場在451億元，到2015年已經達到795億元的規模。隨著大數據相關產業的快速發展及應用場景的擴大，我國大數據硬件層市場將迎來一個嶄新的快速發展的局面。預計2016年市場規模將達到1093億元，2020年將突破至2385億元。

　　2、大數據技術市場發展前景預測

　　就中國大數據市場而言，大數據軟件市場佔比較小。2012年，大數據軟件市場規模約為0.54億元，2014年市場規模約為2.48億元，前瞻預測，2016-2021年，中國大數據軟件市場規模年均複合增長率約為65%。預計到2021年，其市場規模達到80億元。