大數據開發跟大數據平臺開發有區別嗎?

用戶6423317300690


大數據是我的主要研究方向之一,同時也在帶大數據方向的研究生,所以我來回答一下這個問題。

首先,大數據開發通常指的是基於大數據產業鏈的一系列開發任務,涉及到大數據平臺開發、大數據應用開發、大數據分析等,另外還包括數據採集產品的開發、數據整理產品的開發等等,如果向上延伸的話,部分大數據開發任務與人工智能開發任務也具有密切的聯繫。

大數據平臺開發通常有兩層含義,一層是進行大數據平臺自身的開發,這屬於研發級開發任務,比如大數據平臺Hadoop就是採用Java語言開發的。整個大數據平臺還涉及到一系列產品,包括HBase、Hive、Avro、Zookeeper、Pig、Mahout、Cassandra等,開發這些產品也需要一個龐大的團隊。進行大數據平臺研發的程序員往往需要具備豐富的開發經驗,同時具備較強的研發能力,能夠搭建出一個穩定的分佈式計算體系。

另一層含義是在大數據平臺下進行應用開發,比如在Hadoop、Spark平臺下進行具體的大數據應用開發等,這部分開發通常屬於應用級開發,難度要相對小一些,但是往往需要與具體的場景進行緊密的聯繫,需要開發者具備一定的行業背景知識。

目前大數據應用開發主要的任務有兩個,其一是進行已有軟件產品的大數據改造;其二是針對於具體的大數據需求進行全新的大數據應用開發,目前由於是大數據落地應用的初期,所以大數據改造的開發任務會相對多一些,未來新的大數據開發任務會逐漸增加。

相對於大數據開發來說,大數據分析也需要進行代碼編寫,比如機器學習就是目前比較常見的數據分析方式。機器學習需要進行算法設計、算法實現、算法訓練、算法驗證和算法應用,雖然算法設計是機器學習的核心,但是算法實現也需要程序員來完成具體的開發過程。

我從事互聯網行業多年,目前也在帶計算機專業的研究生,主要的研究方向集中在大數據和人工智能領域,我會陸續寫一些關於互聯網技術方面的文章,感興趣的朋友可以關注我,相信一定會有所收穫。

如果有互聯網、大數據、人工智能等方面的問題,或者是考研方面的問題,都可以在評論區留言!


IT人劉俊明


大數據是我的主要研究方向之一,同時也在帶大數據方向的研究生,所以我來探討一下這個問題。

首先,大數據開發通常指的是基於大數據產業鏈的一系列開發任務,涉及到大數據平臺開發、大數據應用開發、大數據分析等,另外還包括數據採集產品的開發、數據整理產品的開發等等,如果向上延伸的話,部分大數據開發任務與人工智能開發任務也具有密切的聯繫。

大數據平臺開發通常有兩層含義,一層是進行大數據平臺自身的開發,這屬於研發級開發任務,比如大數據平臺Hadoop就是採用Java語言開發的。整個大數據平臺還涉及到一系列產品,包括HBase、Hive、Avro、Zookeeper、Pig、Mahout、Cassandra等,開發這些產品也需要一個龐大的團隊。進行大數據平臺研發的程序員往往需要具備豐富的開發經驗,同時具備較強的研發能力,能夠搭建出一個穩定的分佈式計算體系。

另一層含義是在大數據平臺下進行應用開發,比如在Hadoop、Spark平臺下進行具體的大數據應用開發等,這部分開發通常屬於應用級開發,難度要相對小一些,但是往往需要與具體的場景進行緊密的聯繫,需要開發者具備一定的行業背景知識。

目前大數據應用開發主要的任務有兩個,其一是進行已有軟件產品的大數據改造;其二是針對於具體的大數據需求進行全新的大數據應用開發,目前由於是大數據落地應用的初期,所以大數據改造的開發任務會相對多一些,未來新的大數據開發任務會逐漸增加。

相對於大數據開發來說,大數據分析也需要進行代碼編寫,比如機器學習就是目前比較常見的數據分析方式。機器學習需要進行算法設計、算法實現、算法訓練、算法驗證和算法應用,雖然算法設計是機器學習的核心,但是算法實現也需要程序員來完成具體的開發過程。

我從事互聯網行業多年,目前也在帶計算機專業的研究生,主要的研究方向集中在大數據和人工智能領域,我會陸續寫一些關於互聯網技術方面的文章,感興趣的朋友可以關注我,相信一定會有所收穫。


三年起步


其實這兩個很容易區分的!本身存在有很大的區

大數據平臺開發就是開發大數據所用到的東西,比如hadoop是目前大數據最基本的組成!開發hadoop以及它的一些生態系統,或者升級本身,要是夠厲害也可以開發大數據的系統!這些就屬於大數據平臺開發。

下圖是大數據生態圈




而大數據開發就是利用開發好的平臺,比如用hadoop,spark構建來大數據系統,把大數據運用生活中



舉個很簡單的例子就是大數據平臺開發屬於製造工具,大數據開發就是利用工具創造價值!


安易之之


很榮幸回答這個問題

我是大數據從業者,做過大數據開發,也參與過大數據平臺的全程開發

大數據開發

我認為大數據開發,可以理解為大數據的獲取,這就是涉及一些算法和後臺編碼的問題,主要是解決如何獲取數據,如何解決獲取不同數據的字符轉碼問題,以及數據的儲存,清洗和管理。涉及,數據獲取技術,數據清洗技術,數據儲存技術。

大數據平臺開發

而大數據平臺開發更多的是對現有技術的使用和對數據的使用,如八爪魚,數點營銷(我們的大數據營銷系統),起查查等這些都是數據技術的應用和數據使用的平臺,利用數據開發及數據技術開發這些平臺和在這些上面利用數據開發新增功能等,我認為是才是大數據平臺的開發。

歡迎評論,你認為大數據開發於大數據平臺開發的區別是什麼~


山海軒銘


作為IT行業的一名從業人員,我來回答下這個問題。

大數據開發是個廣義的開發崗位,大數據平臺開發是個狹義的概念。

從職務上來理解,大數據平臺開發屬於研發級的開發任務,從事人員都是高學歷、高技能的人才。大數據開發部分從事企業級應用的開發,是Java程序員進行崗位升級的首選。

大數據平臺開發一般指的是平臺工具的開發,如Hadoop、Hive、Avro、Zookeeper、Pig、Mahout、Cassandra等,開發這些產品也需要一個龐大的團隊。進行大數據平臺研發的程序員往往需要具備豐富的開發經驗,同時具備較強的研發能力以及算法、數學能力。

大數據開發通常指的是基於大數據產業鏈的一系列開發任務,涉及到大數據平臺開發、大數據應用開發、大數據分析等,另外還包括數據採集產品的開發、數據整理產品的開發等。


希望回答對您有所幫助。

我本人從事多年互聯網Java開發,感興趣的朋友可以關注私聊,共同努力,共同進步。

謝謝!


凱騰凱


大數據和大數據平臺開發是有區別的,先做個形象比喻平臺開發是開發工具,大數據開發是在用工具來開發。

如用hbase來做開發的話,那是對大數據平臺本身的開發和優化,應該算是平臺開發。在平臺開發裡邊兒有調度系統以及底層的計算引擎和存儲引擎開發,以及大數據本身集群管理工具都算大數據平臺開發。

大數據開發本身是藉助平臺對數據做處理。比如編程序,邏輯是從hadoop裡用spark把數據讀取出來,進行數據變換處理,最後寫入存儲,最後部署到調度系統執行。這一系列做下來就是大數據開發。




python小白社區


首先,大數據開發通常指的是基於大數據產業鏈的一系列開發任務,涉及到大數據平臺開發、大數據應用開發、大數據分析等,另外還包括數據採集產品的開發、數據整理產品的開發等等,如果向上延伸的話,部分大數據開發任務與人工智能開發任務也具有密切的聯繫。

大數據平臺開發通常有兩層含義,一層是進行大數據平臺自身的開發,這屬於研發級開發任務,比如大數據平臺Hadoop就是採用Java語言開發的。整個大數據平臺還涉及到一系列產品,包括HBase、Hive、Avro、Zookeeper、Pig、Mahout、Cassandra等,開發這些產品也需要一個龐大的團隊。進行大數據平臺研發的程序員往往需要具備豐富的開發經驗,同時具備較強的研發能力,能夠搭建出一個穩定的分佈式計算體系。

另一層含義是在大數據平臺下進行應用開發,比如在Hadoop、Spark平臺下進行具體的大數據應用開發等,這部分開發通常屬於應用級開發,難度要相對小一些,但是往往需要與具體的場景進行緊密的聯繫,需要開發者具備一定的行業背景知識。

前大數據應用開發主要的任務有兩個,其一是進行已有軟件產品的大數據改造;其二是針對於具體的大數據需求進行全新的大數據應用開發,目前由於是大數據落地應用的初期,所以大數據改造的開發任務會相對多一些,未來新的大數據開發任務會逐漸增加。

相對於大數據開發來說,大數據分析也需要進行代碼編寫,比如機器學習就是目前比較常見的數據分析方式。機器學習需要進行算法設計、算法實現、算法訓練、算法驗證和算法應用,雖然算法設計是機器學習的核心,但是算法實現也需要程序員來完成具體的開發過程。

我從事互聯網行業多年,目前也在帶計算機專業的研究生,主要的研究方向集中在大數據和人工智能領域,我會陸續寫一些關於互聯網技術方面的文章,感興趣的朋友可以關注我,相信一定會有所收穫。


瓜果飄香科技


大數據是我的主要研究方向之一,同時也在帶大數據方向的研究生,所以我來探討一下這個問題。

首先,大數據開發通常指的是基於大數據產業鏈的一系列開發任務,涉及到大數據平臺開發、大數據應用開發、大數據分析等,另外還包括數據採集產品的開發、數據整理產品的開發等等,如果向上延伸的話,部分大數據開發任務與人工智能開發任務也具有密切的聯繫。

大數據平臺開發通常有兩層含義,一層是進行大數據平臺自身的開發,這屬於研發級開發任務,比如大數據平臺Hadoop就是採用Java語言開發的。整個大數據平臺還涉及到一系列產品,包括HBase、Hive、Avro、Zookeeper、Pig、Mahout、Cassandra等,開發這些產品也需要一個龐大的團隊。進行大數據平臺研發的程序員往往需要具備豐富的開發經驗,同時具備較強的研發能力,能夠搭建出一個穩定的分佈式計算體系。

另一層含義是在大數據平臺下進行應用開發,比如在Hadoop、Spark平臺下進行具體的大數據應用開發等,這部分開發通常屬於應用級開發,難度要相對小一些,但是往往需要與具體的場景進行緊密的聯繫,需要開發者具備一定的行業背景知識。

目前大數據應用開發主要的任務有兩個,其一是進行已有軟件產品的大數據改造;其二是針對於具體的大數據需求進行全新的大數據應用開發,目前由於是大數據落地應用的初期,所以大數據改造的開發任務會相對多一些,未來新的大數據開發任務會逐漸增加。

相對於大數據開發來說,大數據分析也需要進行代碼編寫,比如機器學習就是目前比較常見的數據分析方式。機器學習需要進行算法設計、算法實現、算法訓練、算法驗證和算法應用,雖然算法設計是機器學習的核心,但是算法實現也需要程序員來完成具體的開發過程。

我從事互聯網行業多年,目前也在帶計算機專業的研究生,主要的研究方向集中在大數據和人工智能領域,我會陸續寫一些關於互聯網技術方面的文章,感興趣的朋友可以關注我,相信一定會有所收穫。


沐靡網絡


常說的大數據開發,其實是指數據研發偏ETL方向,大數據平臺開發,則是指開發各種簡化數據任務編程的平臺,常見的有阿里的Dataworks、網易的猛獁。

兩者的主要區別:大數據研發需要你對數據倉庫理論要有一定的經驗,這個崗位偏向數據處理類技能。大數據平臺開發則是需要你對Java技術棧要熟練掌握使用,這個崗位更偏向於工程類代碼開發。

大數據研發偏向於數倉方面的技術理論,要能夠熟練使用SQL語言

首先,先說一下大數據研發的主要職能,就是結合公司業務數據,為公司構建數據倉庫,通過業務指標數據指導運營同學,更好的運營業務,同時幫助上層領導,通過數據看清目前公司的業務發展情況,幫助其作出正確的決策。

大數據研發需要結合數據倉庫理論,對於公司的數據進行加工處理,然後進行分層存儲。分層的含義具體是指按照數據不同的類型,對其進行規範化命名和存儲。

常見的數據分層,ODS層、DWD層、DWS層、DM層。ODS層代表原始數據層,這部分數據完全來自線上,沒有經過加工處理。DWD和DWS層表示能夠進行通用的公共數據明細層和公共指標數據層,這兩層一般代表著公共的統一業務口徑數據。DM層則是具體的業務定製化數據層,一般數據來源於DWD層和DWS層。

大數據平臺開發,需要對Java技術棧掌握的紮實,同時需要對大數據組件能夠使用

大數據平臺開發,顧名思義,就是開發數據平臺,給數據研發以及其他開發同學使用,開發數據任務。常見的兩類大數據平臺:離線計算平臺和實時計算平臺。

目前很多公司的大數據平臺都是使用Java技術棧來進行開發的,首先你需要對Java語言的基礎和使用要有很深入的理解。其次,目前大數據平臺會使用 Spring Boot框架來進行開發,Spring 的框架你要學會使用。如果有數據治理、數據服務的經驗更好。

針對不同數據平臺的類型,你還需要對相關的大數據組件要有一定的使用經驗和原理理解。比如你開發大數據離線計算平臺,你需要對 Hadoop、Hive、Spark、Flume、HBase組件的實踐要有一定的經驗。

對於實時計算平臺,你需要對Flink、Spark Streaming、Storm、Kafka組件要有一定的理解。目前很多公司的實時計算框架使用的是 Flink ,如果你對實時計算感興趣的話,可以研究 Flink 底層的技術原理,也歡迎和我一起探討。

我是Lake,專注大數據技術原理、人工智能、數據庫技術、程序員經驗分享,如果我的問答對你有幫助的話,希望你能點贊關注我,感謝。

我會持續大數據、數據庫方面的內容,如果你有任何問題,也歡迎關注私信我,我會認真解答每一個問題。期待您的關注


Lake說科技


大數據開發主要是對挖掘算法進行研究,

大數據平臺開發主要是對平臺進行構建


分享到:


相關文章: