donglei1097
您好我是 数据僧。
首先,工作本身没有好坏之分,只有门槛高低之别。大数据开发、大数据分析、大数据运维都围绕着大数据展开。如果我们把大数据去掉,就只剩下,开发,分析,运维。当然还有其它的工作,例如运营,产品,讲师,测试等。 加上了大数据,只是我们的工作内容,或者说是工作方式发生了变化。
大数据是传统行业,传统技术逐步发展的产物。但是并没有打破我们在传统行业的工作模式,和我们的一些基础知识的储备。革新的只有处理技术,工作手段。在这里我们更详细的说说大数据开发、大数据分析、大数据运维 的工作内容,已经门槛,不做好坏评价。
非大数据 开发,分析,运维干什么呢?
开发日常工作是干什么了 ? 围绕着产品经理,进行产品开发,升级,迭代。加班熬夜,赶进度。每日的工作就是编码,和产品沟通或者撕X,和测试沟通或者斯X,最终确保产品上线,保证产品正常使用,以及后续迭代升级。
分析日常工作是什么了?数据整理,制作报表,最后就是报告,会议,阐述结论,最后就是说服对方接受观点,的确很多时候,分析出来的结论,对方无法接受。
运维日常工作是什么了?最核心的就是监控,机器是否正常运转,资源是否够用,产品应用是否都正常,开发相关的工具,保证异常能够及时发现。
在介绍大数据相关的工作前我们先了解下大数据的处理流程
我们在看看hadoop的大数据生态圈。当然大数据生态圈不是在只有hadoop。
大数据开发的主要工作
开发数据收集工具,数据清洗和整理,开发数据应用;当然这些不是一个人去完成,都会落在各个团队中去完成。
完整这些工作需要哪些技能?从这些技能我们也能看出来大数据开发的主要工作,就是这些工具打交道。一门开发语言(java/python/c#/scala 等),大数据下的一些框架:MapReduce,Spark,Hdfs,Storm,Hbase,Zookeeper 等,只会其中的2到三项基本找份工作没有问题,如何进阶在这不详细讨论。我们来看图吧。
大数据分析的主要工作
有大表哥,专门做各种报表。取数机器人,提取各种数据。当然也有做数据分类,特征提取等数据挖掘,机器学习等高等玩家。
这里一并概括了,大数据分析的主要工作是:基于现有的数据进行数据分析得出一个结论,最后进行商业决策。当然现实不是这样的。大多数人成了大表哥,取数机器人,高端玩家也不列外,挖出来的东西,在没有找到落地场景前,都是一坨一坨的。这里都只是调侃。
大数据分析需要哪些技能呢?我们不管具体的工作内容,看看我们每天要面对那些工具,工具是我们每天要接触的东西。 Excel,SPSS,SQL,数据库,R,Python 等。当然我们不用都会。
我们还是看图吧,看看数据分析师的能力体系:
在看看每个阶段需要的技能,分析师和开发的区别在于,核心在于处理数据和清洗数据,达到自己可用的状态。开发是收集数据和整理数据,让数据变得统一。
大数据运维的工作
对大数据集群进行监控和维护升级,保障集群正常运行,从而保证 数据收集服务能正常运行,保证集群资源够用,监控集群资源消耗情况。
他们是职业背锅侠,也是一群默默无闻的伙伴。无论开发,还是分析,还是其它的岗位,都有在人前显摆的时候,我们的运维永远只能在人后做好保障。
我们来看看运维的能力体系吧:
以上是我对这个问题的理解,有些调侃,但都想表达和传递一种正能量,每个行业,每个岗位都有其特定的属性和特点,既然选择了,就只顾风雨兼程,管它花开花落,最终中能到达理想的彼岸。
关注数据僧,我们一起讨论,大家都喜欢什么样的工作,欢迎大家留言。(图片来自网络,侵删。)
数据僧
在大数据领域大概有四个大的工作方向,除了大数据平台应用及开发、大数据分析与应用和大数据平台集成与运维之外,还有大数据平台架构与研发,除了以上四个大的工作方向之外,还有一个工作方向是大数据技术推广和培训,这部分工作目前也有不少人在从事。
大数据平台架构与研发主要的工作内容是研发底层的大数据平台,这部分工作的难度较高,从事这部分工作的研发级岗位也并不多。现在不少技术研发团队都以Hadoop、Spark平台为基础进行研发,这样能够节省大量的时间,也更容易做出市场接受度比较高的大数据平台(商用较多)。
大数据平台应用开发是目前一个就业的热门方向,一方面是大数据开发的场景众多,另一方面是难度并不高,能够接纳的从业人数也非常多。大数据开发主要是满足企业在大数据平台上的应用开发,与场景有密切的关系。大数据开发是在大数据平台基础之上的开发,充分利用大数据平台提供的功能来满足企业的实际需求。
大数据分析是大数据应用的一个重点,甚至可以说是大数据的核心内容。大数据分析是基于大数据平台提供的功能进行具体的数据分析,数据分析与场景有密切的关系,比如出行大数据分析、营销大数据分析、金融大数据分析等等。目前采用机器学习的方式进行大数据分析是一个趋势,机器学习的步骤包括数据收集、算法设计、训练算法、验证算法和使用算法,所以算法在数据分析中起到了重要的作用,做数据分析工作要有一定的算法基础。
大数据运维主要从事大数据平台的软硬件集成和运维工作,主要的工作内容是完成大数据平台的部署和调试等相关工作,这部分工作岗位也比较多,企业往往需要有一个专门的运维团队来保障大数据平台的平稳运行。相对来说,这部分工作的难度小一些,但是需要掌握的内容也比较多,包括网络、服务器等软硬件知识。
大数据是我的主要研究方向之一,目前我也在带大数据方向的研究生,我会陆续在头条写一些关于大数据方面的文章,感兴趣的朋友可以关注我的头条号,相信一定会有所收获。
如果有大数据方面的问题,也可以咨询我,谢谢!
IT人刘俊明
大数据开发:
主要是负责大数据挖掘,大数据清洗处理,大数据建模等工作,主要是负责大规模数据的处理和应用,工作主要以开发为主,与大数据可视化分析工程师相互配合,从数据中挖掘出价值,为企业业务发展提供支持。
大数据分析:
进行行业数据搜集、整理、分析,并依据数据做出行业研究、评估和预测;
主要工作有四类:
1、从0到1搭建数据分析体系;
2、数据分析工具化,产品化;
3、支撑领导、部门决策的专题分析及业务方向探索;
4、数据规范制定及提升数据质量等基础工作。
大数据运维:
运营维护,Linux操作系统、应用系统的维护、监控、调优、故障排除,关注开源社区动态,追踪前沿技术和应用等;
一般来讲国内的互联网运维负责软件测试交付后的发布和管理,将交付的业务软件和硬件基础设施高效合理的整合,转换为可持续提供高质量服务的产品,同时最大限度降低服务运行的成本,保障服务运行的安全。
相关:
大数据分析师到底在干嘛?
https://www.toutiao.com/i6549321396005110275/
加米谷:大数据分析,到底要分析些什么?
https://www.toutiao.com/i6577599840014828045/
大数据学习:数据分析师的完整工作流程与知识结构体系
https://www.toutiao.com/i6584961126356746760/
Spark大数据开发
主要的工作是为了给人民、社会、大自然、地球服务。好与坏因对象而有不一,就好比当下年轻人玩的一款“王者荣耀”,玩家都说好,而没碰过的就觉得这是一款烂游戏,因为身边的人都把大部分时间花在它身上了!