2020-03-12 02:25:57 佚名

回眸一笑5

----专注解答大学生就业问题，欢迎提问！----

专业从事大数据多年，我告诉你，有！

但是，你有没有，不确定，因为这取决于你的能力。

可以说这个行业有发展，而且近10年内，应该都是出于好的那种行业，但是这个行业可以侵入的周边行业又太多，比如金融，教育，工业，网络等等，都有需求。

但最终这个行业的开发，会随着技术难度降低，而变为低收入体力工作。

你要在这个过程中不断地学习，接受新技术才能真正立足。

----专注解答大学生就业问题，欢迎提问！----

我的沈阳

这种问题不能瞎答乱答，要讲基本道理的。泛泛而论，我认为大数据开发有前途，但是你得考虑清楚未来的路径。（大数据开发的几个发展路径和建议在文末，可以直接拉到结尾直接看，然后再看中间的分析内容）。

最近三年“大数据”这个词很火，火爆异常，各种培训班开课广告满天飞。但是很多开课的忽悠师傅也不知道大数据分析师、大数据研发工程师、大数据建模工程师、大数据挖掘工程师等等有什么不同或者差异。

相信提问的兄弟，也不确定大数据开发具体和大数据有什么关系？和别的开发有什么不同？为什么大数据开发有前途？

本回答尝试从个人工作中的接触和朋友的经验分享总结整理一下，以供参考。

开宗明义，大数据目前笼统一点的岗位划分是：

数据科学家&数据工程师&数据分析师。

对大数据这个新的细分领域来说，干活的人有几种：

一种是用大数据的，就是数据科学家，或者数据分析师；
一种是开发大数据平台的，就是平台开发工程师。
当然交叉起来还可以继续细分，挖掘、建模都可以成为单独的职位。

我们不扯远，专注讲大数据开发好了，类似建筑行业里面砌砖的。

大数据本质其实也是数据，不过也包括了些新的特征，

数据来源广；

数据格式多样化（结构化数据、非结构化数据、Excel文件等）；

数据量大（最少也是TB级别的、甚至可以是PB级别）；

数据增长速度快。

所以，大数据开发更多要重视大数据量+多种格式的清洗+大量数据的分析和复杂模型建模+随时应对变化的数据量和数据结构+高深点的需要注意底层技术提高应用效率。

我认为通用型的大数据开发需要了解整个领域的技术框架

——具体进入某个公司的大数据开发团队后，可以就该团队的技术框架深入钻研
——但是如果是进入某公司去负责一整块大数据开发的话，还是需要了解和熟悉整个领域的技术框架的。

介绍大数据相关的工作前我们先了解下大数据的处理流程

我们看到好多略有差异的思路，但是总结起来，无非就是：

1、数据源整合和数据收集：结构化数据+不完整结构化的数据（大多数外部数据源都很乱，各位以后做这个一定会面对很多提供方自以为牛逼的数据）+非结构化数据；前段时间，我遇到一个自称做了5年数据分析的健身房老板，说自己也懂大数据分析。。。我问了下他有多少数据量。。。他说5000条客户数据，我去。。。
2、导入数据库：先结构化，这一步很难，很多人都不知道商务数据需要把主数据和业务数据分开表格——你怎么能在客户数据表上面放交易数据呢，这是一对多关系阿。
3、数据清洗。
4、数据建模。
5、数据分析。
6、数据报表和仪表板。

在前面做好2步做好后，后面就是持续的重复工作。当然需要不断根据业务要求做新模型。

那么在整个过程里面需要学习什么呢？

第0步：最基本的是学好Linux；
第1步：学好数据获取工具，包括数据库（SQL、Hadoop、Hive）；爬虫工具（Python和Java，以及对应的库，比如Py的爬虫库和数据处理库等）；
第2步：数据处理层，SQL、Hive、Excel、Python和相关库、R等；
第3步：建模层。
第4步：可视化工具，参见上图。

你会发现，这里面东西太多了，你能做的也很多。

既可以当企业的服务于业务部门的数据分析和数据应用开发人员（比如给销售部门做呈现数据工具，比如给企业IT部门做分析简化模型工具）；
也可以给外部大数据工具供应商当开发人员；

也可能给开课讲工具应用和分析模型。
学好数学和业务，还能转数据分析师和挖掘工程师。

你说，前途好不好？

如果对您有帮助，麻烦点个赞；如果你觉得对其他朋友有价值，请转发分享。

三叉戟看科技

首先，当前学习大数据开发是不错的选择，一方面就业岗位相对比较多，另一方面薪资待遇也相对比较高。从研究生的就业情况来看，2019年秋招期间不少大厂都释放出了较多的大数据开发岗位。

大数据开发可以简单地划分为两类，一类是大数据平台开发，另一类是大数据应用开发，当前大厂的岗位多集中在大数据平台开发岗位上，随着大数据逐渐开始落地应用，未来大数据应用开发岗位的人才需求量会逐渐增加。

对于数学基础比较扎实，同时具有一定计算机基础知识的人来说，可以向大数据平台开发方向发展。大数据平台开发通常属于研发级岗位，相对于大数据应用开发来说，目前大数据平台开发岗位的薪资待遇要更高一些，而且职业生命周期也相对比较长。从近些年大厂的招聘情况来看，目前大数据方向的研究生往往更容易获得大数据平台开发岗位。

对于基础比较薄弱的初学者来说，可以先从大数据应用开发开始学起，然后随着自身知识结构的不断完善再逐渐实现岗位升级。学习大数据应用开发需要注重三方面知识的学习，其一是编程语言基础；其二是大数据开发平台知识；其三是行业知识。

目前Java、Python、Scala等语言在大数据开发领域有比较广泛的应用，所以可以从其中一门编程语言开始学起，而大数据平台可以重点关注一下Hadoop和Spark。在产业互联网时代，大量的应用开发都将基于各种平台展开，包括大数据平台、云计算平台和人工智能平台等等。

我从事互联网行业多年，目前也在带计算机专业的研究生，主要的研究方向集中在大数据和人工智能领域，我会陆续写一些关于互联网技术方面的文章，感兴趣的朋友可以关注我，相信一定会有所收获。

如果有互联网、大数据、人工智能等方面的问题，或者是考研方面的问题，都可以在评论区留言，或者私信我！

IT人刘俊明

改革开放以来特别是党的十八大以来，我国发生了深刻的变化，信息领域部分核心技术实现了创新突破，集成电路、操作系统等基础通用技术加速追赶，人工智能、大数据、云计算、物联网等前沿技术研究加快，量子通信、高性能计算等取得了重大突破。　

　数字经济拓展了经济发展新空间，新技术新业态新模式不断涌现，分享经济蓬勃发展，网络零售、移动支付交易规模位居全球第一，数字经济规模位居全球第二。　

　大数据在现代化发展进程中发挥了重大的作用，从梦想走向现实，改变和丰富了人们的生活：到陌生地打开导航，犹如装上了千里眼；收费站通过移动支付轻松通关；带上一部手机，吃喝玩乐全搞定。随着电子信息技术的飞速发展，数字化、网络化已经深入到了社会生活的各个领域，成为人们日常工作和生活中不可缺少的部分。　

　我国大数据新一代信息技术的迅猛发展，从跟着跑到领着跑，其背后凝聚着广大科技人员的汗水和心血。打破技术垄断，独立自主创新，攻坚克难，顽强拼搏，瞄准世界科技前沿，攻下一道道技术难题，研发出一大批具有自主知识产权的核心技术，攀登世界高峰。　

　随着5G时代的来临，中国已在5G技术、标准制定、频谱规划等方面不断进取突破，中国信息技术的快速发展，展示出自强不息的民族精神，展示中国的创新力量。未来中国数据经济市场规模将接近55万亿　　

据相关机构数据显示，2017年中国数字经济市场规模达到了27.2万亿元，占GDP的32.9%。截止至2018年我国数字经济规模达到31.3万亿元，按可比口径计算，名义增长20.9%，占GDP比重为34.8%，占比同比提升1.9个百分点。预测2019年我国数据经济市场规模将达到35万亿元，并预测在2023年我国数据经济市场规模将增长至54.5万亿元，2019-2023年均复合增长率约为11.71%。

近几年，我国大数据产业发展逐渐加快，但专业化人才短缺也逐渐成为了大数据产业发展的绊脚石。虽然在国家政府及其相关部门正在积极推进大数据人才建设的进程，许多高校和企业也在积极培养大数据产业相关的专业人才。但是人才的培养毕竟需要时间的积累，从大数据迅猛发展对相关人才的需求来看，未来很长一段时间，大数据人才都面临严重缺口。

大数据基础研究、产品研发和业务应用、大数据平台运维与开发、数据分析、数据安全等专业人才供求矛盾就十分突出，尤其是既具备扎实理论基础又有业务实践经验的大数据人才奇缺，能够将两者结合到一起运用到公司经营的综合型人才较少，这也是当前大数据应用少的重要原因。

Linux基础教程

大数据作为时下火热的IT行业的词汇，随之而来的数据开发、数据仓库、数据安全、数据分析、数据挖掘等等围绕大数据的商业价值的利用逐渐成为行业人士争相追捧的利润焦点。

随着大数据时代的来临，大数据开发也应运而生。大数据开发其实分两种，第一类是编写一些Hadoop、Spark的应用程序，第二类是对大数据处理系统本身进行开发。

第一类工作感觉更适用于data analyst这种职位，而且现在Hive Spark-SQL这种系统也提供SQL的接口。第二类工作的话通常才大公司里才有，一般他们都会搞自己的系统或者再对开源的做些二次开发。这种工作的话对理论和实践要求的都更深一些，也更有技术含量。

接下来说一下大数据开发的未来就业方向！

一、聚焦公司

首先找工作的时候聚焦到头部企业，特别是龙头垄断企业，但是在这些企业当中，现在已经拥有了很多牛叉的大数据开发大师。比如说阿里，腾讯，华为，以及包括很多其他的互联网公司，像360，金山，包括今日头条。

二、聚焦行业

大数据开发是未来5G领域当中不可或缺的生存技能。几百年前占据了资源，你就占据了优势，占据了财富。当今你占据了数据，你就占据了资源和财富，数据就是一切。所以大数据开发没有问题，特别是围绕着消费和行为习惯的数据，这些数据都是能够变现的。

所以餐饮业、出行行业、大健康产业、电商购物类的，可以说所有的行业都要围绕着大数据来去做文章。包括未来集市当了公务员，透过大量的数据进行分析，去得出整个国家经济的细微特征和变化，包括人口统计健康状况都是非常非常重要的。

甚至大数据可以预测一个地区选举的结果。

三、聚焦产业和变现

我的建议是学习大数据处理未来呢，要聚焦在公司当中，工作一段时间后自己要有一种能力，就是当数据给到你手里面的时候，能够帮助企业进行变现。比方说现在自媒体领域当中帮助企业进行变现，实际上本质也是数据进行引流，粉丝就是数据粉丝量就是数据量，透过跟粉丝的行为特征进行识别，包括满足粉丝的这种爱好，那么对接相关的企业进行商品制造，这也是一种能力的体现。

四、商业模式的变化

以前的是由商品端来决定的，也就是工厂生产的商品，它决定了消费者的购买趋势。只要透过广告引导，包括流行时尚的元素创造，就可以引领年轻人的消费习惯。

当今是用户决定工厂大量的粉丝，针对他们的喜好行为习惯，能够安排指导工厂生产粉丝所喜欢和喜好的商品，也就是由用户端决定了生产端。

所以你要学习大数据开发没有问题，但是一定要学以致用，要注意如何将大数据开发进行变现，只有这样拥有了这种能力，结合上营销策划。你就会处于不败之地，你才是非常牛逼的大数据领域的尖端人才。

我是HI木易子杨，聚焦财经和职场出版领域更多精彩内容，欢迎私信关注交流分享。

HI木易子杨

大数据技术目前正处在落地应用的初期，从大数据自身发展和行业发展的趋势来看，大数据未来的前景还是不错的，具体原因有以下几点：

第一：大数据自身能够创造出更多的价值。大数据相关技术紧紧围绕数据价值化展开，数据价值化将开辟出广大的市场空间，重点在于数据本身将为整个信息化社会赋能。随着大数据的落地应用，大数据的价值将逐渐得到体现。目前在互联网领域，大数据技术已经得到了较为广泛的应用。

第二：大数据推动科技领域的发展。大数据的发展正在推动科技领域的发展进程，大数据的影响不仅仅体现在互联网领域，也体现在金融、教育、医疗等诸多领域。在人工智能研发领域，大数据也起到了重要的作用，尤其在机器学习、计算机视觉和自然语言处理等方面，大数据正在成为智能化社会的基础。

第三：大数据产业链逐渐形成。经过近些年的发展，大数据已经初步形成了一个较为完整的产业链，包括数据采集、整理、传输、存储、分析、呈现和应用，众多企业开始参与到大数据产业链中，并形成了一定的产业规模，相信随着大数据的不断发展，相关产业规模会进一步扩大。

第四：产业互联网将推动大数据落地。当前互联网正在经历从消费互联网向产业互联网过渡，产业互联网将利用大数据、物联网、人工智能等技术来赋能广大的传统产业，可以说产业互联网的发展空间非常大，而大数据则是产业互联网发展的一个重点，大数据能否落地到传统行业，关乎产业互联网的发展进程，所以在产业互联网阶段，大数据将逐渐落地，也必然落地。

通过以上分析可以得出，未来大数据领域的发展空间还是比较大的，而且目前大数据领域的人才缺口比较大，所以从就业的角度来说，当前学习大数据相关知识是个不错的选择。

墨雨无痕db

当前，全球已进入大数据时代，大数据正以一种革命风暴的姿态闯入人们视野，其技术和市场在快速发展，而驾驭大数据的呼声则一浪高过一浪。随着大数据蕴涵价值的逐步释放，使其成为IT信息产业中最具潜力的蓝海。鉴于在技术和产业层面，国际上在大数据领域还未形成技术和市场的垄断，技术应用创新机会较多;当前大数据技术和应用需求的蓬勃兴起，及开源技术提出的革命性挑战，各家IT厂商均需同等面对，这无形中缩短了彼此起步的差距，这意味着国内企业在开拓大数据市场上存在巨大的机遇!

　　1. 中国大数据产业发展现状分析

　　大数据产业链建设情况

　　目前，IT产业在发展过程中已经形成了一些层次分布，有做服务器和底层系统的，有做软件的，有做应用的，大数据也需要在原有的架构上加以发展。原来做基础设施的企业，如联想、华为，也要向大数据转型，提供低成本、低能耗的大型存储器，这是大数据产业的基础。中间层是类似Hadoop、MapReduce的数据分析软件，原有的软件产业也要转型，由卖软件转为以数据为中心。再往上就是百度、腾讯、阿里巴巴等大数据应用服务公司，需要增加数据分析的效用。

　　大数据产业市场规模分析

　　据贵阳大数据交易所发布的《2016年中国大数据交易产业白皮书》数据显示，2014年，中国大数据产业规模大约为1038亿元，2015年产业整体规模达到1692亿元。随着大数据应用范围的不断扩大，大数据所形成的价值正在快速提升。

　　大数据应用行业投资分布

　　2015年，我国政府大数据应用份额依然占比最高，达到11.38%;其次是电信和金融行业，份额分别为9.35%和8.90%;电商、医疗和能源行业紧随其后，三者占比分别为7.92%、7.63%和7.50%。其余行业占比均低于7%，但从全球发展趋势来看，未来企业的占比将有所提高，而政府的占比将有所减少。

　　大数据产业面临的挑战

　　大数据在开始应用的同时，也在基础软件研发、智慧城市建设、数据流动性等方面尚存在一些不足。主要表现在以下几个方面：

　　2. 中国大数据应用实践分析

　　大数据在经济预警方面的应用

　　在2008年金融危机中，阿里平台的海量交易记录预测了经济指数的下滑。2008年初，阿里巴巴平台上整个买家询盘数急剧下滑，预示了经济危机的来临。数以万计的中小制造商及时获得阿里巴巴的预警，为预防危机做好了准备。

　　大数据在市场营销方面的应用

　　与传统的市场研究方法不同，大数据的市场研究方法不再局限于抽样调查，而是基于几乎全样本空间。例如，百度拥有中国最大的消费者行为数据库，覆盖95%的中国网民，搜索市场占比达87%。百度基于最真实的用户行为数据和多维度研究工具，帮助宝洁精准的定位了消费者的地域分布、兴趣爱好等信息，根据百度分析的结论，宝洁适时地调整了营销策略。

　　大数据在医疗领域的应用

　　中国目前已经有十余座城市开展了数字医疗。病历、影像、远程医疗等都会产生大量的数据并形成电子病历及健康档案。基于这些海量数据，医院能够精准地分析病人的体征、治疗费用和疗效数据，可避免过度及副作用较为明显的治疗，此外还可以利用这些数据进行实现计算机远程监护，对慢性病进行管理等。

　　大数据在金融领域的应用

　　大数据能够解决金融领域海量数据的存储、查询优化及声音、影像等非结构化数据的处理。金融系统可以通过大数据分析平台，导入客户社交网络、电子商务、终端媒体产生的数据，从而构建客户视图。依托大数据平台可以进行客户行为跟踪、分析，进而获取用户的消费习惯、风险收益偏好等。针对用户这些特性，银行等金融部门能够实施风险及营销管理。

　　3. 中国大数据产业前景预测

　　大数据产业总体规模预测

　　据贵阳大数据统计来看，中国大数据产业市场在未来五年内，仍将保持着高速增长。预计2016年末，市场规模将达到2485亿元，而随着各项政策的配套落实及推进，到2020年，中国大数据产业规模或达13626亿元的高点。

　　大数据产业细分市场预测

　　1、大数据基础架构硬件市场预测

　　2014年，我国大数据相关硬件市场在451亿元，到2015年已经达到795亿元的规模。随着大数据相关产业的快速发展及应用场景的扩大，我国大数据硬件层市场将迎来一个崭新的快速发展的局面。预计2016年市场规模将达到1093亿元，2020年将突破至2385亿元。

　　2、大数据技术市场发展前景预测

　　就中国大数据市场而言，大数据软件市场占比较小。2012年，大数据软件市场规模约为0.54亿元，2014年市场规模约为2.48亿元，前瞻预测，2016-2021年，中国大数据软件市场规模年均复合增长率约为65%。预计到2021年，其市场规模达到80亿元。