怎么学习大数据?

昵称已被重置


大数据是我的主要研究方向之一,同时也在带大数据方向的研究生,所以我来回答一下这个问题。

大数据技术经过多年的发展已经趋于成熟,目前已经形成了一个初步的产业链,包括数据的采集、整理、存储、安全、分析、呈现和应用,这条产业链分布了多个岗位,同时也涉及到物联网、云计算等相关内容。

从技术的角度出发,当前大数据技术岗位分为大数据平台研发、大数据应用开发、大数据分析、大数据运维等岗位,所以学习大数据技术可以按照这些岗位来制定学习计划。

对于基础比较薄弱的人来说,可以重点考虑大数据应用开发和大数据分析岗位,这两个岗位的人才需求量也比较大。大数据应用开发岗位可以按照以下几个步骤学习:

第一:计算机基础。学习大数据需要具备一定的操作系统知识和数据库知识,其中重点在于Linux操作系统,因为学习大数据需要搭建大数据实验平台。另外,数据库基础对于学习大数据知识也是比较重要的。

第二:编程语言。大数据开发比较常见的编程语言包括Java、Scala和Python,在Hadoop平台下比较常见的选择是Java语言,而在Spark平台下可以选择Scala语言,Python在数据分析领域的应用比较普遍。

第三:大数据平台知识。目前比较常见的大数据平台包括Hadoop和Spark,不少商业大数据平台也是基于这两个平台搭建的,而且这两个平台的生态也比较健全。

在掌握以上知识之后就可以通过大量的实验来提升大数据开发能力,如果能参加一个项目组进行实习是一个不错的选择,因为大数据相关知识比较多,所以边用边学是个不错的选择。

我从事互联网行业多年,目前也在带计算机专业的研究生,主要的研究方向集中在大数据和人工智能领域,我会陆续写一些关于互联网技术方面的文章,感兴趣的朋友可以关注我,相信一定会有所收获。

如果有互联网方面的问题,或者考研方面的问题,都可以咨询我,谢谢!


IT人刘俊明


易买网

实训项目一——Web阶段项目

项目介绍: 项目贯穿整个JavaWeb学习阶段。利用项目需求引申出知识点进行授课。需求引领思路,应用驱动学习。可以整体提升学员的编程思想、编码能力、实现对Java后台知识的熟练掌握,并为后续课程学习做铺垫。

项目涉及:HTTP协议、Tomcat服务器、静态Web资源开发技术(HTML、CSS、JS)/Java后台开发技术(Servlet、JSP)、数据库技术、手写基础框架、编程思想实践、在线支付、权限控制等重点功能点。

汇通物流

项目实训二——SSH阶段项目

项目介绍: 项目中比较核心的业务逻辑比较复杂的功能实现。 并熟练使用各种主流核心技术。如工作流、WebService服务、安全框架、 大型数据库应用等。了解国际物流行业,进出口贸易,货运管理核心业务。

项目涉及:基于SSH框架+Maven+Apache Shiro 安全框架+Apache CXF+Activity5工作流。

京淘

项目实训三——SSI阶段项目

项目介绍: 了解电商行业发展情况及技术投入点,了解电商业务,分布式系统架构Nginx,CMS、HttpClient、Rdeis缓存,单点登录,订单系统、Quartz定时任务;全文检索,删商品查找Lucence,MQ消息队列等。

项目涉及:CentOS Linux、Nginx集群及负载均衡、Tomcat集群、Spring Quartz任务调度、RabbitMQ、Rdeis、MySQL等。

电信项目

项目实训四——互联网架构

项目介绍:项目应用的架构选择、系统性能的监控、对分布式和集群有丰富经验。

项目涉及:Java通讯方面基础知识、原理、集群;RPC、MINA、Thrift、SOA、消息中间件、数据仓库、分布式缓存、云计算、实现行亮数据批处理等。

电商数据分析平台

项目实训五——大数据阶段

项目介绍:通过收集数据源中不同数据,聚集在HDFS上,通过多维方式进行分析,导出到关系型数据库中进行展示,负责网站整体经营情况概览,按照地域进行数据结果展示。

项目涉及:Pig日志清洗,Hive离线分析,Sqoop关系型数据库和HDFS数据传输,ZooKeeper整体集群协调,Ooziezhengti diaodu。