前言
Hadoop是一个由Apache基金会开发的开源软件,
具有可靠性、扩展性的分布式的计算存储系统,标识性Logo为一个黄色小象。Hadoop 软件库作为一个框架,它可以轻松地通过1台到数千台服务器联合在一起实现对大数据进行存储和计算,而且每一个都能提供存储和计算能力。Hadoop大数据开发案例教程与项目实战
Hadoop的框架核心的设计是HDFS和MapReduce。HDFS为海量的数据提供了存储,而MapReduce为海量的数据提供了计算。
Hadoop项目主要包括4个部分。
- Hadoop Common:支撑其他模块。
- Hadoop Distributed File System:分布式系统对应用提供高吞吐量的访问。
- HadoopYarn:资源管理和任务调度的一-个框架。
- Hadoop MapReduce:能够并行处理大数据集的Yarn基本系统。
Hadoop相关项目
在Apache项目中和Hadoop相关联的项目有很多,常见的项目包括:
( 1 ) Ambari
Apache Ambari是-种基于Web的工具,支持Apache Hadoop集群的供应、管理和监控。Ambari目前已支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、 Pig、Hbase、Zookeeper . Sqoop和Hcatalog等。Ambari也提供了一种仪 表盘用来查看集群健康状况, Pig和Hive以友好的方式展示特有的特征。
(2) Avro
Avro是-一个比较流行的数据序列化系统,可以提供丰富的结构类型,快速可压缩的二进制数据格式,存储持久化数据,支持远程过程调用协议( Remote Procedure Call Protocol,RPC )。
(3 ) Cassandra。
Cassandra是一套开 源分布式NoSQL数据库系统。它最初由Facebook开发,用于储存收件箱等简单格式数据,集合Google BigTable 的数据模型与Amazon Dynamo的完全分布式的架构于一身。Facebook于2008年将Cassandra 开源,此后,由于Cassandra良好的可扩展性,被Digg、Twitter 等知名Web 2.0网站所采纳,成为了一种流行的分布式结构化数据的存储方案。
小编只是列举了几个案例,想获取其他案例的可以私信【学习】获取哦~~~
Hadoop在线测试
Hadoop开发实战案例分享
下面是小编整理的一些关于Hadoop的资料,有适合新手的和适合大神级别的,由于资料比较多小编把它整理成文档和视频的形式,希望大家会喜欢!
获取方式:转发文章并私信小编【学习】即可获取哦~~~