Hadoop大数据开发例教程与实战案例——总计7.7G

前言

Hadoop是一个由Apache基金会开发的开源软件,

具有可靠性、扩展性的分布式的计算存储系统,标识性Logo为一个黄色小象。Hadoop 软件库作为一个框架,它可以轻松地通过1台到数千台服务器联合在一起实现对大数据进行存储和计算,而且每一个都能提供存储和计算能力。

Hadoop大数据开发例教程与实战案例——总计7.7G

Hadoop大数据开发案例教程与项目实战

Hadoop的框架核心的设计是HDFS和MapReduce。HDFS为海量的数据提供了存储,而MapReduce为海量的数据提供了计算。

Hadoop项目主要包括4个部分。

  • Hadoop Common:支撑其他模块。
  • Hadoop Distributed File System:分布式系统对应用提供高吞吐量的访问。
  • HadoopYarn:资源管理和任务调度的一-个框架。
  • Hadoop MapReduce:能够并行处理大数据集的Yarn基本系统。

Hadoop相关项目

在Apache项目中和Hadoop相关联的项目有很多,常见的项目包括:

( 1 ) Ambari

Apache Ambari是-种基于Web的工具,支持Apache Hadoop集群的供应、管理和监控。Ambari目前已支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、 Pig、Hbase、Zookeeper . Sqoop和Hcatalog等。Ambari也提供了一种仪 表盘用来查看集群健康状况, Pig和Hive以友好的方式展示特有的特征。

(2) Avro

Avro是-一个比较流行的数据序列化系统,可以提供丰富的结构类型,快速可压缩的二进制数据格式,存储持久化数据,支持远程过程调用协议( Remote Procedure Call Protocol,RPC )。

(3 ) Cassandra。

Cassandra是一套开 源分布式NoSQL数据库系统。它最初由Facebook开发,用于储存收件箱等简单格式数据,集合Google BigTable 的数据模型与Amazon Dynamo的完全分布式的架构于一身。Facebook于2008年将Cassandra 开源,此后,由于Cassandra良好的可扩展性,被Digg、Twitter 等知名Web 2.0网站所采纳,成为了一种流行的分布式结构化数据的存储方案。


小编只是列举了几个案例,想获取其他案例的可以私信【学习】获取哦~~~


Hadoop在线测试


Hadoop大数据开发例教程与实战案例——总计7.7G


Hadoop大数据开发例教程与实战案例——总计7.7G

Hadoop大数据开发例教程与实战案例——总计7.7G

Hadoop开发实战案例分享

下面是小编整理的一些关于Hadoop的资料,有适合新手的和适合大神级别的,由于资料比较多小编把它整理成文档和视频的形式,希望大家会喜欢!

获取方式:转发文章并私信小编【学习】即可获取哦~~~


Hadoop大数据开发例教程与实战案例——总计7.7G

Hadoop大数据开发例教程与实战案例——总计7.7G


分享到:


相關文章: