Hadoop、Hive、Zookeeper、Pig、HBase和Mahout等,都要認真學習

近幾年,大數據、雲計算、物聯網和人工智能先後走進我們的生活,我個人對這些新興的前沿產業,也比較感興趣,尤其是對大數據比較看好,個人認為,最先商業化的一定是數據,所以對數據比較情有獨鍾,以下是學習大數據其間,整理的乾貨,如下:

Hadoop、Hive、Zookeeper、Pig、HBase和Mahout等,都要認真學習

一、Hadoop

Hadoop生態系統安裝部署(單機、偽分佈式、完全分佈式)

HDFS及讀寫原理

MapReduce V1、V2框架

WordCount編碼詳解

原理 Mapper、Reducer、Combiner、InputFormat、Writable、Comparable

HDFS HA原理、部署

數據去重、單表關聯、多表關聯、PageRank、二次排序、倒排索引、TF-IDF

Hadoop、Hive、Zookeeper、Pig、HBase和Mahout等,都要認真學習

二、Hive

Hive安裝與配置

Hive 內建操作符與函數開發

Hive JDBC

hive參數

Hive 高級編程

Hive QL

Hive Shell 基本操作

hive 優化

Hive體系結構

Hive的原理

三、PIG

pig的概念及優點

關係(relation)、包(bag)、元組(tuple)、字段(field)、數據(data)的關係

FLATTEN操作符的作用

GROUP操作符

數據操作相關

多維度組合操作技巧

pig腳本

Hadoop、Hive、Zookeeper、Pig、HBase和Mahout等,都要認真學習

四、 Zookeeper

ZooKeeper安裝配置

Zookeeper命令操作

構建ZooKeeper應用

管理分佈式環境中的數據

ZooKeeper機制架構

一致性原理

ZooKeeper伸縮性

Hadoop、Hive、Zookeeper、Pig、HBase和Mahout等,都要認真學習

五、 HBase

Hbase基礎概念

hbase數據模型

Hbase物理模型

Hbase架構

Hbase應用

六、 Mahout

一圖勝千言,圖片來自:Mahout學習路線圖

Hadoop、Hive、Zookeeper、Pig、HBase和Mahout等,都要認真學習

七、 Sqoop

1、配置Sqoop 2、使用Sqoop把數據從MySQL導入到HDFS中 3、使用Sqoop把數據從HDFS導出到MySQL中

八、 Cassandra

Cassandra 的數據存儲結構

Cassandra 節點的安裝和配置

常用編程語言使用 Cassandra 來存儲數據

搭建 Cassandra 集群環境、

Hadoop、Hive、Zookeeper、Pig、HBase和Mahout等,都要認真學習

未來幾年,數據源將變得亦為重要,有興趣的朋友,可以多看一下數據的概論,想在這一行走得更遠的朋友,選擇專業,可以選擇智能科學專業,提前積累專業知識。

在不久的將來,多智時代一定會徹底走入我們的生活,有興趣入行未來前沿產業的朋友,可以收藏多智時代,及時獲取人工智能、大數據、雲計算和物聯網的前沿資訊和基礎知識,讓我們一起攜手,引領人工智能的未來。


分享到:


相關文章: