Hadoop 第一課 安裝JDK & Hadoop 啟動

本人將從零開始講hadoop的搭建進行梳理。（如相關---大數據&java疑問可以私信)

hadoop從零開始到放棄

1、安裝和配置JDK

Hadoop是基於java語言環境的，所以需要設置java運行環境。

1.1、安裝包下載地址--->Oracle官方

<code>https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html/<code>

jdk

1.2、創建乾淨的目錄

<code>mkdir  usr/java/<code>

1.3、假設下載的是.gz文件

<code>tar -zxvf jdk-8u152-linux-x64.tar.gz/<code>

1.4、假設下載的是.rmp 文件

<code>rmp -ivh  jdk-8u152-linux-x64.rmp/<code>

1.5、安裝完成刪除安裝文件

<code>rm  jdk-8u152-linux-x64.tar.gz/<code>

1.6、配置環境變量

記住這個文件以後要經常用到 /etc/profile

<code>vim /etc/profile/<code>

插入如下參數：

<code>export JAVA_HOME=/usr/java/jdk1.8.0_152
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib:$CLASSPATH
export JAVA_PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin
export PATH=$PATH:${JAVA_PATH}/<code>

編輯完成後保存退出 命令 :wq。

1.7 刷新系統配置文件使配置參數生效

<code> source /etc/profile/<code>

1.8、驗證JDK是否安裝成功

<code>java -version/<code>

java

1.9 在線下載（網絡良好時推薦）

<code>wget http://download.oracle.com/otn-pub/java/jdk/8u131-b11/d54c1d3a095b4ff2b6607d096fa80163/jdk-8u131-linux-x64.tar.gz/<code>

以上完成JDK 的安裝。

2、安裝hadoop

2.1、下載安裝包

官網鏈接：

<code>http://mirrors.hust.edu.cn/apache/hadoop/core/stable/hadoop-2.5.2.tar.gz/<code>

在線下載

<code>wget http://mirrors.hust.edu.cn/apache/hadoop/core/stable/hadoop-2.5.2.tar.gz/<code>

2.2、解壓安裝

<code>tar -zxvf hadoop-2.5.2.tar.gz/<code>

2.3、配置hadoop的bin和sbin文件夾到環境變量

記住這個文件以後要經常用到 /etc/profile

<code>vim /etc/profile/<code>

添加以下參數

<code>export HADOOP_HOME=/home/hadoop/hadoop-2.5.2
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$JAVA_HOME/jre/bin:$PATH/<code>

安裝完成可以啟動！！！

<code>hadoop version  -- 查看是否安裝成功/<code>

3、hadoop偽分佈式

3.1、修改hadoop文件 hadoop-env.sh

需要在etc/hadoop/hadoop-env.sh中配置JAVA_HOME 否則在start-dfs.sh 啟動會報錯。

<code>ERROR:JAVA_HOME is not set and cloud not be found/<code>

添加配置：

<code>export JAVA_HOME =/usr/java/jdk1.8.0_152/<code>

3.2、修改hadoop文件 core-site.xml

文件路徑

<code>/home/bigdata/hadoop-2.5.2/etc/hadoop/<code>

修改內容

<code>
     
          fs.defaultFS 
          hdfs://master:7000
    
/<code>

解釋：core-site.xml:主要配置訪問hadoop集群的主要信息，master代表主機名稱可以用IP替換，

7000表示端口號。

外部配置hdfs://master:7000就可以訪問到集群。

3.3、修改hadoop文件hdfs-site.xml

文件路徑

<code>/home/bigdata/hadoop-2.5.2/etc/hadoop/<code>

添加參數

<code>
       
          dfs.replication
          1
       
/<code>

解釋：hdfs-site.xml ：主要配置hdfs相關的信息。

dfs.replication ：表示副本，value=1表示副本數為1

3.4、初始化集群配置

基本配置完成後就可以初始化集群。

<code>hdfs namenode -format /<code>

hadoop format

初始化成功的日誌

hadoop初始化成功

3.5、啟動HDFS

<code>./start-dfs.sh/<code>

每日一圖

下一節：《完全分佈式安裝&DFS和HDFS的介紹》