第八章 eclispe 上搭建 Hadoop 環境

一、添加插件

將hadoop-eclipse-plugin-2.7.5.jar放入eclipse的plugins文件夾中

二、在Windows上安裝Hadoop2.7.5

版本最好與Linux集群中的hadoop版本保持一致

1、安裝hadoop軟件包

將hadoop-2.7.5-centos-6.8.tar.gz解壓到Windows上的C盤根目錄中

2、配置hadoop的環境變量

HADOOP_HOME=C:\\hadoop-2.7.5

Path=C:\\hadoop-2.7.5\\bin

3、修改hadoop-env.cmd

修改Hadoop安裝目錄C:\\hadoop-2.7.5\\etc\\hadoop中hadoop-env.cmd

4、查看Hadoop版本

5、添加Windows支持文件

因為安裝的Hadoop編譯的版本是CentOS6.8的版本，在Windows上運行需要添加文件

1）winutils.exe 放在windows平臺中你安裝的hadoop的bin目錄下

2) hadoop.dll 放在windows操作系統的 c:/windows/system32目錄下

6、重新啟動eclipse

三、eclipse中的配置

1、設置hadoop的安裝目錄

重新啟動eclipse,打開windows->Preferences的Hadoop Map/Reduce中設置安裝目錄

2、新建hadoop連接

打開Windows->Show View中的Map/Reduce Locations，如下圖右鍵選擇New Hadoop location…新建hadoop連接。

3、配置相關信息

4、配置maven的pom文件

<code><dependencies>
        <dependency>
            <groupid>junit/<groupid>
            <artifactid>junit/<artifactid>
            <version>RELEASE/<version>
        /<dependency> 

        <dependency>
            <groupid>org.apache.logging.log4j/<groupid>
            <artifactid>log4j-core/<artifactid>
            <version>2.8.2/<version>
        /<dependency>
        <dependency>
            <groupid>org.apache.hadoop/<groupid>
            <artifactid>hadoop-common/<artifactid>
            <version>2.7.5/<version>
        /<dependency>
        <dependency>
            <groupid>org.apache.hadoop/<groupid>
            <artifactid>hadoop-client/<artifactid>
            <version>2.7.5/<version>
        /<dependency>
        <dependency>
            <groupid>org.apache.hadoop/<groupid>
            <artifactid>hadoop-hdfs/<artifactid>
            <version>2.7.5/<version>
        /<dependency>
        <dependency>
            <groupid>jdk.tools/<groupid>
            <artifactid>jdk.tools/<artifactid>
            <version>1.8/<version>
            <scope>system/<scope>
            <systempath>${JAVA_HOME}/lib/tools.jar/<systempath>
        /<dependency>
    /<dependencies>/<code>

5、配置log4j.properties

<code>log4j.rootLogger=INFO, stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c]- %m%n
log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/hdfs.log
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c]- %m%n/<code>

6、測試運行成功

閱讀更多 大數據漫路求索 的文章

關鍵字: Hadoop HDFS Windows