開發人員在Window下開發調用遠程Hadoop時,一般是通過Eclipse或者Idea,本文章針對在Window下的開發
步驟1:下載Eclipse,並安裝 本文使用版本為(Version: 2019-09 R (4.13.0))
(1)下載Eclipse
(2)安裝Eclipse, 雙擊下載的文件,進行安裝
步驟2 把Hadoop-3.1.2(hadoop-3.1.2.tar.gz)包解壓到window的一個文件夾中
步驟3 從網上下載hadoop.dll文件,並把hadoop.dll拷貝到C:\\Windows\\System32
步驟4 從網上下一個hadoop-eclipse-plugin-3.1.2.jar文件,或者自己生成一個,自己生成一個時,容易出現很多問題,並把hadoop-eclipse-plugin-3.1.2.jar文件複製到Eclipse安裝下的dropins文件夾中
步驟5打開Eclipse並配置
(1) File->New->Other
(2) 配置hadoop路徑
在彈出的界面中選擇hadoop包解壓的路徑
(3) 配置完hadoop解壓路徑後,重寫回到原界面,輸入項目名稱
步驟6 配置下eclipse使用的jdk,windos電腦上也需要安裝jdk
步驟7 添加hdfs的jar包
(1)右鍵項目->build path->configu build path,添加需要的jar包
(2) 彈出界面中選擇Add External Jar
(3)選擇需要的jar包 share->hadoop中的client common hdfs mapreduce yarn包中的jar需要添加進來
(4)寫測試代碼
hdfs 上傳文件/下載文件/刪除文件
閱讀更多 Louis大數據技術站 的文章