Eclipse、IDEA配置 HDFS API 环境

Eclipse下配置 HDFS API 环境

1. Eclipse 插件安装

1. 找到eclipse安装位置；

2. 复制 hadoop-2.7.3.tar.gz 到 windows ，解压到合适的路径，注意路径尽量不要有中文。

   

3. 将 hadoop-eclipse-plugin-2.7.3.jar 拷贝到 Eclispe 安装路径的 plugins 目录中。

   

4. 配置 windows PATH 下 hadoop 环境（%HADOOP_HOME%\bin; %HADOOP_HOME%\sbin;）

   

5. 将 winutils.exe 放到 hadoop 安装包的 bin 目录下，实现跨平台。（没有就去网上下载一个）

6. 将 hadoop-2.7.3/bin/hadoop.dll 复制到 C:\Windows\System32下。

   

7. 打开 eclipse ，点击 windows –> prefrences 会出现一个对话框。找到如图所示 Hadoop Map/Reduce 选项，把安装 hadoop 的路径配置上。（注意是 bin 目录的父目录）

   

8. 依次点击 windows ==> show view ==> other ，在列表中找到 map 视图

   

9. Open打开之后点击图中小象：

   

10. 会出现相应的这么一个对话框，修改相应的信息：

    

    

11. 点击 window ==> show view ==> project Explorer，在左上角的这个地方会出现：

    

    至此，我们便完成了利用 hadoop 的 eclipse 插件链接 hdfs 集群，实现查看 hdfs 集群文件的功能。

2. 创建 API 工程环境

方式一

直接创建 Map/Reduce Project 工程。

方式二

创建一个新的 java工程，手动加入 hadoop 开发 jar 包：

方法一

1. 先在项目中建立一个文件夹 lib，然后把 hadoop 安装包下 share/hadoop/common 、 share/hadoop/hdfs 以及 share/hadoop/common/lib 目录下所有的 jar 包都拷贝到项目下我们创建的 lib 目录中。

   

   

   

   

2. 把加入的所有的 jar 包都 add classpath；

   

   

   

方法二

在项目名字上鼠标右键选择 Build Path ,然后点击右边出现的 Configure Build Path，出现：

到此表示，我们利用 HDFS 的 api 编写业务代码所依赖的 jar 包都添加完成，接下来便可以愉快的玩耍代码了。

IDEA下 使用 Maven 配置 API 环境

1. 创建一个 Maven 工程；

   

   

2. 选择本地 Mvaen 仓库后，添加 Maven 依赖和编译打包插件

   

   <dependencies>
           <dependency>
               <groupId>org.apache.hadoop</groupId>
               <artifactId>hadoop-common</artifactId>
               <version>3.1.4</version>
           </dependency>
           <dependency>
               <groupId>org.apache.hadoop</groupId>
               <artifactId>hadoop-client</artifactId>
               <version>3.1.4</version>
           </dependency>
           <dependency>
               <groupId>org.apache.hadoop</groupId>
               <artifactId>hadoop-hdfs</artifactId>
               <version>3.1.4</version>
           </dependency>
           <dependency>
               <groupId>junit</groupId>
               <artifactId>junit</artifactId>
               <version>4.13</version>
           </dependency>
   </dependencies>
   
       <build>
           <plugins>
               <plugin>
                   <groupId>org.apache.maven.plugins</groupId>
                   <artifactId>maven-compiler-plugin</artifactId>
                   <version>3.1</version>
                   <configuration>
                       <source>1.8</source>
                       <target>1.8</target>
                   </configuration>
               </plugin>
           </plugins>
       </build>

   

   待依赖加载完成，接下来便可以愉快的玩耍代码了。