Hadoop入门配置系列博客目录一览

1、 Eclipse中使用Hadoop伪分布模式开发配置及简单程序示例（Linux下）
2、 使用Hadoop命令行执行jar包详解（生成jar、将文件上传到dfs、执行命令、下载dfs文件至本地）
3、 Hadoop完全分布式集群安装及配置（基于虚拟机）
4、 Eclipse中使用Hadoop集群模式开发配置及简单程序示例（Windows下）
5、 Zookeeper3.4.9、Hbase1.3.1、Pig0.16.0安装及配置（基于Hadoop2.7.3集群）
6、 mysql5.7.18安装、Hive2.1.1安装和配置（基于Hadoop2.7.3集群）
7、 Sqoop-1.4.6安装配置及Mysql->HDFS->Hive数据导入（基于Hadoop2.7.3）
8、 Hadoop完全分布式在实际中优化方案
9、 Hive：使用beeline连接和在eclispe中连接
10、 Scala-2.12.2和Spark-2.1.0安装配置（基于Hadoop2.7.3集群）
11、 Win下使用Eclipse开发scala程序配置（基于Hadoop2.7.3集群）
12、 win下Eclipse远程连接Hbase的配置及程序示例（create、insert、get、delete）

本篇博客主要介绍“Eclipse中使用Hadoop集群模式开发配置及简单程序示例（Windows下）”。

一、JDK安装、Hadoop的安装及集群模式配置（Linux虚拟机上集群的安装配置）

具体详见博客：Hadoop完全分布式集群安装及配置（基于虚拟机）
由于在使用hadoop-2.8.0配置的时候，hdfs总是出现错误，使用了各种方法也没能解决，所以这里使用hadoop-2.7.3

二、Eclipse、Hadoop安装（Win下）

1、Eclipse使用的是eclipse-jee-neon-3-win32-x86_64版本，下载链接：http://pan.baidu.com/s/1i5Kdf1b 密码：0r72，不需要安装直接解压即可，我这里解压之后的eclipse目录是E:\Eclipse2\eclipse。
2、Hadoop-2.7.3在windows下不需要安装，解压即可，解压目录为：E:\Hadoop\hadoop-2.7.3

三、Eclipse配置

1、下载hadoop-2.8.0的eclipse插件：hadoop-eclipse-plugin-2.7.3.jar （下载链接：http://pan.baidu.com/s/1slHeY6L 密码：6yxn），将下载的hadoop-eclipse-plugin-2.7.3.jar文件放到Eclipse的plugins文件夹下，即放在E:\Eclipse2\eclipse\plugins\下，重启eclipse即可看到该插件生效，如图：

2、设置hadoop开发模式
（1）点击“Window –> Preferences –> Hadoop Map/Reduce”选择Hadoop安装目录，点击“Apply”和“Apply and Close”，如图：

（2）点击“Window –> Perspective –> Open Perspective –> Other –> Map/Reduce”，如下图：

（3）点击“Window –> Show View –> Other –> Map/Reduce Locations”，如图：

3、添加必要的文件：
（1）在 https://github.com/SweetInk/hadoop-common-2.7.1-bin中下载winutils.exe,libwinutils.lib 拷贝到%HADOOP_HOME%\bin目录
（2）在 https://github.com/SweetInk/hadoop-common-2.7.1-bin中下载hadoop.dll，并拷贝到c:\windows\system32目录中。
注意：若不添加会出现错误(null) entry in command string: null chmod 0700，参见原博客： https://ask.hellobi.com/blog/jack/5063

四、添加Hadoop Location

经过上述步骤之后，控制台如下：

点击**处的大象标志“New Hadoop Location ”,配置如右图所示：

五、简单示例（代码、运行配置、结果）

代码、运行步骤和Eclipse中使用Hadoop单机模式开发配置及简单程序示例（Linux下）相同，但是Program arguments应该设置hdfs的目录，如下：

最后，运行完毕之后，Eclipse中的DFS Locations视图如下：

附：Hadoop入门基础及简单实例代码：https://github.com/Nana0606/Hadoop_Introduction