0 主要参考教程
1 、厦门大学数据库实验室
2、JeffreyZhou的博客园
整个hadoop是基于Java开发的，所以要对hadoop进行一些稍微底层一点的开发，还是得编写java程序。那就必然少不了eclipse这一开发工具了。
1 安装Eclipse
1.1 在 Ubuntu 中安装 Eclipse，可从 Ubuntu 的软件中心直接搜索安装，在桌面左侧任务栏，点击“Ubuntu Software”。
1.2 直接在右上角搜索栏中，搜索“eclipse”，并点击安装，等待安装完成即可。默认的安装路劲是/usr/lib/eclipse
2 安装Hadoop-Eclipse-Plugin
要在 Eclipse 上编译和运行 MapReduce 程序，需要安装 hadoop-eclipse-plugin，可下载hadoop2x-eclipse-plugin。下载地址：/s/1i4ikIoP 。
下载后，将 release 中的 hadoop-eclipse-kepler-plugin-2.6.0.jar （或者 2.2.0 和 2.4.1 版本）复制到 Eclipse 安装目录的 plugins 文件夹中，运行eclipse -clean重启 Eclipse 即可（添加插件后只需要运行一次该命令，以后按照正常方式启动就行了）。具体操作如下：
$ unzip -qo ~/Downloads/hadoop2x-eclipse-plugin-master.zip -d ~/Downloads# 解压到 ~/Downloads中$ sudo cp ~/Downloads/hadoop2x-eclipse-plugin-master/release/hadoop-eclipse-plugin-2.6.0.jar /usr/lib/eclipse/plugins/ # 复制到 eclipse 安装目录的 plugins 目录下$ /usr/lib/eclipse/eclipse -clean # 添加插件后需要用这种方式使插件生效
3 配置Hadoop-Eclipse-Plugin
在这一步开始前，请用jps命令查看一下，确认已经开启了hadoop。
安装完插件，启动Eclipse后就可以在左侧的Project Explorer中看到DFS Locations了，说明上一步执行成功，接下来进行进一步的配置
（1）打开Window-->Preference，配置Hadoop Map/Reduce，如图所示，配置Hadoop的安装目录（即HADOOP_HOME）
（2）切换Map/Reduce视图，打开Window-->Open Perspective-->Other，在其中选择Map/Reduce即可，此时在Eclipse软件的下面显示栏中可以看到多出来一个标签，如图所示，进行操作。
（3）建立与Hadoop集群的连接，建立New Hadoop Location后，对其进行配置，在本例中，与参考教程中的伪分布式配置不同，在这一点上面我开始没弄明白，直到后面再eclipse上编写MR程序时，在这一点上吃了大亏，详细信息记录在问题汇总的文章里，供自己以后参考。
其中，Location name可以随便填，左侧的M/R Master按照图上所示，但右侧的DFS Master要根据配置文件（(/usr/local/hadoop/etc/hadoop/core-site.xml）中的fs.defaultFS的值来填写。
所以，此处的General配置如下：
4 Eclipse中Hadoop的基本操作
4.1 操作HDFS文件
在配置好上述步骤后，在左侧的Project Explorer中就可以直接看到HDFS的文件目录层次了，无需通过命令行进行操作，可以直接在文件/目录上右键操作。
注：
如果无法查看，可右键点击 Location 尝试 Reconnect 或重启 EclipseHDFS 中的内容变动后，Eclipse 不会同步刷新，需要右键点击 Project Explorer中的 MapReduce Location，选择 Refresh，才能看到变动后的文件。
4.2 创建MR项目
直接新建项目就行了。File-->New-->Project在此时弹出来的选择框中选择Map/Reduce Project。后续的new package和new class都和java一样操作。
4.3 运行MR程序
在前面搭建分布式环境的几篇文章中，在单机和完全分布式环境搭建成功后，我们都拿WordCount例子进行了测试，现在又弄好了Eclipse环境，免不了再煮一次这个万能的栗子。
（1）源程序，new class：
import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Job;import org.apache.hadoop.mapreduce.Mapper;import org.apache.hadoop.mapreduce.Reducer;import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;import org.apache.hadoop.util.GenericOptionsParser;// Map过程public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable>{private final static IntWritable one = new IntWritable(1);private Text word = new Text();public void map(Object key, Text value, Context context) throws IOException, InterruptedException {// key 是这一行数据的起始偏移量，value是这一行的文本内容System.out.println("key=" +key.toString());System.out.println("Value=" + value.toString());// 切分单词，可以使用split()方法StringTokenizer itr = new StringTokenizer(value.toString());//遍历单词数组，输出key-value的格式while (itr.hasMoreTokens()) {word.set(itr.nextToken());context.write(word, one);}}}// Reduce过程public static class IntSumReducer extends Reducer<Text,IntWritable,Text,IntWritable> {private IntWritable result = new IntWritable();public void reduce(Text key, Iterable<IntWritable> values,Context context) throws IOException, InterruptedException {int sum = 0;for (IntWritable val : values) {sum += val.get();}result.set(sum);context.write(key, result);}}// 主程序public static void main(String[] args) throws Exception {Configuration conf = new Configuration(); // 配置文件// System.out.println("url:" + conf.get("fs.default.name")); // deprecatedSystem.out.println("url:" + conf.get("fs.defaultFS"));String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();if (otherArgs.length != 2) {System.err.println("Usage: wordcount <in> <out>");System.exit(2);}// 获取一个作业// Job job = new Job(conf, "word count"); // deprecatedJob job = Job.getInstance(conf,"wordcount"); // 用job的静态方法// 设置job所用的那些类（class）文件在哪个jar包job.setJarByClass(WordCount.class);// 设置所用的map reduce类job.setMapperClass(TokenizerMapper.class);job.setCombinerClass(IntSumReducer.class); // 对每个节点的map输出进行combinejob.setReducerClass(IntSumReducer.class); // 对所有节点的输出进行reduce// 设置数据输出类型job.setOutputKeyClass(Text.class);job.setOutputValueClass(IntWritable.class);// 指定要处理的输入、输出路径，//此处为输入参数FileInputFormat.addInputPath(job, new Path(otherArgs[0]));FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));//此处为固定文件目录// FileInputFormat.addInputPath(job, "input");// FileOutputFormat.setOutputPath(job, "output");// 将job提交给集群运行System.exit(job.waitForCompletion(true) ? 0 : 1);}
（2）配置。在运行此程序前，还需一项配置：将几个hadoop的配置文件（/usr/local/hadoop/etc/hadoop中）core-site.xml、hdfs-site.xml、log4j.properties这三个文件复制到所要运行的项目下的 src 文件夹下，不然无法运行程序，而且也不要将所有配置文件复制过来，那样也会出错，详细情况及解释见问题汇总篇。
$ cp /usr/local/hadoop/etc/hadoop/core-site.xml ~/workspace/WordCount/src$ cp /usr/local/hadoop/etc/hadoop/hdfs-site.xml ~/workspace/WordCount/src$ cp /usr/local/hadoop/etc/hadoop/log4j.properties ~/workspace/WordCount/src
复制完成后将项目refresh，可以看到项目目录结构如图：
（3）运行程序。此程序为MR程序，而且程序中使用的输入、输出目录的HDFS中的文件夹，所以选择Run on Hadoop，若程序设置的的输入、输出目录为固定目录，则可以直接运行；若设置为参数，则选择Run As -> Run Configurations，
5 后记
在eclipse刚搭建好后，可以多进行一些基本的程序测试，比如对DFS文件的基本操作（读，写，判断是否存在）。下次按照参考教材，写（抄）一个倒排索引的程序。
