Hadoop下的程序测试及调试信息

主要介绍下0.20版本下Hadoop的调试、计数器、调试信息输出等内容。

Hadoop0.21.0源码流程分析 http://www.linuxidc.com/Linux/2011-11/47668.htm

使用VMware安装Hadoop全过程  http://www.linuxidc.com/Linux/2011-08/40153.htm

搭建Hadoop环境（在Winodws环境下用虚拟机虚拟两个Ubuntu系统进行搭建） http://www.linuxidc.com/Linux/2011-12/48894.htm

相信很多人学习hadoop都是从hadoop权威指南开始的，但权威指南使用的hadoop版本是0.19版本的，而有部分人（其中包括我）使用的0.20版本的。相信大家都知道0.20版本相对于0.19版本有了重大的改变。提供了一系列新的API。具体哪些我这里就不具体说了。其中一个跟测试、调试密切相关的就是在0.20版本出现了Context  object（上下文对象）.所以本篇日志就记录一下我在0.20版本下的测试、调试程序。这里有要特别提示下，这些方法都是我自己摸索的，不敢保证一定效果最好或者最简洁，比如计数器那个我也见过其他实现方法。所以如果有错请大家指出。先谢谢了。

先来说说测试，老规矩直接上代码，注释在代码里：

1. public class TestMapper {  
2.     @Test  
3.     public void processReduce() throws IOException{  
4.         wordcountReduce reuder = new wordcountReduce();  //reduce测试   
5.         LongWritable key = new LongWritable(1234);  
6.         List<LongWritable> list = new ArrayList<LongWritable>();  
7.         list.add(new LongWritable(10));  
8.         list.add(new LongWritable(2));  
9.         Iterable<LongWritable> values = list; //构造Iterable   
10.         //OutputCollector<LongWritable, LongWritable> output = mock(OutputCollector.class); 老版本测试   
11.         Reducer.Context context = mock(Reducer.Context.class); //这里要注明Reduce.context上下文对象   
12.         try {  
13.             //reude.reduce(key, values, output, null); 老版本测试   
14.             reuder.reduce(key, values, context); //使用上下文对象代替上面的output   
15.             verify(context).write(new LongWritable(12), new LongWritable(1234));  
16.         }catch (InterruptedException e) {  
17.             // TODO Auto-generated catch block   
18.             e.printStackTrace();  
19.         }  
20.     }  
21.     @Test  
22.      public void processMap()throws IOException{  
23.         wordcountMapper mapper = new wordcountMapper(); //map测试   
24.          Text value = new Text("1234");  
25.          LongWritable key = new LongWritable(1);  
26.         //OutputCollector<LongWritable, Text> output = mock(OutputCollector.class); 老版本测试   
27.          Mapper.Context context = mock(Mapper.Context.class);  
28.         try{  
29.                 //mapper.map(key, value, output, null); 老版本测试   
30.                 mapper.map(key, value, context);  
31.                 verify(context).write(new LongWritable(1234), new LongWritable(1));  
32.             } catch (InterruptedException e) {  
33.             // TODO Auto-generated catch block   
34.             e.printStackTrace();  
35.         }  
36.      }  
37.     public static  class wordcountMapper extends  
38.     Mapper<LongWritable, Text, LongWritable, LongWritable>{  
39.     public void map(LongWritable key, Text value, Context context)throws IOException, InterruptedException{  
40.             String one = value.toString();  
41.             context.write(new LongWritable(Integer.parseInt(one)) , key);  
42.         }  
43.     }  
44. public  class wordcountReduce extends  
45.     Reducer<LongWritable, LongWritable, LongWritable, LongWritable>{  
46.     public void reduce(LongWritable key, Iterable<LongWritable>values, Context context)throws IOException, InterruptedException{  
47.         int sum = 0;  
48.         for (LongWritable str : values){  
49.             sum += str.get();  
50.             }  
51.             context.write(new LongWritable(sum), key );  
52.         }  
53.     }  
54. }