Hadoop 运行过程深入分析

我们是用hadoop 0.20的新的API写的，具体代码如下：

Mapper类：

 
   

  
    
/*  
  
    
 */ 
  
    
package com.charles.parseweather; 
  
    
 
  
    
import java.io.IOException; 
  
    
 
  
    
import org.apache.hadoop.io.IntWritable; 
  
    
import org.apache.hadoop.io.LongWritable; 
  
    
import org.apache.hadoop.io.Text; 
  
    
import org.apache.hadoop.mapreduce.Mapper; 
  
    
 
  
    
/** 
  
    
 * 
  
    
 * Description: 这是map类，之中定义了map函数， 这是基于Hadoop0.20的新的API 
  
    
 * base class有4个类型参数，分别是输入key,输入value，输出key,输出value的类型 
  
    
 * 在我们的例子中， 
  
    
 * 输入key：LongWritable的偏移量，代表某一行起始位置相对于文件起始位置的偏移量 
  
    
 * 输入value： 指定行的单行文本，这里面涵盖了包括气温信息在内的其他信息 
  
    
 * 输出key: 这行中的年份信息 
  
    
 * 输出value：这行中的气温 
  
    
 *  
  
    
 *所以对于其中的某一行：比如： 
  
    
 *0029029070999991901010106004+64333+023450FM-12+000599999V0202701N015919999999N0000001N9-00781+99999102001ADDGF108991999999999999999999 
  
    
 * 假如每一行都是106个字符，而且这个是第2行，那么 
  
    
 * 输入key 为 106  （偏移量,LongWritable类型） 
  
    
 * 输入value 为全部文本 
  
    
 * 输出key:年份信息，这里是第15-19个字符，所以是1901 
  
    
 * 输出value:气温信息,这里是第87-92个字符（因为可能是零下温度），所以是0 （IntWritable类型） 
  
    
 *  
  
    
 * 
  
    
 * @author charles.wang 
  
    
 * @created May 24, 2012 5:10:27 PM 
  
    
 *  
  
    
 */ 
  
    
public class MaxTemperatureMapper extends Mapper<LongWritable, Text, Text, IntWritable> { 
  
    
 
  
    
    //定义了一个不可能的气温值，如果这一行的气温是这个数字，则表示这一年没有统计气温 
  
    
    private static final int MISSING = 9999; 
  
    
     
  
    
    //这个map方法将（文本偏移量，这行文本）映射为（年份，气温），并且写入Context中 
  
    
    //这里使用了Hadoop自身提供的数据类型，他们的作用只是在网络序列化过程中优化 
  
    
    //但是最终我们还是要吧他们转为java.lang中的基本类型来处理 
  
    
    public void map(LongWritable key,Text value ,Context context) 
  
    
        throws IOException ,InterruptedException{ 
  
    
         
  
    
        //因为value代表了这行文本，所以我们先要从其中提取信息 
  
    
        //将网络传输的文本转为String类型的行 
  
    
        String line = value.toString(); 
  
    
        //从行中提取了年份信息，这个将作为输出的key 
  
    
        String year = line.substring(15,19); 
  
    
         
  
    
         
  
    
        int airTemperature; 
  
    
         
  
    
        //对于气温，因为有正负之分，所以要区别对待，第87位是符号位 
  
    
        //对于正的气温值，从下一个位置开始截取到92位置，然后转为整数类型 
  
    
        //对于负的气温值，直接截取到92位置，然后转为整数类型 
  
    
         
  
    
        if(line.charAt(87) == '+'){ 
  
    
            airTemperature = Integer.parseInt(line.substring(88,92)); 
  
    
        }else{ 
  
    
            airTemperature =  Integer.parseInt(line.substring(87,92)); 
  
    
        } 
  
    
         
  
    
         
  
    
        String quantity = line.substring(92,93); 
  
    
        //quantity的参数为正则表达式，quantity.matches("[01459]")表明数量只可能是以0,1,4,5,9才有效 
  
    
        if(airTemperature != MISSING && quantity.matches("[01459]")){ 
  
    
            //只把正确的气温数值写入Context对象，写的时候又要转为Hadoop数据类型，因为要通过网络传输到reduce中 
  
    
            //这里可以看出key为年份，value为这一行中包含的气温值 
  
    
            context.write(new Text(year),new IntWritable(airTemperature)); 
  
    
        } 
  
    
         
  
    
    } 
  
    
 
  
    
}