基于Lucene 4.x的ik-analyzer

 1  import java.io.IOException;
 2  import java.io.Reader;
 3 
 4  import org.apache.lucene.analysis.Tokenizer;
 5  import org.apache.lucene.analysis.tokenattributes.OffsetAttribute;
 6  import org.apache.lucene.analysis.tokenattributes.CharTermAttribute;
 7  import org.wltea.analyzer.IKSegmentation;
 8  import org.wltea.analyzer.Lexeme;
 9 
10  /**
11   * IK Analyzer v3.2 Lucene4.x Tokenizer适配器类 它封装了IKSegmentation实现
12   * 
13   *  @author  林良益
14   * 
15    */
16  public  final  class IKTokenizer  extends Tokenizer {
17      //  IK分词器实现
18       private IKSegmentation _IKImplement;
19      //  词元文本属性
20       private CharTermAttribute termAtt;
21      //  词元位移属性
22       private OffsetAttribute offsetAtt;
23      //  记录最后一个词元的结束位置
24       private  int finalOffset;
25 
26      /**
27       * Lucene Tokenizer适配器类构造函数
28       * 
29       *  @param  in
30       *  @param  isMaxWordLength
31       *            当为true时，分词器进行最大词长切分；当为false是，采用最细粒度切分
32        */
33      public IKTokenizer(Reader in,  boolean isMaxWordLength) {
34          super(in);
35         offsetAtt = addAttribute(OffsetAttribute. class);
36         termAtt = addAttribute(CharTermAttribute. class);
37         _IKImplement =  new IKSegmentation(in, isMaxWordLength);
38     }
39 
40     @Override
41      public  final  boolean incrementToken()  throws IOException {
42          //  清除所有的词元属性
43          clearAttributes();
44         Lexeme nextLexeme = _IKImplement.next();
45          if (nextLexeme !=  null) {
46              //  将Lexeme转成Attributes
47               //  设置词元文本
48              termAtt.setEmpty().append(nextLexeme.getLexemeText());
49              //  设置词元位移
50              offsetAtt.setOffset(nextLexeme.getBeginPosition(),
51                     nextLexeme.getEndPosition());
52             offsetAtt.setOffset(correctOffset(nextLexeme.getBeginPosition()), correctOffset(nextLexeme.getEndPosition()));
53             finalOffset = nextLexeme.getEndPosition();
54              //  返会true告知还有下个词元
55               return  true;
56         }
57          //  返会false告知词元输出完毕
58           return  false;
59     }
60 
61      /*
62       * (non-Javadoc)
63       * 
64       * @see org.apache.lucene.analysis.Tokenizer#reset(java.io.Reader)
65        */
66      public  void reset()  throws IOException {
67          super.reset();
68         _IKImplement.reset(input);
69     }
70 
71     @Override
72      public  final  void end() {
73         offsetAtt.setOffset(finalOffset, finalOffset);
74     }

75 }