Lucene、Nutch、Solr

    首先，说一下三者之间的关系。

    lucene是一个做搜索用的类库。 

    一般可以使用nutch做crawler，而使用solr做indexer和查询接口。 

    其次，看一下Nutch各个模块，以及如何将数据传输给solr。   

         Nutch 的入口 是 ： Crawl 。

         主要模块：

1、Injector

将 入口  url 放入 crawldb 中。并初始化 crawldb。

2、Generator

读取crawldb中 的url，过滤出将要抓取的url列表，叫 fetchlist ，并生成相应的 segment。

3、Fetcher

将 fetchlist 作为 源，抓取页面，调用 parse 。

4、ParseSegment

分析页面（html／JS／CSS／PDF／World 等等，根据配置）得出 parse_data ／parse_text ／ 外链。

5、CrawlDb（update）

由parse结果，更新crawldb。

6、LinkDb

分析 url 连接关系。

7、SolrIndexer

将数据传送给Solr。

       再次，看一下Nutch、Hadoop、Lucene、Solr 之间 的数据交互

      Nutch 把所有的，都按自己的重新写了一遍，NutchDocument、NutchField ，都 实现 Hadoop的 Writable 接口。这样就很容易的写到了 HDFS 上。

      Nutch 可以 用 把数据传输给 Solr

bin/nutch solrindex http://127.0.0.1:8983/solr/ crawldb -linkdb crawldb/linkdb crawldb/segments/*

       在上面会 MapReduce 的配置 及启动。查看Reduce的实现，没有任何的 向Solr 写内容的代码，在初始化Job的时候NutchIndexWriterFactory.addClassToConf(job, SolrWriter.class); 有一个这样的类，SolrWriter ，在这个里面可以找到相关与Solr交互的代码。

       而Solr 里，接收请求的是：BinaryUpdateRequestHandler ，会把 Nutch 传进来的 内容 转换成 Lucene 的索引。