知识点
相关文章
更多最近更新
更多使用solr搭建你的全文检索
2019-03-27 01:14|来源: 网路
Solr 是一个可供企业使用的、基于 Lucene 的开箱即用的搜索服务器。对Lucene不熟?那么建议先看看下面两篇文档:
实战Lucene,第 1 部分: 初识 Lucene:http://www.ibm.com/developerworks/cn/java/j-lo-lucene1/
用Lucene加速Web搜索应用程序的开发:http://www.ibm.com/developerworks/cn/web/wa-lucene2/
一、 solr介绍
solr是基于Lucene Java搜索库的企业级全文搜索引擎,目前是apache的一个项目。它的官方网址在http://lucene.apache.org/solr/ 。solr需要运行在一个servlet 容器里,例如tomcat5.5。solr在lucene的上层提供了一个基于HTTP/XML的Web Services,我们的应用需要通过这个服务与solr进行交互。
二、 solr安装和配置
关于solr的安装和配置,这里也有两篇非常好的文档,作者同时也是 Lucene Java 项目的提交人和发言人:
使用Apache Solr实现更加灵巧的搜索:http://www.ibm.com/developerworks/cn/java/j-solr1/index.html
http://www.ibm.com/developerworks/cn/java/j-solr2/index.html
下面主要说说需要注意的地方。
Solr的安装非常简单,下载solr的zip包后解压缩将dist目录下的war文件改名为solr.war直接复制到tomcat5.5的webapps目录即可。注意一定要设置solr的主位置。有三种方法。我采用的是在tomcat里配置java:comp/env/solr/home的一个JNDI指向solr的主目录(example目录下),建立/tomcat55/conf/Catalina/localhost/solr.xml文件。
< Environment name ="solr/home" type ="java.lang.String" value ="D:/solr/solr" override ="true" />
</ Context >
观察这个指定的solr主位置,里面存在两个文件夹:conf和data。其中conf里存放了对solr而言最为重要的两个配置文件schema.xml和solrconfig.xml。data则用于存放索引文件。
schema.xml主要包括types、fields和其他的一些缺省设置。
solrconfig.xml用来配置Solr的一些系统属性,例如与索引和查询处理有关的一些常见的配置选项,以及缓存、扩展等等。
上面的文档对这两个文件有比较详细的说明,非常容易上手。注意到schema.xml里有一个
的配置,这里将url字段作为索引文档的唯一标识符,非常重要。
三、 加入中文分词
对全文检索而言,中文分词非常的重要,这里采用了qieqie庖丁分词(非常不错:))。集成非常的容易,我下载的是2.0.4-alpha2版本,其中它支持最多切分和按最大切分。创建自己的一个中文TokenizerFactory继承自solr的BaseTokenizerFactory。
* Created by IntelliJ IDEA.
* User: ronghao
* Date: 2007-11-3
* Time: 14:40:59
* 中文切词 对庖丁切词的封装
*/
public class ChineseTokenizerFactory extends BaseTokenizerFactory {
/**
* 最多切分 默认模式
*/
public static final String MOST_WORDS_MODE = " most-words " ;
/**
* 按最大切分
*/
public static final String MAX_WORD_LENGTH_MODE = " max-word-length " ;
private String mode = null ;
public void setMode(String mode) {
if (mode == null || MOST_WORDS_MODE.equalsIgnoreCase(mode)
|| " default " .equalsIgnoreCase(mode)) {
this .mode = MOST_WORDS_MODE;
} else if (MAX_WORD_LENGTH_MODE.equalsIgnoreCase(mode)) {
this .mode = MAX_WORD_LENGTH_MODE;
}
else {
throw new IllegalArgumentException( " 不合法的分析器Mode参数设置: " + mode);
}
}
@Override
public void init(Map < String, String > args) {
super .init(args);
setMode(args.get( " mode " ));
}
public TokenStream create(Reader input) {
return new PaodingTokenizer(input, PaodingMaker.make(),
createTokenCollector());
}
private TokenCollector createTokenCollector() {
if ( MOST_WORDS_MODE.equals(mode))
return new MostWordsTokenCollector();
if ( MAX_WORD_LENGTH_MODE.equals(mode))
return new MaxWordLengthTokenCollector();
throw new Error( " never happened " );
}
}
在schema.xml的字段text配置里加入该分词器。
< analyzer type ="index" >
< tokenizer class ="com.ronghao.fulltextsearch.analyzer.ChineseTokenizerFactory" mode ="most-words" />
< filter class ="solr.StopFilterFactory" ignoreCase ="true" words ="stopwords.txt" />
< filter class ="solr.WordDelimiterFilterFactory" generateWordParts ="1" generateNumberParts ="1" catenateWords ="1" catenateNumbers ="1" catenateAll ="0" />
< filter class ="solr.LowerCaseFilterFactory" />
< filter class ="solr.RemoveDuplicatesTokenFilterFactory" />
</ analyzer >
< analyzer type ="query" >
< tokenizer class ="com.ronghao.fulltextsearch.analyzer.ChineseTokenizerFactory" mode ="most-words" />
< filter class ="solr.SynonymFilterFactory" synonyms ="synonyms.txt" ignoreCase ="true" expand ="true" />
< filter class ="solr.StopFilterFactory" ignoreCase ="true" words ="stopwords.txt" />
< filter class ="solr.WordDelimiterFilterFactory" generateWordParts ="1" generateNumberParts ="1" catenateWords ="0" catenateNumbers ="0" catenateAll ="0" />
< filter class ="solr.LowerCaseFilterFactory" />
< filter class ="solr.RemoveDuplicatesTokenFilterFactory" />
</ analyzer >
</ fieldtype >
</ types >
完成后重启tomcat,即可在http://localhost:8080/solr/admin/analysis.jsp
体验到庖丁的中文分词。注意要将paoding-analysis.jar复制到solr的lib下,注意修改jar包里字典的home。
四、 与自己应用进行集成
Solr安装完毕,现在可以将自己的应用与solr集成。其实过程非常的简单,应用增加数据-->根据配置的字段构建add的xml文档-->post至solr/update。
应用删除数据à根据配置的索引文档唯一标识符构建delete的xml文档-->post至solr/update。
检索数据à构建查询xml—>get至/solr/select/-->对solr返回的xml进行处理-->页面展现。
具体的xml格式可以在solr网站找到。另外就是solr支持高亮显示,非常方便。
关于中文,solr内核支持UTF-8编码,所以在tomcat里的server.xml需要进行配置
另外,向solr Post请求的时候需要转为utf-8编码。对solr 返回的查询结果也需要进行一次utf-8的转码。检索数据时对查询的关键字也需要转码,然后用“+”连接。
for (String str : array) {
result = result + URLEncoder.encode(str, " UTF-8 " ) + " + " ;
}
转自:http://www.cnblogs.com/bluewelkin/p/3552996
相关问答
更多-
jsp+Lucene实现站内全文检索?给个思路[2022-04-13]
网上有很多现成的,搜搜看吧。 大体上分成 爬虫 ,索引 ,搜索 而lucene做的是索引和搜索两个工作,至于爬虫 你可以找网上现成的程序。 总之,都是现成的。 -
如何solr结合mysql全文搜索[2023-08-04]
solr跟mysql是独立的, 要通过solr来做全文索引,你就明确mysql那些表的字段需要做搜索。 然后mysql的增删改,你都必须在solr服务器这边做对应的请求。 最后通过调用solr的查询接口,solr会返回相应的信息,包括mysql对应数据的id以及匹配的分词信息。 $options = array ( 'hostname' => 'localhost', 'login' => 'username', 'password' => 'password', 'port' => '8983', ); ... -
solr用qieqie庖丁加入中文分词问题[2021-12-08]
Solr 是一个可供企业使用的、基于 Lucene 的开箱即用的搜索服务器。对Lucene不熟?那么建议先看看下面两篇文档: 实战Lucene,第 1 部分: 初识 Lucene: http://www.ibm.com/developerworks/cn/java/j-lo-lucene1/ 用Lucene加速Web搜索应用程序的开发: http://www.ibm.com/developerworks/cn/web/wa-lucene2/ 一、 solr介绍 solr是基于Lucene J ... -
solr全文检索可以检索文件吗[2021-11-06]
还是按照自己的想法推测下吧,solr是一种分布式搜索引擎技术,主要基于全文检索技术。那么Baidu,Google肯定是基于这种技术的,这个可以肯定。至于淘宝,京东,苏宁易购这样的大型电子商务网站,我觉得应该也是基于全文检索技术——这样的话,应用solr这种分布式搜索引擎技术那就顺理成章了。京东和易购应该是solr,淘宝是不是我就不太清楚了(至少是类似技术吧)。。。以后如果搞商业网站,高并发,高负载,复杂交互,安全性,用户体验——那也得多钻研这种技术了。毕竟数据库有连接上限,这个很蛋疼。 -
solrcloud与Hadoop整合达到对文件内容的全文检索[2022-02-27]
建议先针对solr进行学习 -
mysql如何建全文检索? - 技术问答[2023-12-18]
LZ都说了对中文支持不好。。。MYSQL是无法使用中文全文检索的,如果要用,那就自己弄个拼音库,再建一张表,记录自己的分词拼音与对应另一张表的ID,检索时先在这个表检索找到ID,再查另一张表,或直接使用JOIN连接。 -
solr全文检索,建立的文件索引,检索不出正确结果[2023-09-14]
考虑分词的原因吧,在solr admin界面中的analysis看一下相同的词在index和search的时候是否一致 -
java中如何实现全文检索[2021-11-26]
java的开源的免费全文检索工具Lucene Lucene不是一个完整的全文索引应用,而是是一个用Java写的全文索引引擎工具包,它可以方便的嵌入到各种应用中实现针对应用的全文索引/检索功能。 Lucene的作者:Lucene的贡献者Doug Cutting是一位资深全文索引/检索专家,曾经是V-Twin搜索引擎(Apple的Copland操作系统的成就之一)的主要开发者,后在Excite担任高级系统架构设计师,目前从事于一些INTERNET底层架构的研究。他贡献出的Lucene的目标是为各种中小型应用程序 ... -
mysql全文检索的问题[2022-06-14]
这个简单 alter table `tmp` add fulltext(`column_1`,`column_2`....); /***添加**/ //查询 select * from `tmp` where match(`column_1`,`column_2`) against('$key') -
恐怕不是开箱即用的。 可能会比较两个tsvector以确定它们是否足够相似,或者拉出前n个相似的tsvector,但是没有现成的功能来执行此操作。 好消息是,既然tsvectors支持GIN索引,那么复杂的部分就完成了。 我认为你需要做的是在C中创建一个函数,它确定两个tsvector的交集。 从那里你可以创建一个函数来确定它们是否重叠以及解决这个问题的操作符。 从这里开始,根据最大重叠度创建排名应该不会太难。 当然,我怀疑这对C语言来说最容易做到,但如果需要的话,你也可以使用其他过程语言。 关于Postg ...