知识点
相关文章
更多最近更新
更多[置顶] 【Apache Solr系列】使用IKAnalyzer中文分词以及自定义分词字典
2019-03-27 01:17|来源: 网路
之前写的Apache Solr只介绍了简单的搭建以及导入数据等功能,最近由于项目要求,添加索引分词和搜索分词功能;分词的项目有包括好几个:smartcn、ictclas4j、IK、jeasy、庖丁、mmseg4j;
以上几种分词器各有优缺点,根据不同场景可分可定制和不可定制两种:
一种是基于中科院ICTCLAS的隐式马尔科夫HMM算法的中文分词器,如smartcn,ictclas4j,优点是分词准确度高,缺点是不能使用用户自定义词库;
另一种是基于最大匹配的分词器,如IK ,Jeasy,庖丁,优点是可以自定义词库,增加新词,缺点是分出来的垃圾词较多。
文件下载
IKAnalyzer下载地址:https://ik-analyzer.googlecode.com/files/IK%20Analyzer%202012FF_hf1.zip
这里我使用的是IK Analyzer 2012FF_hf1.zip这个包;因为我用的是solr4.x的;
解压、文件拷贝
下载之后用unzip解压,没有安装unzip童鞋安装下;
解压之后讲IKAnalyzer的jar包拷贝到$SOLR_HOME的lib目录下;将IKAnalyzer.conf.xml和stopword.dic放到classes目录下,我这里的classes目录是
/data/projects/apprank-solr.zqgame.com/WEB-INF/classes重点文件说明
* IKAnalyzer.conf.xml主要的作用是用于自定义分词字典以及停止词字典的指定;
* stopword.dic是默认自带的停止词,你可以添加自己的停止词到这个文件中;
配置
这里我们只讲IKAnalyzer的分词器配置。其实分词器的配置大同小异,IKAnalyzer具体配置如下;
<fieldType name="text" class="solr.TextField"> <analyzer class="org.wltea.analyzer.lucene.IKAnalyzer"/> </fieldType> 或者是 <fieldType name="text_ik" class="solr.TextField"> <analyzer type="index" isMaxWordLength="false" class="org.wltea.analyzer.lucene.IKAnalyzer"/> <analyzer type="query" isMaxWordLength="true" class="org.wltea.analyzer.lucene.IKAnalyzer"/> </fieldType>如果是其他的分词器;也是类似,将class修改为对应的分词处理器类就OK;
配置完fieldType之后,我们将要使用到分词器的field的type属性修改为我们新添加fieldType;
<field name="name" type="text_ik" indexed="true"/>这样重启之后,分词器就生效了!来看下效果
之前原本想使用mmseg4j的,但是网上查了之后据说分词效果不是很好。所以就用IKAnalyzer,而且mmseg4j的配置比IK要复杂一点;
自定义分词字典
接下来讲下自定义分词字典,前面我们在重点文件说明中以及提到了IKAnalyzer.cfg.xml的作用;先来看下这个文件的内容
hadoop@nutch4:/data/projects/clusters/IKAnalyzer$ more IKAnalyzer.cfg.xml <?xml version="1.0" encoding="UTF-8"?> <!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd"> <properties> <comment>IK Analyzer 扩展配置</comment> <!--用户可以在这里配置自己的扩展字典 <entry key="ext_dict">ext.dic;</entry> --> <!--用户可以在这里配置自己的扩展停止词字典--> <entry key="ext_stopwords">stopword.dic;</entry> </properties>配置一目了然,很简单;
我们在IKAnalyzer.cfg.xml的同级目录下添加一个ext.dic的文件,文件内添加自己的分词字典,重启就可以了!
注:这里要把上面的ext_dict项的注释去掉,要不然不会起作用的;
看下我们的自定义分词字典ext.dic
天天跑酷 天天爱消除 天天这里比较简单,我只添加了三个自定义分词,那么来看下效果把!
大家可以看到效果还不错。呵呵!
转载请注明来源地址:http://blog.csdn.net/weijonathan/article/details/18354723
转自:http://blog.csdn.net/WeiJonathan/article/details/18354723
相关问答
更多-
solr用qieqie庖丁加入中文分词问题[2021-12-08]
Solr 是一个可供企业使用的、基于 Lucene 的开箱即用的搜索服务器。对Lucene不熟?那么建议先看看下面两篇文档: 实战Lucene,第 1 部分: 初识 Lucene: http://www.ibm.com/developerworks/cn/java/j-lo-lucene1/ 用Lucene加速Web搜索应用程序的开发: http://www.ibm.com/developerworks/cn/web/wa-lucene2/ 一、 solr介绍 solr是基于Lucene J ... -
关于lucene中使用中文分词器的问题[2023-02-09]
lucene最新的版本是5.X,你这3.X版本太低 虽然我看不到你的图报的是什么错,但是感觉不像是版本问题,不过可以试下其他版本 我用的是lucene4.5 -
如何实现置顶功能 django[2023-09-12]
实现思路: 1.首先把需要自动执行的django method写成django command 2.将自己定义的django command添加到cron中使用cron服务实现定期执行 Part1 在django工程中添加自定义的django command 1.我们自己建立的 application叫做myapp,首先在这个app目录下,我们需要新建management目录,这个目录里应该包 括:__init__.py(内容为空,用于打包)和commands目录,然后在commands目录下包括:__in ... -
部署Apache Solr(Deploying Apache Solr)[2022-03-01]
Solr需要在Java EE应用程序服务器中运行。 您可以使用Jetty或Tomcat 。 Nginx将通过AJP或simliar充当代理,将所有RESTless请求转发给Solr。 我没有使用我的ajp与nginx,但我已经读过这个 。 基本上,您将同时运行所有Java EE应用程序服务器,Rails服务器,nginx,passenger和ajp代理。 您还可以设置代理通行证,这里有一个教程 。 探索不同的选项,看看哪一个是你的赌注。 Solr needs to run in a Java EE appl ... -
apache安全性是可能的(apache security is this possible)[2022-02-20]
如果您以同一域内提供应用程序和第三方应用程序的方式配置apache,则它们可以相互通信。 您可以使用mod_proxy来提供来自第三方应用程序的数据和Alias指令来为您自己的应用程序提供服务。ServerName www.example.com Alias /myapp "C:\program files\homeseer\html" ProxyPass /thirdpartyapp http://192.168.0.34:81/thirdpartyapp Pr ... -
您可以像任何其他DOM元素一样定位最外层元素。 var svg = d3.select("body").append("svg"); svg.attr("width", "100").attr("height", "100").style("border", "1px solid black"); svg { position: relative; top: 100px; left: 50px; }