知识点
相关文章
更多最近更新
更多开源搜索引擎Solr环境配置、中文分词、数据库做为索引源及索引操作
2019-03-27 01:18|来源: 网路
一、配置solr环境
1、 下载solr http://www.apache.org/dyn/closer.cgi/lucene/solr/
此处用的是3.5 解压到D盘D:/solr/apache-solr-3.5.0
2、修改tomcat conf/server.xml
<Connector connectionTimeout="20000" port="8080" protocol="HTTP/1.1" redirectPort="8443" URIEncoding="UTF-8" />
添加编码的配置 URIEncoding="UTF-8" (如不添加,中文检索时因为乱码搜索不到)
3、 配置solr
Tomcat conf/Catalina/localhost下添加solr.xml
内容:
<Context docBase="D:/solr/apache-solr-3.5.0/dist/apache-solr-3.5.0.war" debug="0" crossContext="true" >
<Environment name="solr/home" type="java.lang.String" value="D:/solr/apache-solr-3.5.0/example/solr" override="true" />
</Context>
4、 启动tomcat 输入http://localhost:8080/solr/ 出现欢迎界面表示成功
二、中文分词配置
1、 下载分词器: http://code.google.com/p/mmseg4j/
2、下载词库:http://code.google.com/p/mmseg4j/downloads/detail?name=data.zip&can=2&q
3、将解压后的mmseg4j-1.8.5目录下的mmseg4j-all-1.8.5.jar拷贝到Tomcat的webapps/solr/WEB-INF/lib目录下。
4、添加词库:在D:/solr/apache-solr-3.5.0/example/solr目录下新建dic文件夹,将解压后的data目录下的words.dic拷贝到D:/solr/apache-solr-3.5.0/example/solr/dic目录下。
5、 更改schema.xml(D:/solr/apache-solr-3.5.0/example/solr/conf/)文件,使分词器起到作用。
在schema.xml的<types>、<fields>和部分新增如下配置:
注:dicPath=" "是你的词库路径。
<!--mmseg4j field types-->
<fieldType name="textComplex" class="solr.TextField" positionIncrementGap="100" >
<analyzer>
<tokenizer class="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory" mode="complex" dicPath="D:/solr/apache-solr-3.5.0/example/solr/dic"/>
<filter class="solr.LowerCaseFilterFactory"/>
</analyzer>
</fieldType>
<fieldType name="textMaxWord" class="solr.TextField" positionIncrementGap="100" >
<analyzer>
<tokenizer class="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory" mode="max-word" dicPath="D:/solr/apache-solr-3.5.0/example/solr/dic"/>
<filter class="solr.LowerCaseFilterFactory"/>
</analyzer>
</fieldType>
<fieldType name="textSimple" class="solr.TextField" positionIncrementGap="100" >
<analyzer>
<tokenizer class="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory" mode="simple" dicPath="D:/solr/apache-solr-3.5.0/example/solr/dic"/>
<filter class="solr.LowerCaseFilterFactory"/>
</analyzer>
</fieldType>
<!-- mmseg4j field -->
<field name="simple" type="textSimple" indexed="true" stored="true" multiValued="true"/>
<field name="complex" type="textComplex" indexed="true" stored="true" multiValued="true"/>
<field name="text_mmseg4j" type="textMaxWord" indexed="true" stored="true" multiValued="true"/>
<!-- mmseg4j copyField -->
<copyField source="simple" dest="text_mmseg4j"/>
<copyField source="complex" dest="text_mmseg4j"/>
重启你的tomcat。
访问:http://localhost:8080/solr/admin/analysis.jsp可以看 mmseg4j 的分词效果。在 Field 的下拉菜单选择 name,然后在应用输入 complex。分词的结果,如下图:
好了,可以运行起来了,那就添加个文档试下,在 解压后的D:/solr/apache-solr-3.5.0/example/exampledocs目录下创建 mmseg4j-solr-demo-doc.xml 文档,内容如下:
<add>
<doc>
<field name="id">1</field>
<field name="text">高效、灵活的缓存功能,垂直搜索功能。</field>
</doc>
<doc>
<field name="id">2</field>
<field name="text"> Solr是一个高性能,采用Java5开发,基于Lucene的全文搜索服务器。</field>
</doc>
<doc>
<field name="id">3</field>
<field name="text"> 独立的企业级搜索应用服务器</field>
</doc>
</add>
注意:使用的字段name必须在solr的配置文件schem.xml增加
下(id、title)一样
然后在 cmd 下运行 post.jar,如下:
D:\solr\apache-solr-3.5.0\example\exampledocs>java -Durl=http://localhost:8080/
solr/update -Dcommit=yes -jar post.jar mmseg4j-solr-demo-doc.xml
注意:mmseg4j-solr-demo-doc.xml 要是 UTF-8 格式,不然提交后会乱码。还有在查询中文时需要把tomcat设置成URIEncoding="UTF-8";
查看是否有数据,访问:http://localhost:8080/solr/admin/ 在Query String: 中输入“高性能”
显示如下图所示:
三、Solr将数据库做成索引数据源(以mysql为例)
1、 在solrconfig.xml中配置导入数据功能(D:\solr\apache-solr-3.5.0\example\solr\conf下)
<requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">
<lst name="defaults">
<str name="config">D:\solr\apache-solr-3.5.0\example\solr\conf\db\db-data-config.xml</str>
</lst>
</requestHandler>
2、 添加一个数据源db-data-config.xml (D:\solr\apache-solr-3.5.0\example\solr\conf\db下)
<dataConfig>
<dataSource type="JdbcDataSource" driver="com.mysql.jdbc.Driver" url="jdbc:mysql://localhost:3306/solr" user="root" password="root"/>
<document name="messages">
<entity name="user" transformer="ClobTransformer" query="select * from t_user">
<field column="id" name="id" />
<field column="name" name="name"/>
<field column="title" name="title"/>
</entity>
</document>
</dataConfig>
CREATE TABLE t_user
(
id VARCHAR(255) PRIMARY KEY,
name VARCHAR(10) NOT NULL,
title VARCHAR(10)
);
3、放入mysql驱动包 (Tomcat的webapps/solr/WEB-INF/lib目录下)
4、创建索引
http://localhost:8080/solr/dataimport?command=full-import
5、 查看是否成功,访问:http://localhost:8080/solr/admin/ 在Query String: 中输入“sunshan”、“孙闪”
如下图:
注:保证与数据库连接正确
四、Solr多核(MultiCore)配置
1、 拷贝multicore(D:\solr\apache-solr-3.5.0\example下)下的core0、core1、exampledocs到solr(D:\solr\apache-solr-3.5.0\example\solr下)目录下
2、 更改solr.xml(D:\solr\apache-solr-3.5.0\example\solr下)配置
添加:
<core name="core0" instanceDir="core0" dataDir="D:/solr/apache-solr-3.5.0/example/solr/core0/data"/>
<core name="core1" instanceDir="core1" dataDir="D:/solr/apache-solr-3.5.0/example/solr/core1/data"/>
配置后:
<cores adminPath="/admin/cores">
<core name="collection1" instanceDir="." />
<core name="core0" instanceDir="core0" dataDir="D:/solr/apache-solr-3.5.0/example/solr/core0/data"/>
<core name="core1" instanceDir="core1" dataDir="D:/solr/apache-solr-3.5.0/example/solr/core1/data"/>
</cores>
3、 启动tomcat 访问:
五、多核数据库索引:
同上配置
注:出现错误Error loading class 'org.apache.solr.handler.dataimport.DataImportHandler'
需配置(solrconfig.xml里)
<!-- start -->
<lib dir="D:/solr/apache-solr-3.5.0/contrib/extraction/lib" />
<lib dir="D:/solr/apache-solr-3.5.0/dist/" regex="apache-solr-cell-\d.*\.jar" />
<lib dir="D:/solr/apache-solr-3.5.0/dist/" regex="apache-solr-clustering-\d.*\.jar" />
<lib dir="D:/solr/apache-solr-3.5.0/dist/" regex="apache-solr-dataimporthandler-\d.*\.jar" />
<lib dir="D:/solr/apache-solr-3.3.0/contrib/clustering/lib/" />
<lib dir="/total/crap/dir/ignored" />
<!-- end -->
dir注意路径
重启tomcat
创建索引:http://localhost:8080/solr/core1/dataimport?command=full-import
http://localhost:8080/solr/dataimport?command=full-import 这 url 告诉 solr 做全量索引,做索引中会删除所有数据。当然也可以用 clean=false 参数来告诉它不删除,但也会删除相同id的(在 scheam.xml 的uniqueKey 声明的)。http://localhost:8080/solr/dataimport?command=full-import&clean=false
批量导入command=delta-import&commit=y
重新装载配置文件command=reload-config
终止导入command=abort
转自:http://blog.csdn.net/kbeanwu/article/details/7873391
相关问答
更多-
MYSQL 数据库中数据的订单越来越多 打开后台订单列表的时候很慢[2023-07-31]
索引 -
nginx环境下 怎么设置对搜索引擎返回503[2023-01-11]
if ($http_user_agent ~* (baiduspider|googlebot|soso|bing|sogou|yahoo|sohu-search|yodao|YoudaoBot|robozilla|msnbot|MJ12bot|NHN|Twiceler)){ return 503; } //大概意思就是http_user_agent中,含有列出的字符就返回503。例子中是常见的搜索引擎,如百度谷歌等,看你具体情况增删,用 | 分隔。 -
Mysql搜索引擎有那些?[2021-12-22]
全文搜索 MATCH() 函数 全文索引在 MySQL 中是一个 FULLTEXT 类型索引。FULLTEXT 索引用于 MyISAM 表,可以在 CREATE TABLE 时或之后使用 ALTER TABLE 或 CREATE INDEX 在 CHAR、VARCHAR 或 TEXT 列上创建。对于大的数据库,将数据装载到一个没有 FULLTEXT 索引的表中,然后再使用 ALTER TABLE (或 CREATE INDEX) 创建索引,这将是非常快的。将数据装载到一个已经有 FULLTEXT 索引的表中 ... -
做一个lucene搜索引擎[2023-05-05]
首先要弄清楚是自己的站内检索,还是对网络的检索?如果仅仅检索自己本站里面的东西很简单,在apache上把lucene下载下来,里面有个很好的例子,再去找找相关资料就行了,如果想对中文分词做好点,去看看庖丁分词法. -
我建议你阅读全文搜索引擎与数据库管理系统 。 一行代码将是:如果大部分用例是全文搜索,请使用Lucene。 如果大部分用例都是连接和其他关系操作,则使用数据库。 您可以将混合解决方案用于更复杂的用例。 I suggest you read Full Text Search Engines vs. DBMS. A one-liner would be: If the bulk of your use case is full text search, use Lucene. If the bulk of yo ...
-
Mysql搜索引擎有那些?[2022-06-18]
全文搜索 MATCH() 函数 全文索引在 MySQL 中是一个 FULLTEXT 类型索引。FULLTEXT 索引用于 MyISAM 表,可以在 CREATE TABLE 时或之后使用 ALTER TABLE 或 CREATE INDEX 在 CHAR、VARCHAR 或 TEXT 列上创建。对于大的数据库,将数据装载到一个没有 FULLTEXT 索引的表中,然后再使用 ALTER TABLE (或 CREATE INDEX) 创建索引,这将是非常快的。将数据装载到一个已经有 FULLTEXT 索引的表中 ... -
关于java搜索引擎[2022-02-16]
lucene的效率没有问题,你可以100W条记录的索引放在一台机器上,用nutch分开检索的算法,或者用hadoop存储索引,自己写一个indexsearcher,但是需要注意各个机器上的结果是本地最优不是全局最优的结果,如果想全局最优的结果还得采用全局频率计数(Nutch现在有没有我不清楚),或者放开各个机器返回结果的数量,从算法理论的角度上最大可能的获得最优解。100W记录的响应我测试过,应该可以满足要求。等你遇到什么问题,可以再联系,lucene后面的基准测试你也可以看看。 老吴 -
搜索引擎的数据库(Database for a search engine)[2022-12-01]
看看Cloudant ,它是Apache CouchDB的集群/可扩展部署。 CouchDB是NoSQL计划的一部分(它使用文件系统而不是由数据库服务器抽象存储)并且被告知可以很好地扩展,特别是对于Cloudant,尽管我自己没有尝试过。 显然,对于任何DODB(面向文档的数据库,如Apache所说),您将不得不将您的问题从单独的内存和表索引转移到包含存储容量,尽管使用文件系统意味着您通常能够使用更少的内存(因为较少的信息存储在内存中)。 这是一个广泛的概括,但你明白了。 Take a look at Cl ... -
这是我以前的工作: 在服务层中,在使用Hibernate持久化实体后,使用Jackson转换实体并将其发送到Elasticsearch。 当然,你可以在repo层(DAO Layer)中做到这一点,但我不太喜欢它。 顺便说一下,如果您使用的是Spring,请查看Spring工厂的Project for Elasticsearch 。 Here is what I did in my former job: In the service layer, after persisting entity with ...
-
取决于您想要操作的级别。 由于您已经在Java应用程序中,因此使用Lucene API,索引数据然后再次使用它进行搜索非常容易。 您可以使用Solr做任何事情,你可以使用Lucene,但可能有更多的逻辑和胶水代码。 是的,看看http://wiki.apache.org/solr/Solrj#EmbeddedSolrServer Depends on the level at which you want to operate. Since you are already inside a Java app ...