知识点
相关文章
更多最近更新
更多利用SOLR搭建企业搜索平台 之八(solr 实现去掉重复的搜索结果,打SOLR-236_collapsing.patch补丁)
2019-03-27 01:02|来源: 网路
引用Bory.Chan
http://blog.chenlb.com/2009/04/apply-solr-collapsing-patch-remove-duplicate-result.html
打上SOLR-236_collapsing.patch补丁,实现 solr 搜索结果折叠、除去重复的搜索结果,可以实现类似google搜索结果的“站内的其它相关信息 ”。solr collapsing patch 是用 hash 某个字段来实现折叠重复结果的。下面我演示下应用这个补丁并搜索试用下。
其实 solr 上已经有了这功能的实现:solr 1.3 collapse patch, 请看: https://issues.apache.org/jira/browse/SOLR-236,我这里下载是了新的: https://issues.apache.org/jira/secure/attachment/12403590/SOLR-236_collapsing.patch。
下载好后就需要打上补丁了,先准备一份源码在D:/apache-solr-1.3.0目录下。没有可以去下载:http: //archive.apache.org/dist/lucene/solr/1.3.0/apache-solr-1.3.0.zip。把SOLR- 236_collapsing.patch文件放在D:/apache-solr-1.3.0目录下, 打补丁有我知道的有两种:用linux工具 patch(windows 下有 cygwin);用 ant 的 patch。
windows cygwin 的 patch:
ant patch,把下面的内容保存为 patch-build.xml 放到 D:\apache-solr-1.3.0 目录下:
ant 打补丁:
源码打上了补丁,然后用 ant 构建源码:
D:\apache-solr-1.3.0>ant dist
在 D:/apache-solr-1.3.0/dist 目录下可以找到编译好的 solr 了。然后把 solr 放到 tomcat 中去运行它,把下面的内容保存在 TOMCAT_HOME/conf/Catalina/localhost/solr.xml 文件中:
修改 D:\apache-solr-1.3.0\example\solr\conf\solrconfig.xml 使 solr 可以支持 collapse。
定义搜索组件,在 QueryComponent 附近:
<searchComponent name="collapse" class="org.apache.solr.handler.component.CollapseComponent" />
定义一个 handler 使用上面的搜索组件:
安装启动 tomcat,现在提交一些数据给它,用官方的示例数据就可以了。运行:
http://localhost:8080/solr/admin/stats.jsp 有结果了? 有了。然后开始查询试试看。
查询:http://localhost:8080/solr/select/?q=*%3A*&indent=on& qt=collapse&collapse=true&collapse.field=popularity&collapse.threshold=1
结果:
上面的 count 下的内容(它的顺序是result/doc的顺序),表示 popularity=6 相同的结果还有 4 个,与 popularity=1 相同的结果还有 1 个,依此类推。这样就可以显示给用户的界面里提示“相同的其它内容不有N个”。
使用的参数有:
#启用 collapse 组件
collapse=true
#用那个字段来 hash 去除重量内容
collapse.field=popularity
#要结果中可以最多出现几个相同的文档
collapse.threshold=1
当然还有其它参数,请看:org.apache.solr.common.params.CollapseParams 类。
转自:http://www.cnblogs.com/wycg1984/archive/2009/09/16/1567614
打上SOLR-236_collapsing.patch补丁,实现 solr 搜索结果折叠、除去重复的搜索结果,可以实现类似google搜索结果的“站内的其它相关信息 ”。solr collapsing patch 是用 hash 某个字段来实现折叠重复结果的。下面我演示下应用这个补丁并搜索试用下。
其实 solr 上已经有了这功能的实现:solr 1.3 collapse patch, 请看: https://issues.apache.org/jira/browse/SOLR-236,我这里下载是了新的: https://issues.apache.org/jira/secure/attachment/12403590/SOLR-236_collapsing.patch。
下载好后就需要打上补丁了,先准备一份源码在D:/apache-solr-1.3.0目录下。没有可以去下载:http: //archive.apache.org/dist/lucene/solr/1.3.0/apache-solr-1.3.0.zip。把SOLR- 236_collapsing.patch文件放在D:/apache-solr-1.3.0目录下, 打补丁有我知道的有两种:用linux工具 patch(windows 下有 cygwin);用 ant 的 patch。
windows cygwin 的 patch:
- D:\apache-solr-1.3.0>patch -p0 < SOLR-236_collapsing.patch
- patching file src/test/org/apache/solr/search/TestDocSet.java
- patching file src/java/org/apache/solr/search/CollapseFilter.java
- patching file src/java/org/apache/solr/search/DocSet.java
- patching file src/java/org/apache/solr/search/NegatedDocSet.java
- patching file src/java/org/apache/solr/search/SolrIndexSearcher.java
- patching file src/java/org/apache/solr/common/params/CollapseParams.java
- patching file src/java/org/apache/solr/handler/component/CollapseComponent.java
- <?xml version="1.0" encoding="UTF-8"?>
- <project name="solr-patch" default="apply-patch" basedir=".">
- <target name="apply-patch" description="Apply a patch file. Set -Dpatch.file">
- <patch patchfile="${patch.file}" strip="0"/>
- </target>
- </project>
ant 打补丁:
- D:\apache-solr-1.3.0>ant -Dpatch.file=SOLR-236_collapsing.patch -f patch-build.xml
- Buildfile: patch-build.xml
- apply-patch:
- [patch] patching file src/test/org/apache/solr/search/TestDocSet.java
- [patch] patching file src/java/org/apache/solr/search/CollapseFilter.java
- [patch] patching file src/java/org/apache/solr/search/DocSet.java
- [patch] patching file src/java/org/apache/solr/search/NegatedDocSet.java
- [patch] patching file src/java/org/apache/solr/search/SolrIndexSearcher.java
- [patch] patching file src/java/org/apache/solr/common/params/CollapseParams.java
- [patch] patching file src/java/org/apache/solr/handler/component/CollapseComponent.java
- BUILD SUCCESSFUL
- Total time: 0 seconds
D:\apache-solr-1.3.0>ant dist
在 D:/apache-solr-1.3.0/dist 目录下可以找到编译好的 solr 了。然后把 solr 放到 tomcat 中去运行它,把下面的内容保存在 TOMCAT_HOME/conf/Catalina/localhost/solr.xml 文件中:
- <Context docBase="D:\apache-solr-1.3.0\dist\apache-solr-1.3.0.war" reloadable="true" >
- <Environment name="solr/home" type="java.lang.String" value="D:\apache-solr-1.3.0\example\solr" override="true" />
- </Context>
修改 D:\apache-solr-1.3.0\example\solr\conf\solrconfig.xml 使 solr 可以支持 collapse。
定义搜索组件,在 QueryComponent 附近:
<searchComponent name="collapse" class="org.apache.solr.handler.component.CollapseComponent" />
定义一个 handler 使用上面的搜索组件:
- <requestHandler name="collapse" class="solr.SearchHandler">
- <!-- default values for query parameters -->
- <lst name="defaults">
- <str name="echoParams">explicit</str>
- </lst>
- <arr name="components">
- <str>collapse</str>
- <str>debug</str>
- </arr>
- </requestHandler>
- D:\apache-solr-1.3.0\example\exampledocs>java -Durl=http://localhost:8080/solr/update -Dcommit=yes -jar post.jar *.xml
- SimplePostTool: version 1.2
- SimplePostTool: WARNING: Make sure your XML documents are encoded in UTF-8, other encodings are not currently supported
- SimplePostTool: POSTing files to http://localhost:8080/solr/update..
- SimplePostTool: POSTing file hd.xml
- SimplePostTool: POSTing file ipod_other.xml
- SimplePostTool: POSTing file ipod_video.xml
- SimplePostTool: POSTing file mem.xml
- SimplePostTool: POSTing file monitor.xml
- SimplePostTool: POSTing file monitor2.xml
- SimplePostTool: POSTing file mp500.xml
- SimplePostTool: POSTing file sd500.xml
- SimplePostTool: POSTing file solr.xml
- SimplePostTool: POSTing file spellchecker.xml
- SimplePostTool: POSTing file utf8-example.xml
- SimplePostTool: POSTing file vidcard.xml
- SimplePostTool: COMMITting Solr index changes..
查询:http://localhost:8080/solr/select/?q=*%3A*&indent=on& qt=collapse&collapse=true&collapse.field=popularity&collapse.threshold=1
结果:
- <?xml version="1.0" encoding="UTF-8"?>
- <response>
- <lst name="responseHeader">
- <int name="status">0</int>
- <int name="QTime">0</int>
- <lst name="params">
- <str name="collapse.field">popularity</str>
- <str name="fl">id</str>
- <str name="collapse.threshold">1</str>
- <str name="indent">on</str>
- <str name="q">*:*</str>
- <str name="qt">collapse</str>
- <str name="collapse">true</str>
- </lst>
- </lst>
- <lst name="collapse_counts">
- <str name="field">popularity</str>
- <lst name="doc">
- <int name="SP2514N">4</int>
- <int name="F8V7067-APL-KIT">1</int>
- <int name="MA147LL/A">1</int>
- <int name="TWINX2048-3200PRO">1</int>
- <int name="VS1GB400C3">3</int>
- <int name="1">10</int>
- </lst>
- <lst name="count">
- <int name="6">4</int>
- <int name="1">1</int>
- <int name="10">1</int>
- <int name="5">1</int>
- <int name="7">3</int>
- <int name="0">10</int>
- </lst>
- <str name="debug">HashDocSet(6) Time(ms): 0/0/0/0</str>
- </lst>
- <result name="response" numFound="6" start="0">
- <doc>
- <str name="id">SP2514N</str>
- </doc>
- <doc>
- <str name="id">F8V7067-APL-KIT</str>
- </doc>
- <doc>
- <str name="id">MA147LL/A</str>
- </doc>
- <doc>
- <str name="id">TWINX2048-3200PRO</str>
- </doc>
- <doc>
- <str name="id">VS1GB400C3</str>
- </doc>
- <doc>
- <str name="id">1</str>
- </doc>
- </result>
- </response>
- 可以看到 collapse_counts 相关的输出:
- <lst name="collapse_counts">
- <str name="field">popularity</str>
- <lst name="doc">
- <int name="SP2514N">4</int>
- ...
- </lst>
- <lst name="count">
- <int name="6">4</int>
- <int name="1">1</int>
- <int name="10">1</int>
- <int name="5">1</int>
- <int name="7">3</int>
- <int name="0">10</int>
- </lst>
- <str name="debug">HashDocSet(6) Time(ms): 0/0/0/0</str>
- </lst>
使用的参数有:
#启用 collapse 组件
collapse=true
#用那个字段来 hash 去除重量内容
collapse.field=popularity
#要结果中可以最多出现几个相同的文档
collapse.threshold=1
当然还有其它参数,请看:org.apache.solr.common.params.CollapseParams 类。
转自:http://www.cnblogs.com/wycg1984/archive/2009/09/16/1567614
相关问答
更多-
加快SOLR搜索(Speeding up SOLR search)[2023-08-06]
你也可以检查下面: - SolrPerformanceFactors ImproveSearchingSpeed ImproveIndexingSpeed SolrCaching 在-七致命-罪-OF-的Solr You can also check below :- SolrPerformanceFactors ImproveSearchingSpeed ImproveIndexingSpeed SolrCaching the-seven-deadly-sins-of-solr -
我能够成功地构建代码。 common.compile-core:[javac]将133个源文件编译为\ lucene-solr-multi-request-handler \ lucene \ build \ test-framework \ classes \ java [javac] error:error reading \ lucene-solr-multi-请求处理程序\ lucene的\测试框架\ lib中\蚂蚁1.8.2.jar; 打开zip文件时出错[javac] 1错误 这个错误是由于an ...
-
在索尔搜索(Searching in Solr)[2022-07-20]
尝试使用olr.WordDelimiterFilterFactory 测试用例:您需要将字段复制到默认搜索字段(在本例中为文本),或者使用要搜索的字段限定查询: .../select?q=city:Nashua&wt=xml&indent=true 要阅读的内容: 默认搜索字段 复制字段 两者都记录在这里: https://wiki.apache.org/solr/SchemaXml You need to either copy your fields into the default search field (in this case text) or qualify your ...在SOLR中搜索任何数字(search for any number in SOLR)[2022-12-16]
如果您正在查找包含只是一个数字的标记的所有文档,则应该使用正则表达式搜索: q=field:/[0-9]+/ 如果文本中包含其他字符中的数字(但这些字符不会与您的示例匹配)中的令牌,则可以在匹配数字之前和之后添加通配符: q=field:/.*[0-9]+.*/ If you're looking for all documents that contain a token that just is a number, a regular expression search should work: q ...回答我自己的问题:是的,还有另一种选择。 如果100% 在requestHandler中设置为100%,这等于“AND”,而0%等于“OR”。 我有这个设置,似乎它是在旧版本的Solr中完成的方式。 抱歉给你带来不便。 to answer my own question: yes, there is an other option. If100% is set in the requestHandler to 100 ...Solr MultiCore搜索(Solr MultiCore Search)[2023-02-19]
Solr核心本质上是在应用程序服务器的相同上下文中运行的多个索引。 你可以认为它为每个用户安装了1个war文件 。 每个核心都以名称分隔,因此您必须自己跟踪哪个网址对哪个用户有效。 例如, http://host.com/solr/usercore1/select?q=test http://host.com/solr/usercore2/select?q=test 它基于config solr.xml :尝试这个 http://localhost:8887/solr/souro_core2/select?q=name:souro&indent=true&shards=shard1,shard2 这应该工作如果你有收藏名称souro_core2有两个分片。 Finally i got my answer. In both shards there was an "id" field and both were containing value 1. But after doing bit research ...Apache solr搜索问题(Apache solr search issue)[2023-07-21]
嗯好吃 首先,对于所有这些问题,使用Solr分析工具是你的朋友。 其次,请记住,如果查询和术语是字符相同的100%字符,则Solr仅匹配。 对于以下过滤器最简单的方法是从HTML中提取数据并索引提取的数据。 您可以使用HTMLStripCharFilterFactory从输入流中剥离HTML。