知识点
相关文章
更多最近更新
更多调研：开源搜索引擎
2019-03-27 01:01|来源: 网路
本文档是对现有的开源的搜索引擎的一个简单介绍
1. Lucene
Lucene的开发语言是java, 也是java家族中最为出名的一个开源搜索引擎, 在java世界中已经是标准的全文检索程序, 它提供了完整的查询引擎和索引引擎, 没有中文分词引擎, 需要自己去实现, 因此用Lucene去做一个搜素引擎需要自己去架构.另外它不支持实时搜索, 但linkedin和twitter有分别对Lucene改进的实时搜素. 其中Lucene有一个C++移植版本叫CLucene, CLucene因为使用C++编写, 所以理论上要比lucene快.
官方主页: http://lucene.apache.org/
CLucene官方主页: http://sourceforge.net/projects/clucene/
Sphinx是一个用C++语言写的开源搜索引擎,也是现在比较主流的搜索引擎之一, 在建立索引的事件方面比Lucene快50%, 但是索引文件比Lucene要大一倍, 因此Sphinx在索引的建立方面是空间换取事件的策略, 在检索速度上, 和lucene相差不大, 但检索精准度方面Lucene要优于Sphinx,另外在加入中文分词引擎难度方面, Lucene要优于Sphinx.其中Sphinx支持实时搜索, 使用起来比较简单方便.
官方主页: http://sphinxsearch.com/about/sphinx/
3. Xapian
Xapian是一个用C++编写的全文检索程序,它的api和检索原理和lucene在很多方面都很相似, 算是填补了lucene在C++中的一个空缺.
官方主页: http://xapian.org/
4. Nutch
Nutch是一个用java实现的开源的web搜索引擎, 包括爬虫crawler, 索引引擎,查询引擎. 其中Nutch是基于Lucene的, Lucene为Nutch提供了文本索引和搜索的API.
对于应该使用Lucene还是使用Nutch,应该是如果你不需要抓取数据的话, 应该使用Lucene, 最常见的应用是: 你有数据源, 需要为这些数据提供一个搜索页面, 在这种情况下, 最好的方式是直接从数据库中取出数据, 并用Lucene API建立索引.
官方主页: http://nutch.apache.org/
DataparkSearch是一个用C语言实现的开源的搜索引擎. 其中网页排序是采用神经网络模型. 其中支持HTTP, HTTPS, FTP,NNTP等下载网页.包括索引引擎, 检索引擎和中文分词引擎(这个也是唯一的一个开源的搜索引擎里有中文分词引擎).能个性化定制搜索结果, 拥有完整的日志记录.
官方主页: http://www.dataparksearch.org/
6. Zettair
Zettair是根据Justin Zobel的研究成果为基础的全文检索实验系统.它是用C语言实现的. 其中Justin Zobel在全文检索领域很有名气, 是业界第一个系统提出倒排序索引差分压缩算法的人, 倒排列表的压缩大大提高了检索和加载的性能, 同时空间膨胀率也缩小到相当优秀的水平. 由于Zettair是源于学术界, 代码是由RMIT University的搜索引擎组织写的, 因此它的代码简洁精炼, 算法高效, 是学习倒排索引经典算法的非常好的实例. 其中支持linux, windows, mac os等系统.
官方主页: http://www.seg.rmit.edu.au/zettair/about.html
7. Indri
Indri是一个用C语言和C++语言写的全文检索引擎系统, 是由University of Massachusetts和Carnegie Mellon University合作推出的一个开源项目. 特点是跨平台, API接口支持Java, PHP, C++.
官方主页: http://www.lemurproject.org/indri/
8. Terrier
Terrier是由School of Computing Science, Universityof Glasgow用java开发的一个全文检索系统.
官方主页: http://terrier.org/
9. Galago
Galago是一个用java语言写的关于文本搜索的工具集. 其中包括索引引擎和查询引擎, 还包括一个叫TupleFlow的分布式计算框架(和google的MapReduce很像).这个检索系统支持很多Indri查询语言.
官方主页: http://www.galagosearch.org/
10. Zebra
Zebra是一个用C语言实现的检索程序, 特点是对大数据的支持, 支持EMAIL, XML, MARC等格式的数据.
官方主页: https://www.indexdata.com/zebra
11. Solr
Solr是一个用java开发的独立的企业级搜索应用服务器, 它提供了类似于Web-service的API接口, 它是基于Lucene的全文检索服务器, 也算是Lucene的一个变种, 很多一线互联网公司都在使用Solr, 也算是一种成熟的解决方案.
官方主页: http://lucene.apache.org/solr/
12. Elasticsearch
Elasticsearch是一个采用java语言开发的, 基于Lucene构造的开源, 分布式的搜索引擎. 设计用于云计算中, 能够达到实时搜索,稳定可靠. Elasticsearch的数据模型是JSON.
官方主页: http://www.elasticsearch.org/
13. Whoosh
Whoosh是一个用纯python写的开源搜索引擎.
官方主页: https://bitbucket.org/mchaput/whoosh/wiki/Home
转自：http://www.cnblogs.com/xinyuyuanm/archive/2013/03/30/2990565
相关问答
更多-
最好的网盘搜索引擎？[2022-05-18]
“西林街”、“盘搜一下”这两个网盘搜索速度快，资源丰富，我所钟爱用的。 -
Mysql搜索引擎有那些？[2021-12-22]
全文搜索 MATCH() 函数 全文索引在 MySQL 中是一个 FULLTEXT 类型索引。FULLTEXT 索引用于 MyISAM 表，可以在 CREATE TABLE 时或之后使用 ALTER TABLE 或 CREATE INDEX 在 CHAR、VARCHAR 或 TEXT 列上创建。对于大的数据库，将数据装载到一个没有 FULLTEXT 索引的表中，然后再使用 ALTER TABLE (或 CREATE INDEX) 创建索引，这将是非常快的。将数据装载到一个已经有 FULLTEXT 索引的表中 ... -
做一个lucene搜索引擎[2023-05-05]
首先要弄清楚是自己的站内检索,还是对网络的检索?如果仅仅检索自己本站里面的东西很简单,在apache上把lucene下载下来,里面有个很好的例子,再去找找相关资料就行了,如果想对中文分词做好点,去看看庖丁分词法. -
自己写一个搜索引擎难度大不大[2023-01-15]
http://www.ir.iit.edu/~dagr/cs529/files/ir_book/CHAP%204%20Inverted%20Index.PDF 给出了检索实现的简单代码，你可以了解一下。入手不难。 lucene的东西你可以看《lucene分析与应用》，这是我和家立写的，底层你就差不多了。 但是这不是一个完整的搜索引擎，你还需要看Nutch的网页抓取过程，建议看《Java机器人编程》这本书。 老吴 -
怎么查看域名在搜索引擎上的记录[2023-03-18]
1、首先，到域名查询中心，比如万网、新网或者能查询域名所有者的地方去查询域名的注册信息，是否以前被注册过(就是我们常用的Whois查询)。如果域名曾经被注册过，我们就需要关心一下这个域名是否有过不良记录。 2、通过在Google中(site:域名)，看下是否有记录，然后查看下反向链接，利用(link:域名)或者(domain:域名)可以到一些提供查询反向连接的网站去查询或者自己到搜索引擎利用命令查询。如果存在反向连接，而没有该站点被搜索引擎收录，那么这个域名很有可能被K过了，也就是存在不良记录。 3、直接输 ... -
搜索引擎的工作原理是什么？[2023-09-28]
在浩如烟海的Internet上，特别是其上的Web（World Wide Web万维网）上，不会搜索，就不会上网。网虫朋友们，你了解搜索引擎吗？它们是怎么工作的？你都使用哪些搜索引擎？今天我就和大家聊聊搜索引擎的话题。 一、搜索引擎的分类 获得网站网页资料，能够建立数据库并提供查询的系统，我们都可以把它叫做搜索引擎。按照工作原理的不同，可以把它们分为两个基本类别：全文搜索引擎（FullText Search Engine）和分类目录Directory）。 全文搜索引擎的数据库是依靠一个叫“网络机器人（Spi ... -
搜索引擎的工作原理?书籍[2022-02-19]
这方面的书还是比较多的，我所看过的有《搜索引擎技术》、《个性化搜索引擎原理与技术》、《搜索引擎原理、实践与应用》。此外还有很多基于开源软件如Lucene、nutch的开发搜索引擎的书籍，其中也介绍了不少关于原理方面的东西，而且更加面向应用。 -
Mysql搜索引擎有那些？[2022-06-18]
全文搜索 MATCH() 函数 全文索引在 MySQL 中是一个 FULLTEXT 类型索引。FULLTEXT 索引用于 MyISAM 表，可以在 CREATE TABLE 时或之后使用 ALTER TABLE 或 CREATE INDEX 在 CHAR、VARCHAR 或 TEXT 列上创建。对于大的数据库，将数据装载到一个没有 FULLTEXT 索引的表中，然后再使用 ALTER TABLE (或 CREATE INDEX) 创建索引，这将是非常快的。将数据装载到一个已经有 FULLTEXT 索引的表中 ... -
关于java搜索引擎[2022-02-16]
lucene的效率没有问题，你可以100W条记录的索引放在一台机器上，用nutch分开检索的算法，或者用hadoop存储索引，自己写一个indexsearcher，但是需要注意各个机器上的结果是本地最优不是全局最优的结果，如果想全局最优的结果还得采用全局频率计数（Nutch现在有没有我不清楚），或者放开各个机器返回结果的数量，从算法理论的角度上最大可能的获得最优解。100W记录的响应我测试过，应该可以满足要求。等你遇到什么问题，可以再联系，lucene后面的基准测试你也可以看看。 老吴 -
求Nutch搜索引擎开源代码（最好是c++写的）[2023-03-03]
完全没有必要，没有牵涉到硬件与低层。用C++反而影响开发进程。 支持原创!!