Solr Performance Factors(Solr 性能因素)

2019-03-27 01:27|来源: 网路

Schema Design Considerations(数据模型方面考虑)
indexed fields
indexed fields 的数量将会影响以下的一些性能:
索引时的时候的内存使用量
索引段的合并时间
优化时间
索引的大小
我们可以通过 将 omitNorms=“true” 来减少indexed fields数量增加所带来的影响。

stored fields
Retrieving the stored fields 确实是一种开销。这个开销,受每个文档所存储的字节影响很大。每个文档的所占用的空间越大,文档就显的更稀疏,这样从硬盘中读取数据,就需要更多的i/o操作(通常,我们在存储比较大的域的时候,就会考虑这样的事情,比如存储一篇文章的文档。)
可以考虑将比较大的域放到solr外面来存储。如果你觉得这样做会有些别扭的话,可以考虑使用压缩的域,但是这样会加重cpu在存储和读取域的时候的负担。不过这样却是可以较少i/0的负担。
如果,你并不是总是使用 stored fields 的话,可以使用stored field的延迟加载,这样可以节省很多的性能,尤其是使用compressed field 的时候。

Configuration Considerations(配置方面考虑)

mergeFactor
这个是合并因子,这个参数大概决定了segment(索引段)的数量。
合并因子这个值告诉lucene,在什么时候,要将几个segment合并成为一个segment, 合并因子就像是一个数字系统的基数一样。

比如说,如果你将合并因子设成10,那么每往索引中添加1000个文档的时候,就会创建一个新的索引段。当第10个大小为1000的索引段添加进来的时候,这十个索引段就会被合并成一个大小为10,000的索引段。当十个大小为10,000的索引段生成的时候,它们就会被合并成一个大小为100,000的索引段。如此类推下去。

这个值可以在 solrconfig.xml 中的 *mainIndex*中设置。(不用管indexDefaults中设置)
mergeFactor Tradeoffs
较高的合并因子
会提高索引速度
较低频率的合并,会导致 更多的索引文件,这会降低索引的搜索效率
较低的合并因子
较少数量的索引文件,能加快索引的搜索速度。
较高频率的合并,会降低索引的速度。

Cache autoWarm Count Considerations
当一个新的 searcher 打开的时候,它缓存可以被预热,或者说使用从旧的searcher的缓存的数据来“自动加热”。autowarmCount是这样的一个参数,它表示从旧缓存中拷贝到新缓存中的对象数量。autowarmCount这个参数将会影响“自动预热”的时间。有些时候,我们需要一些折中的考虑,seacher启动的时间和缓存加热的程度。当然啦,缓存加热的程度越好,使用的时间就会越长,但往往,我们并不希望过长的seacher启动时间。这个autowarm 参数可以在solrconfig.xml文件中被设置。
详细的配置可以参考solr的wiki。

Cache hit rate(缓存命中率)
我们可以通过solr的admin界面来查看缓存的状态信息。提高solr缓存的大小往往是提高性能的捷径。当你使用面搜索的时候,你或许可以注意一下filterCache,这个是由solr实现的缓存。
详细的内容可以参考 solrCaching这篇wiki。

Explicit Warming of Sort Fields
如果你有许多域是基于排序的,那么你可以在”newSearcher”和”firstSearcher”event listeners中添加一些明显需要预热的查询,这样FieldCache 就会缓存这部分内容。

Optimization Considerations
优化索引,是我们经常会做的事情,比如,当我们建立好索引,然后这个索引不会再变更的情况,我们就会做一次优化了。
但,如果你的索引经常会改变,那么你就需要好好的考虑下面的因素的。
当越来越多的索引段被加进索引,查询的性能就会降低, lucene对索引段的数量有一个上限的限制,当超过这个限制的时候,索引段可以自动合并成为一个。
在同样没有缓存的情况下,一个没有经过优化的索引的性能会比经过优化的索引的性能少10%……
自动加热的时间将会变长,因为它依赖于搜索。
优化将会对索引的分发产生影响。
在优化期间,文件的大小将会是索引的两倍,不过最终将会回到它原来的大小,或者会更小一点。
优化,会将所有的索引段合并成为一个索引段,所以,优化这个操作其实可以帮助避免“too many files”这个问题,这个错误是由文件系统抛出的。

Updates and Commit Frequency Tradeoffs
如果从机太经常从主机更新的话,从机的性能是会受到影响的。为了避免,由于这个问题而引起的性能下降,我们还必须了解从机是怎样执行更新的,这样我们才能更准确去调节一些相关的参数(commit的频率,spappullers,autowarming/autocount),这样,从机的更新才不会太频繁。
执行commit操作会让solr新生成一个snapshot。如果将postCommit参数设成true的话,optimization也会执行snapShot.
slave上的Snappuller程序一般是在crontab上面执行的,它会去master询问,有没有新版的snapshot。一旦发现新的版本,slave就会把它下载下来,然后snapinstall.
每次当一个新的searcher被open的时候,会有一个缓存预热的过程,预热之后,新的索引才会交付使用。
这里讨论三个有关的参数:
number/frequency of snapshots —-snapshot的频率。
snappullers 是 在crontab中的,它当然可以每秒一次、每天一次、或者其他的时间间隔一次运行。它运行的时候,只会下载slave上没有的,并且最新的版本。
Cache autowarming 可以在solrconfig.xml文件中配置。
如果,你想要的效果是频繁的更新slave上的索引,以便这样看起来比较像“实时索引”。那么,你就需要让snapshot尽可能频繁的运行,然后也让snappuller频繁的运行。这样,我们或许可以每5分钟更新一次,并且还能取得不错的性能,当然啦,cach的命中率是很重要的,恩,缓存的加热时间也将会影响到更新的频繁度。
cache对性能是很重要的。一方面,新的缓存必须拥有足够的缓存量,这样接下来的的查询才能够从缓存中受益。另一方面,缓存的预热将可能占用很长一段时间,尤其是,它其实是只使用一个线程,和一个cpu在工作。snapinstaller太频繁的话,solr slave将会处于一个不太理想的状态,可能它还在预热一个新的缓存,然而一个更新的searcher被opern了。
怎么解决这样的一个问题呢,我们可能会取消第一个seacher,然后去处理一个更新seacher,也即是第二个。然而有可能第二个seacher 还没有被使用上的时候,第三个又过来了。看吧,一个恶性的循环,不是。当然也有可能,我们刚刚预热好的时候就开始新一轮的缓存预热,其实,这样缓存的作用压根就没有能体现出来。出现这种情况的时候,降低snapshot的频率才是硬道理。

Query Response Compression
在有些情况下,我们可以考虑将solr xml response 压缩后才输出。如果response非常大,就会触及NIc i/o限制。
当然压缩这个操作将会增加cpu的负担,其实,solr一个典型的依赖于cpu处理速度的服务,增加这个压缩的操作,将无疑会降低查询性能。但是,压缩后的数据将会是压缩前的数据的6分之一 的大小。然而solr的查询性能也会有15%左右的消耗。
至于怎样配置这个功能,要看你使用的什么服务器而定,可以查阅相关的文档。

Embedded vs HTTP Post

使用embeded 来建立索引,将会比使用xml格式来建立索引快50%。

RAM Usage Considerations(内存方面的考虑)
OutOfMemoryErrors
如果你的solr实例没有被指定足够多的内存的话,java virtual machine也许会抛outof memoryError,这个并不对索引数据产生影响。但是这个时候,任何的 adds/deletes/commits操作都是不能够成功的。
Memory allocated to the Java VM
最简单的解决这个方法就是,当然前提是java virtual machine 还没有使用掉你全部的内存,增加运行solr的java虚拟机的内存。

Factors affecting memory usage(影响内存使用量的因素)
我想,你或许也会考虑怎样去减少solr的内存使用量。
其中的一个因素就是input document的大小。
当我们使用xml执行add操作的时候,就会有两个限制。
document中的field都是会被存进内存的,field有个属性叫maxFieldLength,它或许能帮上忙。
每增加一个域,也是会增加内存的使用的。


转自:http://www.solr.cc/blog/?p=58

相关问答

更多
  • 唯一可以肯定的就是尝试一下。 但是,我期望在索引中节省很少,因为索引每次只包含一次实际字符串,其余的是该文本中字符串位置的数据。 它们不是指数的很大一部分。 过滤器缓存只缓存过滤器查询。 它可能对您的确切用例没有用处,但许多确实有用。 例如,根据国家,语言,产品类型等缩小结果。如果经常使用它们,Solr可以避免重新计算这类事情的查询结果。 实际上,你只需要尝试一下并用探查器进行测量。 如果没有深入了解所使用的数据结构,其他任何内容都是纯粹的SWAG。 你的计算和没有分析的人一样好。 文档缓存仅在计算查询之后 ...
  • 你也可以检查下面: - SolrPerformanceFactors ImproveSearchingSpeed ImproveIndexingSpeed SolrCaching 在-七致命-罪-OF-的Solr You can also check below :- SolrPerformanceFactors ImproveSearchingSpeed ImproveIndexingSpeed SolrCaching the-seven-deadly-sins-of-solr
  • 你可以试试lucene-c-boost。在C ++(通过JNI)中优化的某些Apache Lucene查询的实现,适用于从0到7.8X加速的任何地方。 请参阅https://github.com/mikemccand/lucene-c-boost 。 you may try lucene-c-boost.Optimized implementations of certain Apache Lucene queries in C++ (via JNI) for anywhere from 0 to 7.8X ...
  • 您应该尽量减少导入过程中的提交次数。 即使您在向Solr添加文档时没有定期提交,Solr也会根据solrconfig.xml自动提交设置进行自动提交: 10000 15000 false 增加maxDocs和maxTime ,看看你是否有更好的速度。 ( maxTime以毫秒为单位,因此默认设置仅为15 ...
  • 您在每个查询中都给出了参数rows=2147483647 。 该参数的含义是(取自参考文献) 您可以使用rows参数对查询中的结果进行分页。 该参数指定Solr应一次返回客户端的完整结果集中的最大文档数。 默认值为10.也就是说,默认情况下,Solr一次返回10个文档以响应查询。 因此,您告诉Solr生效,在单个响应中发送查询的所有匹配。 这是你糟糕表现的原因。 当查询“java”时 ,谷歌是否会向您发送所有500.000.000次匹配,不会。 为什么不,性能。 我知道的每一个IR应用程序都会为您提供一个带 ...
  • geographic_facet是一个过滤器。 由于你有fq = ...,这是一个过滤器。 字段名称并不重要。 双引号表示它是标准查询解析器中的精确短语查询。 话虽如此,确切的行为将取决于对该字段所做的架构和分析。 使用Analysis UI页面https://cwiki.apache.org/confluence/display/solr/Analysis+Screen (在solr Admin应用程序中)查看环境中的确切行为。 在进行压力测试时,通常除了solrmeter之外,我们还应该通过JMX或其他 ...
  • 无论您的索引方法如何,您都不需要保留JSON文件。 除非您想重新索引数据,否则您当然可以释放空间。 Solr将内部的所有数据存储在模式中。 如果你有固定的模式,那么定义到模式,你要存储到solr的所有字段以及你想要索引的所有字段。 如果将所有字段定义为存储字段,则即使没有源数据,也可以始终重新编制索引。 这是示例字段声明。 请参阅更多详情。 链接
    您可以只返回每个文档的“id”,然后从MySQL获取这些文档作为永久存储,而不是为每个文档返回400个字段。 因此,对于该示例,如果每次搜索返回25个文档ID,则在您的应用程序中,您可以从MySQL获取25个文档(可以进行并行调用) 根据我的经验,返回更多的字段会增加qTime。 Instead of getting 400 fields back for each document, you can get back just the "id" of each document and then get ...
  • 你玩过solr缓存吗? 随着字段的唯一术语数量变大,您需要相应地增加缓存。 请参阅此链接了解详情。 注意过滤器缓存和字段缓存。 Have you play with the solr cache? As the number of unique terms for a field gets bigger, you need to grow the cache accordingly. See this link for details. Pay attention on the filter cache a ...
  • 我们在Solr 4.10中遇到了这个问题(很少见,5.1)。 在我们的例子中,我们经常编制索引,并且提交开始变得太紧密了。 有时我们的优化命令会比预期的运行时间长一些。 我们通过确保在优化操作开始后至少十分钟没有发生索引或提交来解决它。 我们还自动为我们的缓存增加了更少的查询。 如果您还没有找到它们,以下链接可能对您有用: 重叠onDeckSearchers - Solr邮件列表 Solr Wiki We had this problem with Solr 4.10 (and, very rarely, ...