比如MMapDirectory,借助内存映射文件方式提高性能，但又要减少内存切换的可能，当索引太大的时候，内存映射也需要不断地切换，这样优点也可能变缺点，而之前的NIOFSDirectory实现java NIO的方式提高高并发性能，但又因高并发也会导致IO过多的影响，所以这次可以借助FileSwitchDirectory发挥他们两的优点。

MMapDirectory与NIOFSDirectory的实现差别。

NIOFSDirectory----只是使用了直接内存读取文件缓存方式

@Override
protected void newBuffer(byte[] newBuffer) {
super.newBuffer(newBuffer);
byteBuf = ByteBuffer.wrap(newBuffer);
}

MMapDirectory------使用MMap技术映射文件，默认会映射1G的内存（64位）或者256m（32位系统））

MMapDiretory就是将文件映射到内存中。。使用的是MMap技术
this.buffers[bufNr] = rafc.map(MapMode.READ_ONLY, bufferStart, bufSize);

首先将索引目录里占比例比较小的文件使用MMapDirectory，这样几乎可以全部映射到内存里了。。而占有大比例的文档存储文件交由于NIOFSDirectory方式读取。

这个结合不错呀。。

FileSwitchDirectory实现代码解析

FileSwitchDirectory的代码很简单，因为可以理解为它就是一个Dao的入口也是个控制器，所以它并没有具体的文件操纵实现。

先了解它的构造是：

[java] view plaincopy 
     
   
public FileSwitchDirectory(Set<String> primaryExtensions, Directory primaryDir, Directory secondaryDir, boolean doClose) {  
  this.primaryExtensions = primaryExtensions;  
  this.primaryDir = primaryDir;  
  this.secondaryDir = secondaryDir;  
  this.doClose = doClose;  
  this.lockFactory = primaryDir.getLockFactory();  
}  

首先是文件后缀的集合参数

主要的Directory

次要的Directory

是否关闭的时候调用

所以都是调用对应的Directory获得IndexInput 与IndexOuput

[java] view plaincopy 
     
   
@Override  
  public IndexInput openInput(String name) throws IOException {  
    return getDirectory(name).openInput(name);  
  }  

[java] view plaincopy 
     
   
@Override  
 public IndexOutput createOutput(String name) throws IOException {  
   return getDirectory(name).createOutput(name);  
 }  

通过文件名字取到对应的Directory

[java] view plaincopy 
     
   
private Directory getDirectory(String name) {  
  String ext = getExtension(name);  
  if (primaryExtensions.contains(ext)) {  
    return primaryDir;  
  } else {  
    return secondaryDir;  
  }  
}  

solr使用的DirectoryFactory实现

[java] view plaincopy 
     
   
/** 
 *  
 *  
 * 支持某些后缀文件不作映射优化，比如去掉fdt,fdx 
 *  
 *  
 *  
 *    
 <directoryFactory class="solr.MMapDirectoryFactoryExt"> 
    <str name="unmap">true</str> 
    <lst name="filetypes"> 
       <bool name="fdt">false</bool> 
       <bool name="fdx">false</bool> 
   </lst> 
 </directoryFactory> 
 * 
 */  
public class MMapDirectoryFactoryExt extends DirectoryFactory {  
    // filetypes不作映射  
    private Set<String> nonMappedFiles = new HashSet<String>();  
    // 是否使用不映射选择  
    private Boolean useUnmapHack = false;  
  
    public Directory open(String path) throws IOException {  
        MMapDirectory mmapDir = new MMapDirectory(new File(path));  
        mmapDir.setUseUnmap(useUnmapHack);  
        return new FileSwitchDirectory(nonMappedFiles, mmapDir, FSDirectory.open(new File(path)), true);  
    }  
  
    public void init(NamedList args) {  
        Object unmap, namedlist;  
        nonMappedFiles = new HashSet<String>();  
        if ((unmap = args.get("unmap")) instanceof Boolean)  
            useUnmapHack = (Boolean) unmap;  
        if ((namedlist = args.get("filetypes")) instanceof NamedList) {  
            NamedList filetypes = (NamedList) namedlist;  
            for (String type : IndexFileNames.INDEX_EXTENSIONS) {  
                Object mapped = filetypes.get(type);  
                if (Boolean.FALSE.equals(mapped))  
                    nonMappedFiles.add(type);  
            }  
        }  
    }  
}  

solrconfig.xml上的配置，使用于新的DirectoryFactory

[html] view plaincopy 
     
   
<directoryFactory class="solr.MMapDirectoryFactory">  
<str name="unmap">true</str>  
<lst name="filetypes">  
<bool name="fdt">false</bool>  
<bool name="tii">false</bool>  
</lst>  
</directoryFactory>  

线上的索引文件大小：

7.3G ./_y8b.fdt

201M ./_y8b.fdx

4.0K ./_y8b.fnm

1.8G ./_y8b.frq

76M ./_y8b.nrm

537M ./_y8b.prx

7.1M ./_y8b.tii

571M ./_y8b.tis

4.0K ./segments.gen

4.0K ./segments_1p

由于tii文件会加载到内存，所以这个不须要映射，fdt文件太大，主要是正向存储的数据，可以使用NiOFSDirectory方式

还有一个文件frq文件好大，这个也是需要考虑的。

[java] view plaincopy 
     
   
public final void setMaxChunkSize(final int maxChunkSize) {  
  if (maxChunkSize <= 0)  
    throw new IllegalArgumentException("Maximum chunk size for mmap must be >0");  
  //System.out.println("Requested chunk size: "+maxChunkSize);  
  this.chunkSizePower = 31 - Integer.numberOfLeadingZeros(maxChunkSize);  
  assert this.chunkSizePower >= 0 && this.chunkSizePower <= 30;  
  //System.out.println("Got chunk size: "+getMaxChunkSize());  
}  

从上面的代码可以看出，最大也只能是1G大小。。。杯具。。

转自：http://www.cnblogs.com/wood-lin/p/3332296

知识点

相关文章

最近更新

[转]FileSwitchDirectory实现原理与应用

相关问答

南师专转本怎么样[2022-05-12]

有什么好的编译原理的书籍?[2021-09-26]

水翼船的工作原理是什么?[2022-07-09]

简述UPS的工作原理[2022-05-02]

操作系统原理[2022-06-23]

ip monitor的工作原理[2021-12-17]

雷达原理详解[2022-12-30]

哪本编译原理的书籍好?[2022-12-12]

人择原理和人存原理是一样的吗？[2022-05-14]

分词算法的工作原理[2023-06-29]