相关文章

  • [Solr源码分析]LRUCache和FastLRUCache实现分析 Posted in cache, solr on 八月 9th, 2010 by kafka0102 在 [Solr 实践]Solr Cache使用介绍及分析 一文我有对Solr的LRUCache和FastLRUCache做了一些介绍,本文在此基础对其实现做些补充。 1、LRUCache的实现分析 在分析LRUCach
  • Netty源码分析[2019-03-19]

    Netty提供异步的、事件驱动的网络应用程序框架和工具,用以快速开发高性能、高可靠性的网络服务器和客户端程序[官方定义],整体来看其包含了以下内容:1.提供了丰富的协议编解码支持,2.实现自有的buffer系统,减少复制所带来的消耗,3.整套channel的实现,4.基于事件的过程流转以及完整的网络事件响应与扩展,5.丰富的example。本文并不对Netty实际使用中可能出现的问题做分析,只是从
  • 网上已经有很多关于Hadoop源码分析的好文,在这记录的目的是把自己在看Hadoop源码时自己的一些体会,方便日后查询巩固。 相关阅读:Hadoop源码分析之二(RPC机制之Call处理) http://www.linuxidc.com/Linux/2013-01/77252.htm 想了解Hadoop是如何工作的,首先需要了解Hadoop RPC原理。Hadoop提供了一个统一的RPC机制来处理
  • MapReduce作业提交源码分析 我们在编写MapReduce程序的时候,首先需要编写Map函数和Reduce函数。完成mapper和reducer的编写后,进行Job的配置;Job配置完成后,调用Job.submit()方法完成作业的提交。那我们思考一下,Job最终如何完成作业(job)的提交呢?粗略想一下,Job必然需要通过某种方式连接到JobTracker,因为只有这样才能将job提交到J
  • 本博客属原创文章,欢迎转载!转载请务必注明出处:http://guoyunsky.javaeye.com/blog/642618 欢迎加入Heritrix群(QQ):109148319,10447185(已满), Lucene/Solr群(QQ) :11897272 每通过Heritrix运行一次抓取后,发现在该Job目录下就会有很多文件。这里说明下每个文件的作用,同时更主要介绍它的日志文件,因为
  • Storm Features Storm 简介 Storm Topology的并发度 Storm - Guaranteeing message processing Storm - Transactional-topologies Twitter Storm – DRPC Storm 多语言支持 Storm Starter Storm starter - Overview Storm star
  • 最近开始看 Hadoop 的一些源码,展开 hadoop 的源码包,各个组件分得比较清楚,于是开始看一下 IPC 的一些源码。 IPC模块,也就是 进程间通信模块,如果是在不同的机器上,那就可以理解为 RPC 了,也就是远程调用。事实上, hadoop 中的 IPC 也就是基于 RPC 实现的。 使用 sloccount 统计一下 ipc 包中代码的行数,一共是 2884 行。也就是说,IPC 作
  • ClientProtocol负责完成HDFS Client与NameNode之间的交互。本文主要分析一下create方法的具体实现。Create方法在namespace中创建一条entry,实际就是在命名空间中创建一个文件。该方法在命名空间中创建的文件是一个空文件,并且,一旦创建完成,该文件对于其他客户端就是可见的和可用的(visible and available)。 首先让我们思考一下,根据我
  • 正文: 一.体系背景 首先和大家说明一下:Hadoop的心跳机制的底层是通过RPC机制实现的,这篇文章我只介绍心跳实现的代码,对于底层的具体实现,大家可以参考我的另几篇文章: 1. Hadoop的RPC机制(参考: http://www.linuxidc.com/Linux/2012-06/62081.htm) 2. 动态代理(参考 :http://www.linuxidc.com/Linux
  • TimeCacheMap是Twitter Storm里面一个类, Storm使用它来保存那些最近活跃的对象,并且可以自动删除那些已经过期的对象。 不过在storm0.8之后TimeCacheMap被弃用了,取而代之的是RotatingMap。 RotatingMap与TimeCacheMap的区别如下: 1.前者去掉了自动清理的线程,让用户自己去控制清理过期的数据,控制清理数据用rotat

相关问答