Hadoop中RPC机制

RPC(Remote Procedure Call Protocol)远程过程调用协议，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。Hadoop底层的交互都是通过rpc进行的。例如：datanode和namenode 、tasktracker和jobtracker、secondary namenode和namenode之间的通信都是通过rpc实现的。下面是rpc交互过程图： 

1.客服端调用的总过程：

Hadoop的RPC客户端代码其实就一个类：org.apache.hadoop.ipc.Client。这个类使用Java的动态代理技术，生成服务器的业务接口的代理，通过socket将调用的业务方法和参数传送到服务器端，并且等待服务器端的响应。

客户端调用的序列图如下:

 例如：TaskTracker请求与JobTracker的通信：

TaskTracker通过:

      this.jobClient = (InterTrackerProtocol)

          RPC.waitForProxy(InterTrackerProtocol.class, InterTrackerProtocol.versionID,

                       jobTrackAddr, this.fConf);

中的InterTrackerProtocol 去和JobTracker通信。

在RPC中通过:

       VersionedProtocol proxy =

            (VersionedProtocol) Proxy.newProxyInstance(

            protocol.getClassLoader(), new Class[] { protocol },

            new Invoker(addr, ticket, conf, factory));

产生一个动态代理完成JobTracker和TaskTracker之间的心跳交流。