知识点
相关文章
更多最近更新
更多HDFS中的通信协议
2019-03-28 14:01|来源: 网络
通过对org.apache.Hadoop.ipc包中,Hadoop实现了基于IPC模型的RPC机制,可以不需要像Java中实现的RMI机制一样,在RPC调用的C/S两端分别创建Stub和Skeleton,而是通过一组协议来进行RPC调用就可以实现通信。这主要是由于Hadoop所采用的序列化机制简化了RPC调用的复杂性。Hadoop定义了自己的通信协议,这些协议都是建立在TCP/IP协议之上的,规范了通信两端的约定。
为了阅读分析org.apache.hadoop.hdfs.DFSClient类的实现,我们还需要对Hadoop定义的通信协议簇来进行了解,因为DFSClient所执行的操作都是基于协议的规定来实现的,了解协议的内容可能会对DFSClient实例连接到HDFS执行的任务更好理解一点。
首先,了解一下Hadoop定义的通信双方需要遵循的一组协议,下面是协议接口的继承层次关系,并作简单介绍:
- 。org.apache.hadoop.ipc.VersionedProtocol
- 。org.apache.hadoop.hdfs.protocol.ClientProtocol
- 。org.apache.hadoop.hdfs.protocol.ClientDatanodeProtocol
- 。org.apache.hadoop.hdfs.server.protocol.NamenodeProtocol
- 。org.apache.hadoop.hdfs.server.protocol.DatanodeProtocol
- 。org.apache.hadoop.hdfs.server.protocol.InterDatanodeProtocol
VersionedProtocol协议是Hadoop的最顶层协议接口的抽象;
ClientProtocol协议是用户进程(包括客户端进程与Datanode进程)与Namenode进程之间进行通信所使用的协议,例如,(1)客户端进程需要向Datanode数据结点复制数据块,需要与Namenode进程通信,获取Datanode结点列表;(2)Datanode进程向Namenode进程发送心跳状态报告和块状态报告需要与Namenode进程交互;
ClientDatanodeProtocol协议是客户端进程与Datanode进程之间进行通信所使用的协议;
DatanodeProtocol协议是当Datanode进程需要与NameNode进程进行通信是需要基于此协议,例如发送心跳报告和块状态报告;
InterDatanodeProtocol协议是Datanode进程之间进行通信的协议,例如客户端进程启动复制数据块,此时可能需要在Datanode结点之间进行块副本的流水线复制操作。
下面我们一个一个来看:
- VersionedProtocol协议
该接口的定义如下:
- package org.apache.hadoop.ipc;
- import java.io.IOException;
- /**
- * 使用Hadoop RPC机制的所有协议的超类
- * 该接口的子类同样支持具有一个static final long的版本属性字段
- */
- public interface VersionedProtocol {
- /**
- * 返回与指定协议protocol相关的协议版本
- * @param protocol 协议接口的类名
- * @param clientVersion 客户端欲与服务器进行交互,它所使用的协议版本
- * @return 返回服务器将要与客户端进行交互,所需要使用的协议版本
- */
- public long getProtocolVersion(String protocol, long clientVersion) throws IOException;
- }
相关问答
更多-
电脑网络中通信协议都有哪些[2023-12-02]
网络通信协议1、HTTP 英文名称:hyper text transport protocol 中文名称:超文本传输协议 网络通信协议2、FTP 英文名称:file transfer protocol 中文名称:文件传输协议 网络通信协议3、FILE 英文名称:file 中文名称:本地文件传输协议 网络通信协议4、TELNET 英文名称:telnet 中文名称:远程登录协议 网络通信协议5、MAILTO 英文名称:mail to 中文名称:电子邮件协议 网络通信协议6、NEWS 英文名称:news grou ... -
什么是电脑网络通信协议[2022-06-13]
你好! 从你的问题可以看出你对网络了解不多,那我就通俗一点给你讲. 计算机通信协议和现实生活中相互通过邮局送信是一个道理.咱们写信不是要写邮编,地址,收信人嘛.计算机通信也是一样的,只不过叫法变了一下,叫通信协议,通信协议就是在计算机相互通信的内容中加入IP地址,MAC地址等一系列标识计算机位置,信息编码等一些信息.便于信息在计算机间相互传输. 目前最常用的通信协议是TCP/IP,目前WINDOW系统都用的是这个协议. 要想详细的了解,你可以找<<计算机网络>>这本书,很经典的一本书.谢希仁写的. 祝你成功 ... -
什么是电脑网络通信协议?最常用的通信协议是什么?[2022-10-28]
你好! 从你的问题可以看出你对网络了解不多,那我就通俗一点给你讲. 计算机通信协议和现实生活中相互通过邮局送信是一个道理.咱们写信不是要写邮编,地址,收信人嘛.计算机通信也是一样的,只不过叫法变了一下,叫通信协议,通信协议就是在计算机相互通信的内容中加入IP地址,MAC地址等一系列标识计算机位置,信息编码等一些信息.便于信息在计算机间相互传输. 目前最常用的通信协议是TCP/IP,目前WINDOW系统都用的是这个协议. 要想详细的了解,你可以找<<计算机网络>>这本书,很经典的一本书.谢希仁写的. 祝你成功 ... -
请问labview如何设置串口通信协议的?[2022-04-19]
我不知道你下位机用的是什么,但是,肯定是以下几步了: 1.Labview发不同的指令给下位机; 2.下位机收到指令,执行对应的命令,控制泵的流量。 所以,归结其来,就是labview通过串口给下位机发送数据。 设置通信协议可用“VISA配置串口”来设置通信协议,其他的串口读写也用VISA里面的模块。 我给你传个图,你就知道了,有问题可以和我联系。 -
有上位机的程序怎么看它与单片机的通信协议?[2022-04-20]
python和单片机一般都是用pyserial库串口通信吧 如果有加协议的话你看程序是怎么处理收到的字节的应该可以分析出来吧 -
您应该将读取数据的部分代码包装到“try-except”块中。 然后您的程序可以打印错误消息而不是崩溃。 我在MinimalModbus Python库的文档中写过这篇文章: https ://minimalmodbus.readthedocs.org/en/master/usage.html#handling-communication-errors 例如,而不是使用: print(instrument.read_register(4143)) 使用: try: print(instrument ...
-
根据SQL Server 2008联机丛书,这是发生了什么: 在服务器上本地连接 从本地客户端(客户端应用程序和SQL Server在同一台计算机上)连接到数据库引擎时,默认情况下连接使用共享内存协议 。 SQL Server Native Client接受以下任何格式以使用共享内存协议进行本地连接: “” “\”为一个命名实例“(本地)” “(本地)”为一个命名实例 “本地主机” “本地主机”为一个命名实例 一段时间“。” “。\”为一个命名实例 要使用其他协议进行本地连接(用于故障排除),请在启用协议的 ...