HDFS1.0源代码解析—数据传输和接受的类BlockSender和BlockReceiver

本次主要介绍DN端进行数据传输和接受的类BlockSender和BlockReceiver，其中BlockSender是读取DN本地block数据传送回数据请求端，BlockReceiver是接受存储数据，写入到本地的block中。
首选介绍BlockSender的主要函数的作用：

构造函数

1.  94       this.blockLength = datanode.data.getVisibleLength(block);  
2.   
3.  99         checksumIn = new DataInputStream(  
4. 100                 new BufferedInputStream(datanode.data.getMetaDataInputStream(block),  
5. 101                                         BUFFER_SIZE));  
6.   
7. 123       bytesPerChecksum = checksum.getBytesPerChecksum();  
8.   
9. 129       checksumSize = checksum.getChecksumSize();  
10.   
11. 145       offset = (startOffset - (startOffset % bytesPerChecksum));  
12. 146       if (length >= 0) {  
13. 147         // Make sure endOffset points to end of a checksumed chunk.   
14. 148         long tmpLen = startOffset + length;  
15. 149         if (tmpLen % bytesPerChecksum != 0) {  
16. 150           tmpLen += (bytesPerChecksum - tmpLen % bytesPerChecksum);  
17. 151         }  
18. 152         if (tmpLen < endOffset) {  
19. 153           endOffset = tmpLen;  
20. 154         }  
21. 155       }  
22. 156  
23. 157       // seek to the right offsets   
24. 158       if (offset > 0) {  
25. 159         long checksumSkip = (offset / bytesPerChecksum) * checksumSize;  
26. 160         // note blockInStream is  seeked when created below   
27. 161         if (checksumSkip > 0) {  
28. 162           // Should we use seek() for checksum file as well?   
29. 163           IOUtils.skipFully(checksumIn, checksumSkip);  
30. 164         }  
31. 165       }  
32. 166       seqno = 0;  
33. 167  
34. 168       blockIn = datanode.data.getBlockInputStream(block, offset); // seek to offset  

在开始介绍构造函数之前，先说一下DN上每个block的存放形式，block以blk_3910275445015356807和blk_3910275445015356807_1001.meta这样的形式存在，第一个文件存储内容，第二个存储元信息，所以才读取block的时候需要读取这两个文件。

开始看一下构造函数的主要作用，94行获取block文件的长度，99行打开block对应的元信息文件,123行获取每个chunk的大小，129行获取chunksum的大小。那么chunk和chunksum是什么呢，这里需要介绍下DN传送和接受数据的特点，每次传输和接受一个package，每个package包含若干个chunk，每个chunk对应的元信息就是chunksum。有了这个背景知识就知道145行的含义了，我们要求读取的数据可以从任意位置开始，但是DN传送时却要从一个整的chunk开始，因为元信息就是按照chunk为单位计算和存储的，这个ooffset就是我们要求读取的位置和实际读取位置的一个偏移，这个需要传回客户端，根据这个值用户才不会多介绍数据。149和150行对应读取的末尾做同样的处理，但是这个地方为什么没有把多读取数据的偏移量返回呢，是因为我们既然已经知道了起始位置有知道了读取的长度，所以我们知道实际的末尾，即使传送的数据有多余信息也不会造成影响。163行是使读取的元信息的文件流移动到要读取的位置，168行是打开block文件，并将文件流偏移到读取的位置。

构造函数初始化完毕以后，再来看传送数据的主函数sendBlock

397行是首先传送一些元数据信息，399传送读取数据时多余的偏移，433行声明读取数据的缓冲区，436调用另外一个函数真正进行数据的传输，每次传送一个package，444行传送一个0表示传送结束。