知识点
相关文章
更多最近更新
更多HDFS资料整理
2019-03-28 14:12|来源: 网络
1. client调用get方法得到HDFS文件系统的一个实例（FileSystem）。然后调用它的open方法。
2. FileSystem通过RPC远程调用NameNode决定文件文件的block的位置信息。对于每一个bolck，NameNode返回block所在的DataNode（包括副本）的地址。FileSystem返回FSDataInputStream给client用来读数据。FSDataInputStream封装了DFSInputStream用于管理NameNode和DataNode的IO。
3. client调用FSDataInputStream的read方法。
4. DFSInputStream保存了block块所在的DataNode的地址信息。DFSInputStream连接第一个block的DataNode，read block数据，传回给client。
5. 当第一个block读完，DFSInputStream关掉与这个DataNode的连接。然后开始第二个block。
6. 当client读结束，调用FSDataInputStream的close方法。
在读的过程中，如果client和一个datanode通讯时出错，他会连接副本所在的datanode。这种client直接连接datanode读取数据的设计方法使HDFS可以同时相应很多client的同时并发。因为数据流量均匀的分布在所有的datanode上，NameNode只负责block的位置信息请求。
免费下载地址在 http://linux.linuxidc.com/
用户名与密码都是www.linuxidc.com
具体下载目录在 /2012年资料/1月/11日/HDFS资料整理/
相关问答
更多-
如何整理计算机文件资料[2022-11-17]
1. 了解容易混乱的几个地方 首先需要了解系统中最容易变得混乱的几个区域，这样你才能开始有针对地整理。在 Windows 中，通常比较混乱的区域是： · 桌面（Desktop） · 我的文档（My Documents） · 系统中用户的文件夹（X:Documents and SettingsXXX） · 个人下载目录(X:Downloads) 2. 找到并删除你不再需要的文件使用电脑时间长了以后，有很多文件是你不会再去使用的，把你确定不再使用的文件删除掉。 3. 把通用的文件存放在一个大的目录例如，使用“我 ... -
计算机中的学习资料文件归类整理[2023-03-24]
1 先按照学科分类，也就是每一个学科建个文件夹， 2 在每个学科的文件夹里再创建若干文件夹，如高考教材，高考试卷，课件等等，······ -
如何提高小学生自主搜集及整理资料的能力[2021-08-31]
搜集整理资料是学生自主学习，知识面的拓展、进行推理、判断、论证必不可少的方式和学习过程。当今社会是一个高度信息化的社会，应当通过课程改革和学习方式的变革，培养学生合作与交流能力、分析和解决问题的能力、获取新知识的能力、资料的搜集与整理能力，这四种能力也是时代发展的要求，学生只有具备良好的信息能力，才能适应现代化社会的生活、工作、学习。如何培养学生的资料搜集整理能力，使学生学习主动性和积极性得到发挥是一个需要深入探究的问题。小学生如何获取综合实践活动课所需的信息，并通过各种学习方式对获取到的信息进行处理、加工 ... -
怎么来整理计算机里的文件啊[2021-12-10]
我和你的工作差不多，我通常把电脑你的文件分类，所以我的老板经常说我是一个思路清晰的人，我通常会这样： 建立多个文件夹，命名为不同的名字，比如你的数据有很多类，看一看你的文件可以分为几类，那么你所建立的文件夹也就要有几个了，然后再给每个不同的类型取一个不同的名字！你可以按日期来分类，比如：1月份，2月份……你还可能按文件的类型来分类，比如它们的类型不同，有SXL的，有BMP的，你可以在你很乱的文件夹里，点击你的右键，然后点排列，选择类型那样就可以自动分类了，然后再把它们入在每个你已经建立的文件夹里面！方法很多 ... -
RouterOS V4 中文网络教程，另外一堆整理的教程和资料， 不知道有没有人发过[2022-05-13]
楼主的分享精神值得赞扬！ -
Teradata的HDFS(HDFS for Teradata)[2022-09-04]
使用Teradata DB本身 - 没有。 然而:)，Teradata提供所谓的UDA （ 统一数据架构 ），其中Teradata，Aster DB和Hadoop（HDFS）相互连接，几乎可以无缝地协同工作:)。 通常，如果您只想使用非结构化数据，请选择Aster。 这是Teradata的产品，您可以直接与HDFS连接。 HDFS在这里用作廉价且快速的数据存储。 更有趣的解决方案将提出新的Aster版本（6），其中将实现AFS （ Aster文件系统 ）。 ASR是一种类似于HDFS的分布式文件系统。 我也 ...