知识点
相关文章
更多最近更新
更多深入浅出Hadoop 高效处理大数据
2019-03-28 14:20|来源: 网络
关于Hadoop的结构,有各种不同的说法。我们这里简单的理解为Hadoop主要由三部分组成:HDFS(Hadoop Distributed File System),MapReduce与Hbase。
1.Hadoop组件之一:HDFS分布式文件系统具有哪些优点?
HDFS作为一种分布式文件系统,它和现有的分布式文件系统有很多共同点。比如,Hadoop文件系统管理的物理存储资源不一定直接连接在本地节点上,而是通过计算机网络与节点相连。对于Client端而言,HDFS就像一个传统的分级文件系统,可以创建、删除、移动或重命名文件等等。与此同时,HDFS与其他的分布式文件系统的区别也是显而易见的。
首先,HDFS设计目标之一是适合运行在通用硬件(commodity hardware)上的分布式文件系统。HDFS假设的硬件错误不是异常,而是常态。因为HDFS面向的是成百上千的服务器集群,每台服务器上存储着文件系统的部分数据,并且这些机器的价格都很低廉。这就意味着总是有一部分硬件因各种原因而无法工作。因此,错误检测和快速、自动的恢复是HDFS最核心的架构目标。从这个角度说,HDFS具有高度的容错性。
第二,HDFS的另一个设计目标是支持大文件存储。与普通的应用不同,HDFS应用具有很大的数据集,一个典型HDFS文件大小一般都在G字节至T字节。这就意味着HDFS应该能提供比较高的数据传输带宽与数据访问吞吐量。相应的,HDFS开放了一些POSIX的必须接口,容许流式访问文件系统的数据。
第三,HDFS还要解决的一个问题是高数据吞吐量。HDFS采用的是“一次性写,多次读”这种简单的数据一致性模型。换句话说,文件一旦建立后写入,就不需要再更改了。网络爬虫程序就很适合使用这样的模型。
第四,移动计算环境比移动数据划算。HDFS提供了API,以便把计算环境移动到数据存储的地方,而不是把数据传输到计算环境运行的地方。这对于数据大文件尤其适用,可以有效减少网络的拥塞、提高系统的吞吐量。
HDFS的体系结构与工作流程
下面简单看一下HDFS的结构。图1所示为HDFS的体系结构图。HDFS采用的是Master/Slave架构。
NameNode节点作为Master服务器,有三部分功能。第一:处理来自客户端的文件访问。第二:管理文件系统的命名空间操作,如'打开'、'关闭'、'重命名'等。第三:负责数据块到数据节点之间的映射。从这个意义上说,它扮演中心服务器的角色。
DataNode节点作为Slave服务器,同样有三部分功能。第一:管理挂载在节点上的存储设备。第二:响应客户端的读写请求。第三:从内部看,每个文件被分成一个或多个数据块,被存放到一组DataNode,在Namenode的统一调度下进行数据块的创建、删除和复制。
图1 HDFS体系结构图
HDFS采用Java语言开发,因此任何支持Java的机器都可以部署Namenode或Datanode。相应地,GNU/Linux操作系统支持Namenode与Datanode。一个典型的部署场景是,一台GNU/Linux操作系统上运行一个Namenode实例,作为Master中心服务器。而集群中的其它GNU/Linux操作系统分别运行一个Datanode实例,作为Slave服务器集群。
相关问答
更多-
怎么说呢,我觉得你学得太杂乱了,你最好先确定你到你是学c++ java还是C#,这是集中完全不同的东西。不知道你的c++水平怎么样,能不能跳过很难说。 这三本书讲的东西是一样的,都是MFC,而只是难度不一样,《深入浅出MFC》适合入门,建议看看已确定自己的水平。 我也是学计算机的,我的账号就是我的QQ,交流交流吧.
-
深入浅出设计模式与深入浅出设计模式C#/java,有什么区别,另外求这两本书的PDF[2022-08-03]
深入浅出设计模式是HeadFirst系列的,写的很好,后面那本就不用看了,垃圾的要死 -
求一MFC深入浅出教程[2023-01-10]
《mfc windows程序设计》 适合初学者,经典,不推荐《深入浅出MFC》,这个不适合初学者,需要一定功底才行! -
问哪位大神有《深入浅出Hadoop实战开发》的视频教程,跪求啊[2022-05-02]
邮件已经发出,过几分钟后记得查收(可能在垃圾箱里边),收到后觉得还算满意请点下边的采纳通知我。如果10分钟后还没收到,请直接在本问题里追问我,我会再次发送。 最后如果在采纳之余能加点分数,那就OK! -
请问哪位有《深入浅出Hadoop实战开发》的视频教程????[2022-06-12]
http://yun.baidu.com/s/1gdxfOrT -
哪位《深入浅出玩转51》这本书的pdf,求发一份![2022-12-04]
《深入浅出玩转51单片机 工程师经验手记》,有pdf,百度私信你了 -
哪有《Head First Design Patterns》深入浅出设计模式(pdf)下载[2023-11-05]
http://forum.springside.org.cn/viewthread.php?tid=1092 这个有,不过要注册的,你来找我要账号吧! -
能给我一份吗?《深入浅出Hadoop实战开发》[2022-04-04]
这一份视频应该只能花钱购买 -
哪里有《深入浅出设计模式 中文版》 可以下载[2022-04-09]
http://www.51leifeng.net/thread-5175-1-1.html 自己注册个帐号就可以下了 -
求《深入浅出extjs》 pdf 第二版[2022-01-06]
书比较新,网上不好找 还是买吧,我都是买的新书。 不过看完这本书的感觉是,它几乎不讲底层源码,如果你想在ExtJS上达到大师级的水平的话,"ExtJs源码分析与实例宝典"似乎不错。我正想买那本书呢。 如果你只是想了解Ext一些常用功能的话,《深入浅出extjs》也凑合