HDFS Federation(联邦)

注：这个文档已经有很多译文，但不同的人翻译有不同的理解，时间匆忙，加之英文水平有限，有误的地方请指正。

原文：http://Hadoop.apache.org/common/docs/current/hadoop-yarn/hadoop-yarn-site/Federation.html

本指南是对HDFS联邦的简要介绍及如何配置和管理HDFS联邦。

背景

HDFS主要有两大模块：

Namespace

包括目录、文件和块。

它支持所有命名空间相关的文件操作，如创建、删除、修改，查看所有文件和目录。

Block Storage Service（块存储服务）包括两部分

在namenode中的块的管理

提供datanode集群的注册、心跳检测等功能。

处理块的报告信息和维护块的位置信息。

支持块相关的操作，如创建、删除、修改、获取块的位置信息。

管理块的冗余信息、创建副本、删除多余的副本等。

存储：datanode提供本地文件系统上块的存储、读写、访问等。

以前的HDFS框架整个集群只允许有一个namenode，一个namenode管理所有的命名空间，HDFS联邦通过增加多个namenode来打破这种限制。

多namenodes/namespaces。

为了水平扩展名称服务，联邦使用多个独立的namenodes/namespaces。所有的namenodes是联邦的，因此，单个namenode是独立的，不需要和其它namenode协调合作。datanode作为统一的块存储设备被所有namenode节点使用。每一个datanode节点都在所有的namenode进行注册。datanode发送心跳信息、块报告到所有namenode,同时执行所有namenode发来的命令。

Block Pool（块池）

一个块池就是属于一个namespace的一组块。datanodes存储集群中所有的块池，它独立于其它块池进行管理。这允许namespace在不与其它namespace交互的情况下生成块的ID，有故障的namenode不影响datanode继续为集群中的其它namenode服务。一个namespace和它的blockpool一起叫做namespace volume，这是一个自己的管理单位，当一个namenode被删除，那么在datanode上的相应的block pool也会被删除。在集群进行升级的时候，每一个namespace volume独立的进行升级。

ClusterID

增加一个新的ClusterID标识来在集群中所有的节点。当一个namenode被格式化的时候，这个标识被指定或自动生成，这个ID会用于格式化集群中的其它namenode。

主要优点

namespace的可扩展性：HDFS的水平扩展，但是命名空间不能扩展，通过在集群中增加namenode来扩展namespace,以达到大规模部署或者解决有很多小文件的情况。

Performance（性能）：在之前的框架中，单个namenode文件系统的吞吐量是有限制的，增加更多的namenode能增大文件系统读写操作的吞吐量。

Isolation（隔离）：一个单一的namenode不能对多用户环境进行隔离，一个实验性的应用程序会加大namenode的负载，减慢关键的生产应用程序，在多个namenode情况下，不同类型的程序和用户可以通过不同的namespace来进行隔离。