Hadoop集群中添加硬盘

Hadoop工作节点扩展硬盘空间

接到任务，Hadoop集群中硬盘空间不够用，要求加一台机器到Hadoop集群，并且每台机器在原有基础上加一块2T硬盘，老板给力啊，哈哈。

这些我把完成这项任务的步骤和我遇到的问题和解决方法总结一下，分享给大家。

1.    首先，介绍一下用到的基本命令和配置，如果本文的网友时间比较紧，可以直接跳过部分内容，直接看“2.  如何加载新硬盘”部分。

（1）命令fdisk

语法：

fdisk [-b sectorsize] device

fdisk -l [-u] [device...]

fdisk -s partition...

fdisk –v

说明：

-b <sectorsize>  指定每个分区的大小。也可以执行fdisk device（如：fdisk /dev/sdb）后，在系统提示时指定。

-l  列出指定的外围设备的分区表状况。如果仅执行 fdisk -l，系统会列出已知的分区。

-u  搭配"-l"参数列表，会用分区数目取代柱面数目，来表示每个分区的起始地址。

-s <parttion>      将指定的分区的大小输出到标准输出上，单位为区块。

-v  显示fdisk的版本信息。

（2）命令mkfs

语法：mkfs [-V][-t fstype] [fs-options] filesys

说明：

-V  显示简要的使用方法。

-t <fstype>  指定要建立何种文件系统，如：ext3, ext4。

fs  指定建立文件系统时的参数。

-v  显示版本信息与详细的使用方法。

（3）命令mount

语法：

mount [-afFnrsvw] [-t vfstype] [-Llabel]  [-o options] device dir

mount [-lhv]

说明：

-a  加载文件/etc/fstab中设置的所有设备。

-f    不实际加载设备。可与-v等参数同时使用以查看mount的执行过程。

-F  需与-a参数同时使用。所有在/etc/fstab中设置的设备会被同时加载，可加快执行速度。

-t vfstype  指定加载的文件系统类型，如：ext3,ext4。

-L label      给挂载点指定一个标签名称。

-l    显示分区的label。

-h  显示帮助信息。

-v  显示mount的版本信息。

device 要挂载的分区或文件。如果device是一个文件，挂载时须加上-o loop参数。

dir  分区的挂载点。

（4）fstab配置说明

/etc/fstab 中一共有６列：

file system：指定要挂载的文件系统的设备名称（如：/dev/sdb）。也可以采用UUID，UUID可以通过使用blkid命令来查看（如：blkid  /dev/sdb）指定设备的UUID号。

mount point：挂载点。就是自己手动创建一个目录，然后把分区挂载到这个目录下。

type：用来指定文件系统的类型。如：ext3, ext4, ntfs等。

option dump：０表示不备份；１表示要将整个<file system>中的内容备份。此处建议设置为０。

pass：用来指定fsck如何来检查硬盘。０表示不检查；挂载点为分区／（根分区）必须设置为１，其他的挂载点不能设置为１；如果有挂载ass设置成大于1的值，则在检查完根分区后，然后按pass的值从小到大依次检查，相同数值的同时检查。如：/home　和 /boot　的pass 设置成2，/devdata的pass 设置成3，则系统在检查完根分区，接着同时检查/boot和/home，再检查/devdata。