Hadoop HDFS的一些操作

HDFS的文件操作

格式化HDFS

命令：user@namenode:Hadoop$ bin/hadoop namenode -format

启动HDFS

命令：user@namenode:hadoop$ bin/start-dfs.sh

列出HDFS上的文件

命令：user@namenode:hadoop$ bin/hadoop dfs -ls

使用hadoop API

public List<String[]> GetFileBolckHost(Configuration conf, String FileName) { 
        try { 
            List<String[]> list = new ArrayList<String[]>(); 
            FileSystem hdfs = FileSystem.get(conf); 
            Path path = new Path(FileName); 
            FileStatus fileStatus = hdfs.getFileStatus(path); 
 
            BlockLocation[] blkLocations = hdfs.getFileBlockLocations( 
                    fileStatus, 0, fileStatus.getLen()); 
 
            int blkCount = blkLocations.length; 
            for (int i = 0; i < blkCount; i++) { 
                String[] hosts = blkLocations[i].getHosts(); 
                list.add(hosts); 
            } 
            return list; 
        } catch (IOException e) { 
            e.printStackTrace(); 
        } 
        return null; 
    }

在HDFS上创建目录

命令：user@namenode:hadoop$ bin/hadoop dfs -mkdir /文件名

使用hadoop API

// 在HDFS新建文件 
    public FSDataOutputStream CreateFile(Configuration conf, String FileName) { 
        try { 
            FileSystem hdfs = FileSystem.get(conf); 
            Path path = new Path(FileName); 
            FSDataOutputStream outputStream = hdfs.create(path); 
            return outputStream; 
        } catch (IOException e) { 
            e.printStackTrace(); 
        } 
        return null; 
    }