Hadoop实例之HelloWorld

2019-03-28 13:19|来源: 网络

新建一个Map/Reduce工程文件:HelloWorld.java

import java.io.OutputStream;

import org.apache.Hadoop.conf.*;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.*;

public class HelloWorld {
    public static void main(String[] args) throws Exception {
        Configuration configuration = new Configuration();
        FileSystem fs = FileSystem.get(configuration);
        OutputStream out = fs.create(new Path("./input/linuxidc.txt"));
        String str = "Hello World linuxidc";
        out.write(str.getBytes());
        out.flush();
        out.close();
    }

}

在src的目录下创建一个文件夹input及输出文件linuxidc.txt,运行java程序,打开linuxidc.txt可以看到Hello World linuxidc

相关问答

更多
  • 新手的话 就直接用myeclipse做吧 新建一个web 项目 建好之后直接右击 工程文件名 ---myeclipse ---add spring直接导入spring框架 工具自动为你 配置好web.xml文件和spring配置文件 至于你说的 小例子 往上多的是 百度一下吧,谁都不会有太多的时间给你写个小例子,不如自己去下载
  • 新手的话 就直接用myeclipse做吧 新建一个web 项目 建好之后直接右击 工程文件名 ---myeclipse ---add spring直接导入spring框架 工具自动为你 配置好web.xml文件和spring配置文件 至于你说的 小例子 往上多的是 百度一下吧,谁都不会有太多的时间给你写个小例子,不如自己去下载
  • 深入浅出Hive企业级架构优化、Hive Sql优化、压缩和分布式缓存(企业Hadoop应用核心产品) LS的Q
  • 基于Hadoop平台的云存储应用实践

    http://cio.itxinwen.com/case_studies/2012/0327/402100.html

    云计算(Cloud Computing)是一种基于因特网的超级计算模式,在远程的数据中心里,成千上万台电脑和服务器连接成一片电脑云。用户通过电脑、笔记本、手机等方式接人数据中心,按自己的需求进行运算。目前,对于云计算仍没有普遍一致的定义。结合上述定义,可以总结出云计算的一些本质特征,即分布式计算和存储特性、高扩展性、 ...

  • 1、我这里用的是三个虚拟机 centos 6.4 64位操作系统,一台做Master,两台做Slave 2、三台机器都安装jdk,我这里的版本是7_79,同样是64位的 3、修改hostname(很关键,因为只有生成的ssh-keygen会用到)在/etc/sysconfig/network文件里面修改,同时添加hosts文件,在/etc/hosts文件中修改,我这里三个节点的这两个文件分别 4、生成ssh无密钥远程访问文件,并且放到都要在三个节点里面统一:(提前将三台节点的防火墙都关闭,一定要注意) 这里 ...
  • 检查yarn-site.XML
  • 太多了啊,比如很多搜索网站利用Hadoop等类似技术存储爬虫程序获得的网页信息,再通过MapReduce计算每个网页PR值。
  • 另一个解决方案是使用Juju(Ubuntu的服务编排框架)。 首先在标准计算机上安装Juju客户端: sudo add-apt-repository ppa:juju/stable sudo apt-get update && sudo apt-get install juju-core (MacOS和Windows的说明也可在此处找到 ) 然后生成配置文件 juju generate-config 并使用您的首选云证书(AWS,Azure,GCE ...)进行修改。 根据m3.medium的命名,我假 ...
  • 要确保每个Mapper有一个解析器实例,请使用mappers setup方法实例化解析器实例并使用清理方法清理。 我们为protobuf解析器应用了同样的东西,但需要确保您的解析器实例是线程安全的,并且没有共享数据。 注意:每个映射器只调用一次setup和cleanup方法,因此我们可以在那里初始化私有变量。 为了澄清cricket_007在“在分布式计算环境中,无法共享变量实例......”中所说的内容。 我们有一种重复使用可写类的做法,而不是每次我们需要时创建新的可写。 我们可以实例化一次并重复设置可写 ...
  • 删除.ssh / known_hosts文件并尝试 I have found the answer. The trick is not to have any entries regarding the amazon EC2 instances in the '/etc/hosts' file and also the '~/.ssh/config' file should only contain only the following setting when it comes to amazon ins ...