Eclipse下配置Hadoop环境

2019-03-28 13:33|来源: 网络

Hadoop集群搭建完成后,每次开发完map/reduce程序后,需要用打包,上传数据等步骤,然后命令行输入hadoop jar...等方式来运行,非常繁琐,用hadoop-eclipse插件能非常方便的进行开发的同时进行测试。

第一步:

在hadoop发行包里去找到eclipse下的插件,例如.../hadoop-0.20.2/contrib/eclipse-plugin/目录下的hadoop-0.20.2-eclipse-plugin.jar,将此插件拷贝到eclipse/plugins目录内,关闭eclipse后重启。

第二步:

在eclipse内,选择Windows->Open Perspective,选择那个有小象图标的Map/Reduce,

Eclipse下配置Hadoop环境

第三步:

点击小象图标,右键选择新建一个hadoop location,开始配置参数:

Eclipse下配置Hadoop环境

其中Host:可以填写localhost或者说本地IP地址,Port为hadoop集群的jobtracker的端口号,另外在advance选项里去检查一下各个参数,只关心namenode或者说是jobtracker相关的配置项,我的集群使用的是8020和8021。保存配置,点击第一张图中左边树结构的小象,能够浏览hadoop集群上的目录文件信息,则配置成功,如下图

Eclipse下配置Hadoop环境

相关问答

更多
  • 你用0.21版本的吧? 这个不稳定,且不提供支持的,现在学的话找0.20版本的学吧。 HDFS not found可能是由于你的HADOOP_HOME没有设置, 执行如下命令后再hdfs namenode -format: export HADOOP_HOME="你的hadoop安装路径"
  • 路径不对。 使用绝对路径/~/hadoop2.7/bin/hadoop 或者相对路径 在bin目录下 ./hadoop 或者将bin目录加到/etc/profile中作为环境变量
  • eclipse它需要用javac,java命令来编译,执行你写的程序 tomcat需要javaw,jre来支持他的功能 就好像你要切菜,不给你刀子,你怎么切? eclipse、tomcat都需要JDK给他们提供最基本的运行环境 就好像你运行某个程序,如果它没有注册它调用的类库,ocx控件,你一样用不了
  • 1)下载并解压hadoop-0.20.203.0.修给解压文件夹名字为hadoop-0.20.203 2)按上述所示将hadoop-0.20.203/bin路径加到PATH环境变量中 sudo gedit/etc/profile 3)修改配置文件,配置文件都在hadoop-0.20.203/conf目录下。 a.进到/hadoop-0.20.203/conf/hadoop-env.sh中,解注释JAVA_HOME 修改为:JAVA_HOME=/home/hadoop/jdk1.6 b.修改core-site ...
  • 1)下载并解压hadoop-0.20.203.0.修给解压文件夹名字为hadoop-0.20.203 2)按上述所示将hadoop-0.20.203/bin路径加到PATH环境变量中 sudo gedit/etc/profile 3)修改配置文件,配置文件都在hadoop-0.20.203/conf目录下。 a.进到/hadoop-0.20.203/conf/hadoop-env.sh中,解注释JAVA_HOME 修改为:JAVA_HOME=/home/hadoop/jdk1.6 b.修改core-site ...
  • 我的eclipse是装在WINDOWS下的,HADOOP在CENTOS生产环境。 但原理是一样额 http://club.sm160.com/showtopic-937269.aspx HADOOP 版本是hadoop1.0.0(和你的hadoop1.0.4配置相同)
  • 1)下载并解压hadoop-0.20.203.0.修给解压文件夹名字为hadoop-0.20.203 2)按上述所示将hadoop-0.20.203/bin路径加到PATH环境变量中 sudo gedit/etc/profile 3)修改配置文件,配置文件都在hadoop-0.20.203/conf目录下。 a.进到/hadoop-0.20.203/conf/hadoop-env.sh中,解注释JAVA_HOME 修改为:JAVA_HOME=/home/hadoop/jdk1.6 b.修改core-site ...