Hadoop Eclipse 配置

2019-03-28 13:12|来源: 网络

重装系统后有折腾了好久,才搞定。。感觉还是不靠谱。。先记录下

Hadoop 伪分布式配置:

1,hadoop版本

hadoop@Ubuntu:~/collector_3h/hadoop-0.20.2/bin$ ./hadoop version
Hadoop 0.20.2
Subversion https://svn.apache.org/repos/asf/hadoop/common/branches/branch-0.20 -r 911707
Compiled by chrisdo on Fri Feb 19 08:07:34 UTC 2010


2,配置文件

hdfs-site.xml


hadoop@ubuntu:~/collector_3h/hadoop-0.20.2/conf$ cat hdfs-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>

    <property> 
      <name>dfs.permissions</name> 
      <value>false</value> 
    </property> 

    <property>
        <name>dfs.name.dir</name>
        <value>/home/hadoop/collector_3h/hadoop-0.20.2/hdfs/name</value>
    </property>

    <property>
        <name>dfs.data.dir</name>
        <value>/home/hadoop/collector_3h/hadoop-0.20.2/hdfs/data</value>
    </property>
</configuration>

-----------------------

mapred-site.xml


hadoop@ubuntu:~/collector_3h/hadoop-0.20.2/conf$ cat mapred-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>localhost:9001</value>
    </property>


    <property>
    <name>mapred.local.dir</name>
    <value>/home/hadoop/collector_3h/hadoop-0.20.2/mapred/local</value>
    </property> 

    <property>
    <name>mapred.system.dir</name>
    <value>/home/hadoop/collector_3h/hadoop-0.20.2/mapred/system</value>
    </property>

</configuration>

--------------------------------------------

core-site.xml
hadoop@ubuntu:~/collector_3h/hadoop-0.20.2/conf$ cat core-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
  <property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
  </property>

  <property> 
    <name>hadoop.tmp.dir</name> 
    <value>/home/hadoop/collector_3h/hadoop-0.20.2/hdfs/tmp</value> 
  </property> 

</configuration>

--------------------------------------

之后配置eclipse  这个插件真不靠谱

最终用的3.3.2+hadoop 自带的插件

相关问答

更多
  • 1请选择和环境匹配版本hadoop-eclipse的jar包 2请正确填写插件中hdfs、mapreduce的host和port 3请检查hadoop集群是否正常运行
  • java是执行文件,不是目录 java path默认是java_home/bin/目录 这个目录底下应该 java和javac等文件
  • hadoop配置[2022-10-16]

    不是你的环境变量的问题。不知道楼主有没有看Hadoop官网上的介绍。Hadoop所使用的jdk需要修改 conf/hadoop-env.sh 文件,在其中设置 JAVA_HOME 环境变量: export JAVA_HOME="C:\Program Files\Java\jdk1.5.0_01” (因为路径中 Program Files 中间有空格,一定要用双引号将路径引起来) 这里必须是修改Hadoop的conf/hadoop-env.sh 文件,和机器的环境变量没有关系。 有中文文档的。在Hadoop目 ...
  • 我的eclipse是装在WINDOWS下的,HADOOP在CENTOS生产环境。 但原理是一样额 http://club.sm160.com/showtopic-937269.aspx HADOOP 版本是hadoop1.0.0(和你的hadoop1.0.4配置相同)
  • 我使用过之前没有工作的Eclipse Indego 3.7版本,所以我将Eclipse版本降级到3.3。 当我用Google搜索时,我发现Eclipse最新版本中的Hadoop插件发生了一些变化,这些版本在3.3之后发布 I have used Eclipse Indego 3.7 version which was not working previously so i degraded the Eclipse version to 3.3. As i googled i came to know tha ...
  • 这可能发生在作业仅检测到本地文件系统的情况下,它使用LocalFileSystem API与本地文件系统中的文件进行交互。 请参考以下链接, 使用MiniDFSCluster单元测试hadoop hdfs着作 这是我们在开发环境中开发的mapreduce / hdfs代码的单元测试选项之一。虽然在hadoop clsuter中部署相同的代码,但输入文件将在HDFS位置。 This probably happens in the scenario where the job only detects the ...