知识点
相关文章
更多最近更新
更多Hadoop Eclipse 配置
2019-03-28 13:12|来源: 网络
重装系统后有折腾了好久,才搞定。。感觉还是不靠谱。。先记录下
Hadoop 伪分布式配置:
1,hadoop版本
hadoop@Ubuntu:~/collector_3h/hadoop-0.20.2/bin$ ./hadoop version
Hadoop 0.20.2
Subversion https://svn.apache.org/repos/asf/hadoop/common/branches/branch-0.20 -r 911707
Compiled by chrisdo on Fri Feb 19 08:07:34 UTC 2010
2,配置文件
hdfs-site.xml
hadoop@ubuntu:~/collector_3h/hadoop-0.20.2/conf$ cat hdfs-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/home/hadoop/collector_3h/hadoop-0.20.2/hdfs/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/home/hadoop/collector_3h/hadoop-0.20.2/hdfs/data</value>
</property>
</configuration>
-----------------------
mapred-site.xml
hadoop@ubuntu:~/collector_3h/hadoop-0.20.2/conf$ cat mapred-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
<property>
<name>mapred.local.dir</name>
<value>/home/hadoop/collector_3h/hadoop-0.20.2/mapred/local</value>
</property>
<property>
<name>mapred.system.dir</name>
<value>/home/hadoop/collector_3h/hadoop-0.20.2/mapred/system</value>
</property>
</configuration>
--------------------------------------------
core-site.xml
hadoop@ubuntu:~/collector_3h/hadoop-0.20.2/conf$ cat core-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/collector_3h/hadoop-0.20.2/hdfs/tmp</value>
</property>
</configuration>
--------------------------------------
之后配置eclipse 这个插件真不靠谱
最终用的3.3.2+hadoop 自带的插件
相关问答
更多-
android 3d游戏开发 所需要的软件[2023-10-23]
eclipse -
hadoop 链接eclipse的连不上[2023-09-08]
1请选择和环境匹配版本hadoop-eclipse的jar包 2请正确填写插件中hdfs、mapreduce的host和port 3请检查hadoop集群是否正常运行 -
关于hadoop的问题,进来看看呀[2023-07-31]
java是执行文件,不是目录 java path默认是java_home/bin/目录 这个目录底下应该 java和javac等文件 -
hadoop配置[2022-10-16]
不是你的环境变量的问题。不知道楼主有没有看Hadoop官网上的介绍。Hadoop所使用的jdk需要修改 conf/hadoop-env.sh 文件,在其中设置 JAVA_HOME 环境变量: export JAVA_HOME="C:\Program Files\Java\jdk1.5.0_01” (因为路径中 Program Files 中间有空格,一定要用双引号将路径引起来) 这里必须是修改Hadoop的conf/hadoop-env.sh 文件,和机器的环境变量没有关系。 有中文文档的。在Hadoop目 ... -
hadoop开发环境配置[2023-10-03]
我的eclipse是装在WINDOWS下的,HADOOP在CENTOS生产环境。 但原理是一样额 http://club.sm160.com/showtopic-937269.aspx HADOOP 版本是hadoop1.0.0(和你的hadoop1.0.4配置相同) -
安卓应用程序开发使用哪个开发工具最好?[2022-11-21]
eclipse -
安卓手机编程现在用什么软件?并求下载地址。[2022-05-06]
eclipse -
我使用过之前没有工作的Eclipse Indego 3.7版本,所以我将Eclipse版本降级到3.3。 当我用Google搜索时,我发现Eclipse最新版本中的Hadoop插件发生了一些变化,这些版本在3.3之后发布 I have used Eclipse Indego 3.7 version which was not working previously so i degraded the Eclipse version to 3.3. As i googled i came to know tha ...
-
Wordcount示例hadoop(Wordcount example hadoop)[2022-11-10]
这可能发生在作业仅检测到本地文件系统的情况下,它使用LocalFileSystem API与本地文件系统中的文件进行交互。 请参考以下链接, 使用MiniDFSCluster单元测试hadoop hdfs着作 这是我们在开发环境中开发的mapreduce / hdfs代码的单元测试选项之一。虽然在hadoop clsuter中部署相同的代码,但输入文件将在HDFS位置。 This probably happens in the scenario where the job only detects the ...