知识点
相关文章
更多最近更新
更多Hadoop 0.20.0+RHEL 5+Eclipse plugin+Makefile开发环境搭建
2019-03-28 13:48|来源: 网络
这里通过在Linux系统下,搭建基于Hadoop + Eclipse plugin的开发环境,并在实际中使用。下面详述具体的配置和实践情况。
RHEL 5环境配置
(1)无密码验证配置
执行如下命令:
- [www.linuxidc.com @localhost .ssh]$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
- [www.linuxidc.com @localhost .ssh]$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
- [www.linuxidc.com @localhost .ssh]$ ssh localhost
否则,如果出现需要输入密码进入,则需要检查一下你的.ssh目录的权限,包括.ssh目录下的authorized_keys和known_hosts是否具有读(r)的权限,如果问题出在这里,授权即可。
(2)环境变量配置
修改.bashrc文件,配置环境变量:
[www.linuxidc.com @localhost ~]$ vi .bashrc
- # .bashrc
- # Source global definitions
- if [ -f /etc/bashrc ]; then
- . /etc/bashrc
- fi
- # User specific aliases and functions
- export JAVA_HOME=/usr/java/jdk1.6.0_16
- export PATH=$JAVA_HOME/bin:$PATH
- export CLASSPATH=.:$JAVA_HOME/jre/lib/*.jar:$JAVA_HOME/jre/lib/*.jar
- export HADOOP_HOME=/home/shirdrn/eclipse/eclipse-3.5.2/hadoop/hadoop-0.20.0
- export PATH=$PATH:$HADOOP_HOME/bin
Hadoop准备
1、下载hadoop-0.20.0.tar.gz压缩包,解压缩到/home/shirdrn/eclipse/eclipse-3.5.2/hadoop/目录下面:
[www.linuxidc.com @localhost hadoop]$ tar -xzvf hadoop-0.20.0.tar.gz
2、配置Hadoop
(1)修改hadoop-0.20.0/conf/hadoop-env.sh,在该文件中增加如下三行:
- export JAVA_HOME=/usr/java/jdk1.6.0_16
- export HADOOP_HOME=/home/shirdrn/eclipse/eclipse-3.5.2/hadoop/hadoop-0.20.0
- export PATH=$PATH:$HADOOP_HOME/bin
(2)修改hadoop-0.20.0/conf/core-site.xml,内容如下所示:
- <?xml version="1.0"?>
- <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
- <!-- Put site-specific property overrides in this file. -->
- <configuration>
- <property>
- <name>fs.default.name</name>
- <value>hdfs://localhost:9000</value>
- </property>
- <property>
- <name>hadoop.tmp.dir</name>
- <value>/tmp/hadoop/hadoop-${user.name}</value>
- </property>
- </configuration>
(3)修改hadoop-0.20.0/conf/hdfs-site.xml,内容如下所示:
- <?xml version="1.0"?>
- <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
- <!-- Put site-specific property overrides in this file. -->
- <configuration>
- <property>
- <name>dfs.replication</name>
- <value>1</value>
- </property>
- </configuration>
(4)修改hadoop-0.20.0/conf/mapred-site.xml,内容如下所示:
- <?xml version="1.0"?>
- <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
- <!-- Put site-specific property overrides in this file. -->
- <configuration>
- <property>
- <name>mapred.job.tracker</name>
- <value>localhost:9001</value>
- </property>
- </configuration>
Eclipse plugin配置
这个配置比较容易一点:
解压缩eclipse-SDK-3.5.2-linux-gtk.tar.gz到/home/shirdrn/eclipse/目录下面,然后将hadoop-0.20.0/contrib/eclipse-plugin/hadoop-0.20.0-eclipse-plugin.jar插件拷贝到/home/shirdrn/eclipse/eclipse-3.5.2/eclipse/plugins/目录下面:
[www.linuxidc.com @localhost ~]$ cp /home/shirdrn/eclipse/eclipse-3.5.2/hadoop/hadoop-0.20.0/contrib/eclipse-plugin/hadoop-0.20.0-eclipse-plugin.jar /home/shirdrn/eclipse/eclipse-3.5.2/eclipse/plugins/
然后,就可以在RHEL 5下启动Eclipse开发工具了。
相关问答
更多-
android 3d游戏开发 所需要的软件[2023-10-23]
eclipse -
关于hadoop的问题,进来看看呀[2023-07-31]
java是执行文件,不是目录 java path默认是java_home/bin/目录 这个目录底下应该 java和javac等文件 -
在线等!!关于hadoop环境搭建问题[2023-10-24]
1.关闭hdfs权限:hdfs-site.xml中 dfs.permissions false 2.检查eclipse插件是否设置了hadoop安装目录:将与linux下安装的hadoop相同版本的hadoop解压到windows下一个文件夹,然后指定hadoop插件目录,插件目录在preferences的map/reduce的hadoop installation location 3.在windows的hosts文件中添加hadoop所有节点的ip和主机名 4.关闭linux系统防火墙 5.把hadoo ... -
把你编译后的hadoop源码丢到原来的hadoop集群环境中去 即覆盖hadoop安装目录下的原hadoop-core-xxx.jar 同样的所有节点都需要更新 然后重启集群
-
hadoop开发环境配置[2023-10-03]
我的eclipse是装在WINDOWS下的,HADOOP在CENTOS生产环境。 但原理是一样额 http://club.sm160.com/showtopic-937269.aspx HADOOP 版本是hadoop1.0.0(和你的hadoop1.0.4配置相同) -
安卓应用程序开发使用哪个开发工具最好?[2022-11-21]
eclipse -
这些信息已有一年多的历史,并讨论了将hadoop源下载和导入Eclipse的一种方法,以便您可以更改核心hadoop代码。 如果您只想开发在hadoop之上运行的hadoop作业,那么你可以 安装Eclipse的hadoop插件(我从未使用过),或者 使用maven为你的代码定义hadoop库依赖项(我经常这样做)。 这个(加上在本地机器上安装hadoop)将允许您在Eclipse中开发,调试和测试hadoop作业。 所以不,这个页面与Eclipse的hadoop插件无关。 This information ...
-
如果你想“插入”一个新的插件,把它放在eclipse/dropins文件夹中。 否则,您应该使用P2正确安装它,或者至少使用-clean命令行参数启动Eclipse。 If you want to just "drop in" a new plug-in, put it in the eclipse/dropins folder. Otherwise, you're expected to install it properly using P2, or at least launch Eclipse wi ...
-
听起来你有一个与你的日食不兼容的eclipse插件。 试试这个SO链接 Sounds like you have an eclipse plugin which is not compatible with your eclipse. Try this SO Link
-
实际上,您不需要专用的Hadoop集群。 只是你必须告诉Eclipse你打算在你的伪分布式集群上运行这个工作,而不是在本身内部运行。 为此,您需要在代码中添加以下行: Configuration conf = new Configuration(); conf.set("fs.default.name", "hdfs://localhost:9000"); conf.set("mapred.job.tracker", "localhost:9001"); 然后通过以下方式将减速器数量设置为2: job.s ...