知识点
相关文章
更多最近更新
更多Hadoop集群(第7期)_Eclipse开发环境设置
2019-03-28 13:16|来源: 网络
相关系列目录:
Hadoop集群安装配置系列(目录) http://www.linuxidc.com/Linux/2012-12/76696.htm
1、Hadoop开发环境简介
1.1 Hadoop集群简介
Java版本:jdk-6u31-linux-i586.bin
Linux系统:CentOS6.0
Hadoop版本:hadoop-1.0.0.tar.gz
1.2 Windows开发简介
Java版本:jdk-6u31-windows-i586.exe
Win系统:Windows 7 旗舰版
Eclipse软件:eclipse-jee-indigo-SR1-win32.zip | eclipse-jee-helios-SR2-win32.zip
Hadoop软件:hadoop-1.0.0.tar.gz
Hadoop Eclipse 插件:hadoop-eclipse-plugin-1.0.0.jar
下载地址:
免费下载地址在 http://linux.linuxidc.com/
用户名与密码都是www.linuxidc.com
具体下载目录在 /2012年资料/12月/23日/Hadoop集群(第7期)_Eclipse开发环境设置
备注:下面是网上收集的收集的"hadoop-eclipse-plugin-1.0.0.jar",除"版本2.0"是根据"V1.0"按照"常见问题FAQ_1"改的之外,剩余的"V3.0"、"V4.0"和"V5.0"和"V2.0"一样是别人已经弄好的,而且我已经都测试过,没有任何问题,可以放心使用。我们这里选择第"V5.0"使用。记得在使用时重新命名为"hadoop-eclipse-plugin-1.0.0.jar"。
2、Hadoop Eclipse简介和使用
2.1 Eclipse插件介绍
Hadoop是一个强大的并行框架,它允许任务在其分布式集群上并行处理。但是编写、调试Hadoop程序都有很大难度。正因为如此,Hadoop的开发者开发出了Hadoop Eclipse插件,它在Hadoop的开发环境中嵌入了Eclipse,从而实现了开发环境的图形化,降低了编程难度。在安装插件,配置Hadoop的相关信息之后,如果用户创建Hadoop程序,插件会自动导入Hadoop编程接口的JAR文件,这样用户就可以在Eclipse的图形化界面中编写、调试、运行Hadoop程序(包括单机程序和分布式程序),也可以在其中查看自己程序的实时状态、错误信息和运行结果,还可以查看、管理HDFS以及文件。总地来说,Hadoop Eclipse插件安装简单,使用方便,功能强大,尤其是在Hadoop编程方面,是Hadoop入门和Hadoop编程必不可少的工具。
2.2 Hadoop工作目录简介
为了以后方便开发,我们按照下面把开发中用到的软件安装在此目录中,JDK安装除外,我这里把JDK安装在C盘的默认安装路径下,下面是我的工作目录:
系统磁盘(E:)
|---HadoopWorkPlat
|--- eclipse
|--- hadoop-1.0.0
|--- workplace
|---……
按照上面目录把Eclipse和Hadoop解压到"E:\HadoopWorkPlat"下面,并创建"workplace"作为Eclipse的工作空间。
备注:大家可以按照自己的情况,不一定按照我的结构来设计。
相关问答
更多-
android 3d游戏开发 所需要的软件[2023-10-23]
eclipse -
hadoop集群设置 多少个节点[2021-10-20]
1.运行环境 三台装有centOS 6.3 的电脑 OpenJDK 1.6 2下载hadoop,加压到你要放置的目录,最好是解压到/opt或者/usr/local目录下 3 创建hadoop群组和hadoop用户 groupadd hadoop useradd hadoop -g hadoop 更改hadoop 用户的密码 在命令行输入:passwd 按提示输入密码 每台电脑上都要进行此步操作,且每个电脑上的hadoop用户的密码都要一样 4 配置免密钥ssh 若为安装ssh应该安装,笔者这里不再赘述,网上 ... -
hadoop开发环境配置[2023-10-03]
我的eclipse是装在WINDOWS下的,HADOOP在CENTOS生产环境。 但原理是一样额 http://club.sm160.com/showtopic-937269.aspx HADOOP 版本是hadoop1.0.0(和你的hadoop1.0.4配置相同) -
开发hadoop eclipse 哪个版本好[2023-03-19]
将下载的hadoop-eclipse-plugin-2.2.0.jar文件放到Eclipse的dropins目录下,重启Eclipse即可看到该插件已生效。 -
请教eclipse里面开发Hadoop程序的input怎么设置[2023-08-07]
hadoop的input在中会在mapreduce的map中读取,map是会分配到slave的机器去执行。 即便是你写了input到了slave上也是没有这个路径的。 一般都是基于hdfs的路径去读取。 本地文件用 hadoop fs -copyFromLocal /localPath /hdfsPath 的命令把本地文件复制到hdfs上就好了 -
安卓应用程序开发使用哪个开发工具最好?[2022-11-21]
eclipse -
安卓手机编程现在用什么软件?并求下载地址。[2022-05-06]
eclipse -
我可以解决这个问题。 将文件从本地文件系统复制到HDFS目标文件系统时,它曾经是这样的:bin / hadoop dfs -put~ / nutch / urls urls。 但它应该是“bin / hadoop dfs -put~ / nutch / urls / * urls”,这里urls / *将允许子目录。 I could solve this issue. when copying files from local file system to HDFS destination filesyst ...
-
我通过以下方式在Eclipse中开发Cassandra / Hadoop应用程序: 使用maven(m2e)为我的Eclipse项目收集和配置依赖项(Hadoop,Cassandra,Pig等) 创建测试用例(src / test / java中的类)来测试我的映射器和缩减器。 诀窍是使用扩展RecordWriter和StatusReporter的内部类动态构建上下文对象。 如果执行此操作,则在调用setup / map / cleanup或setup / reduce / cleanup之后,您可以断言正 ...
-
看看你是否觉得这有用,我把它标记为http://wiki.apache.org/hadoop/EclipseEnvironment See if you find this useful i had it bookmarked http://wiki.apache.org/hadoop/EclipseEnvironment