知识点
相关文章
更多最近更新
更多Hadoop在Windows环境下的部署
2019-03-28 13:52|来源: 网络
经过一整天的折腾，参考了网上很多资料，我机器上的Hadoop似乎是配置成功了。下面分享一下详细的配置过程。也祝愿大家在配置的过程中少走弯路。
注意：本文的配置环境是：
- CygWin最新版本2.769下载地址
- Window7-64bit
- JDK1.6.0_31-win64 (JRE6)下载地址
- Eclipse-Indigo..
- Hadoop 0.20.2 (注意：0.20.203版本不可用，会导致tasktracker无法启动)下载地址
-----------------------------------------华丽分割------------------------------------
环境安装&配置：
1.JDK，我的安装目录：C/Java，安装后视图
安装好了JDK，然后配置JAVA_HOME环境变量:
然后，把JDK下面的BIN目录追加到环境变量PATH后面。
2.CygWin，安装过程中记得选择所需的包，这里需要的是:
Net Category下的：openssh,openssl
BaseCategory下的：sed （若需要Eclipse，必须sed）
Devel Category下的：subversion（建议安装）。具体请参考下面的图示：
安装完成后，把CygWin的bin目录以及usr/sbin 追加到系统环境变量PATH中。
3.Hadoop
把下载的hadoop-0.20.2.tar.gz解压到指定目录。我把解压后的Hadoop程序放到了Cygwin根目录下的hadoop文件夹中。具体如下图示：
（不要使用0.20.203版本的Hadoop！！！）
下面开始配置Hadoop。需要配置的文件：（hadoop/conf目录下）
- hadoop-env.sh
- core-site.xml
- hdfs-site.xml
- mapred-site.xml
第一个文件 hadoop-env.sh
把里面的JAVA_HOME改掉，注意export前面的#号要去掉。
而且必须要使用linux的路径表达方式。我的jdk路径是 C:\JAVA\jdk1.6.0_31，在CygWin中对应的路径为： /cygdrive/c/java/jdk1.6.0_31
第二个文件：core-site.xml
首先删除它，然后把hadoop/src/core目录下的core-default.xml文件复制到conf目录下，并命名为core-site.xml。然后修改其中的fs.default.name变量，如下所示。
（确保端口号（我的是9100）未被占用）
第三个文件：hdfs-site.xml
首先把它删除，然后复制src/hdfs目录下的hdfs-default.xml到conf目录下，并改名为hdfs-site.xml
然后修改dfs.replication变量，如下图示：
该变量意思是文件系统中文件的复本数量。在单独的一个数据节点上运行时，HDFS无法将块复制到三个数据节点上。
第四个文件：mapred-site.xml
首先删除它，然后复制src/mapred目录下的mapred-default.xml到conf目录下，并改名为mapred-site.xml，然后修改其mapred.job.tracker变量：
（同样确保端口号未被占用）
相关问答
更多-
如何在Windows中使用Intellij idea搭建远程Hadoop开发环境[2023-05-20]
（1）准备工作 1） 安装JDK 6或者JDK 7 2） 安装scala 2.10.x (注意版本) 2）下载Intellij IDEA最新版（本文以IntelliJ IDEA Community Edition 13.1.1为例说明，不同版本，界面布局可能不同） 3）将下载的Intellij IDEA解压后，安装scala插件，流程如下： 依次选择“Configure”–> “Plugins”–> “Browse repositories”，输入scala，然后安装即可 （2）搭建Spark源码阅读环境（ ... -
在线等！！关于hadoop环境搭建问题[2023-10-24]
1.关闭hdfs权限：hdfs-site.xml中 dfs.permissions false 2.检查eclipse插件是否设置了hadoop安装目录：将与linux下安装的hadoop相同版本的hadoop解压到windows下一个文件夹，然后指定hadoop插件目录，插件目录在preferences的map/reduce的hadoop installation location 3.在windows的hosts文件中添加hadoop所有节点的ip和主机名 4.关闭linux系统防火墙 5.把hadoo ... -
怎么在windows上搭建hadoop环境[2022-06-20]
1、下载安装JDK，以及Eclipse 具体看此链接：http://blog.csdn.net/weixuehao/article/details/17715793 2、新建JAVA Project 3、去cloudera网站下载hadoop的CDH3u6版本。将起解压到win7的某个目录 4、选中OperateHDFS，右击，选择“property”，弹出右侧的窗口； 选择“Java Build Path” —— “Libraries” —— Add External Jars 5、到上面的画面后，下面就 ... -
如何在Windows中使用Intellij idea搭建远程Hadoop开发环境[2023-10-10]
（1）准备工作 1） 安装JDK 6或者JDK 7 2） 安装scala 2.10.x (注意版本) 2）下载Intellij IDEA最新版（本文以IntelliJ IDEA Community Edition 13.1.1为例说明，不同版本，界面布局可能不同） 3）将下载的Intellij IDEA解压后，安装scala插件，流程如下： 依次选择“Configure”–> “Plugins”–> “Browse repositories”，输入scala，然后安装即可 （2）搭建Spark源码阅读环境（ ... -
如何在Windows中使用Intellij idea搭建远程Hadoop开发环境[2022-04-13]
点击左上角 + ，Type选择SFTP，然后配置服务器ip和部署路径，用户名密码等选项 之后选择自动部署，这样每次修改都会自动部署到服务器，也可以右键 -
恩恩 这个是直接记事本打开修改保存就可以了。。。
-
windows hadoop怎么配置环境变量[2022-02-23]
1)载并解压hadoop-0.20.203.0.修给解压文件夹名字hadoop-0.20.2032)按述所示hadoop-0.20.203/bin路径加PATH环境变量sudo gedit/etc/profile3)修改配置文件配置文件都hadoop-0.20.203/conf目录a.进/hadoop-0.20.203/conf/hadoop-env.sh解注释JAVA -
请访问http://www.visualsvn.com/server/这是一款适用于Windows的免费SVN服务器。 它的设置和配置非常简单。 Have a look at http://www.visualsvn.com/server/ which is a free SVN server for Windows. It's very easy to setup and configure.
-
在Windows 7上运行Hadoop(Running Hadoop On Windows 7)[2023-06-12]
看起来像unix和windows之间的回车差异导致问题。 尝试在shell脚本上运行dos2unix 转到hadoop bin目录并尝试： dos2unix.exe hadoop.sh 然后尝试hadoop命令。 Seems like carriage return difference between unix and windows is causing the problem . Try running dos2unix on the shell script Go to the hadoop bi ... -
有没有一种简单的方法在Windows上部署ror？而不是开发环境(Is there a easy way to deploy ror on windows?not a development environment)[2022-03-10]
试试这里的Ruby安装程序 - http://rubyinstaller.org/ 只是不要安装开发工具包添加。 然后安装gem manager（同一页面）并执行gem install rails。 这应该让你说明。 -将 Try the installer found here for Ruby- http://rubyinstaller.org/ Just don't install the dev kit add on. Then install the gem manager (same page) ...