知识点
相关文章
更多最近更新
更多Hadoop单机环境搭建笔记(Ubuntu)
2019-03-28 13:38|来源: 网络
hadoop下载地址:
http://www.apache.org/dyn/closer.cgi/hadoop/core/
这里下载的版本是1.0.3
$ mkdir hadoop
$ wget http://www.fayea.com/apache-mirror/hadoop/core/stable/hadoop-1.0.3.tar.gz .
安装java
首先用“java -version”查看是否已安装,如果显示类似于java version "1.7.0_147-icedtea 则表示已安装
没有安装可以参考:http://www.linuxidc.com/Linux/2012-07/64509.htm
安装必须设置JAVA_HOME和CLASSPATH
我的配置:
export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-i386/
export CLASSPATH=/home/zxm/java:$CLASSPATH:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar
并将这两行语句放在:~/.bashrc中
安装ssh
$ sudo apt-get install ssh
安装完成后,需要确认可以用ssh免密码登录localhost
$ ssh localhost
如果需要密码才能登录,则需要设置:
$ ssh-keygen -t dsa -P ” -f ~/.ssh/id_dsachin@lily ~
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
安装rsync
rsync是linux实现远程同步的软件
$ sudo apt-get install rsync
配置启动hadoop
解压:
$ tar -zxvf hadoop-1.0.3.tar.gz
修改配置文件:
修改conf/core-site.xml:
- <configuration>
- <property>
- <name>fs.default.name</name>
- <value>hdfs://localhost:9000</value>
- </property>
- </configuration>
- <configuration>
- <property>
- <name>dfs.replication</name>
- <value>1</value>
- </property>
- </configuration>
- <configuration>
- <property>
- <name>mapred.job.tracker</name>
- <value>localhost:9001</value>
- </property>
- </configuration>
$ bin/hadoop namenode –format
启动:
$ bin/start-all.sh
确认启动:
$ jps
5146 Jps
4538 TaskTracker
4312 JobTracker
4015 DataNode
4228 SecondaryNameNode
3789 NameNode
表示启动成功
以下内容写入~/.bashrc:
- sh /home/zxm/hadoop/hadoop-1.0.3/bin/start-all.sh
- alias hadoop='/home/zxm/hadoop/hadoop-1.0.3/bin/hadoop'
- alias hls='hadoop fs -ls'
- alias hlsr='hadoop fs -lsr'
- alias hcp='hadoop fs -cp '
- alias hmv='hadoop fs -mv'
- alias hget='hadoop fs -get'
- alias hput='hadoop fs -put'
- alias hrm='hadoop fs -rm'
- alias hmkdir='hadoop fs -mkdir'
- alias hcat='hadoop fs -cat'
- alias hrmr='hadoop fs -rmr'
- alias hstat='hadoop fs -stat'
- alias htest='hadoop fs -test'
- alias htext='hadoop fs -text'
- alias htouchz='hadoop fs -touchz'
- alias hdu='hadoop fs -du'
- alias hdus='hadoop fs -dus'
- alias hchmod='hadoop fs -chmod'
- alias hchgrp='hadoop fs -chgrp'
- alias hchown='hadoop fs -chown'
- alias htail='hadoop fs -tail'
相关问答
更多-
在线等!!关于hadoop环境搭建问题[2023-10-24]
1.关闭hdfs权限:hdfs-site.xml中 dfs.permissions false 2.检查eclipse插件是否设置了hadoop安装目录:将与linux下安装的hadoop相同版本的hadoop解压到windows下一个文件夹,然后指定hadoop插件目录,插件目录在preferences的map/reduce的hadoop installation location 3.在windows的hosts文件中添加hadoop所有节点的ip和主机名 4.关闭linux系统防火墙 5.把hadoo ... -
hadoop搭建单机环境要在什么系统[2023-12-14]
你可以在Windows系统上,装linux的虚拟机 在linux虚拟机上装hadoop -
怎么在windows上搭建hadoop环境[2022-06-20]
1、下载安装JDK,以及Eclipse 具体看此链接:http://blog.csdn.net/weixuehao/article/details/17715793 2、新建JAVA Project 3、去cloudera网站下载hadoop的CDH3u6版本。将起解压到win7的某个目录 4、选中OperateHDFS,右击,选择“property”,弹出右侧的窗口; 选择“Java Build Path” —— “Libraries” —— Add External Jars 5、到上面的画面后,下面就 ... -
配置单机hadoop 环境[2024-02-24]
你用0.21版本的吧? 这个不稳定,且不提供支持的,现在学的话找0.20版本的学吧。 HDFS not found可能是由于你的HADOOP_HOME没有设置, 执行如下命令后再hdfs namenode -format: export HADOOP_HOME="你的hadoop安装路径" -
怎样在本地搭建hadoop测试环境[2024-01-29]
namenode节点配置 conf/core-site.xml: fs.default.name hdfs:// localhost:9000 hdfs测试环境配置 conf/hdfs-site.xml: 数据块不需要冗余 dfs.replication 1 job-tracker配置 conf/mapred-site.xml: mapred.job.tracker localhost:9001 免密码ssh登录配置 $ ssh localhost # 若不行, 则进行以下配置 $ ssh-keygen - ... -
搭建hadoop环境时的网络设置问题[2022-05-05]
你肯定可以把你的宿主机的ip固定下来 而且使用bridge 你的虚拟机也能设置成固定的ip -
Ubuntu系统中搭建单机hadoop,启动正常,但是提示找不到hadoop命令,如何解决?[2022-04-30]
vim /etc/profile 导入hadoop路径 -
hadoop client 环境怎么搭建[2022-11-10]
单节点localhost. 否则就是各节点的hostname,另外要区分你用的是哪个版本的hadoop,最新版本不需要在配置文件里指定哪个是master,只需配置namenode的hostname即可 -
搭建hadoop环境用linux哪个好[2022-03-18]
centOs6,redhat,Ubuntu都行,我个人感觉centOs比较好用,我自己也在用。 -
ubuntu怎么配置单机hadoop[2023-09-06]
ubuntu配置单机hadoop的步骤: 1、创建hadoop用户组 2、创建hadoop用户 sudo adduser -ingroup hadoop hadoop 回车后会提示输入新的UNIX密码,这是新建用户hadoop的密码,输入回车即可。 如果不输入密码,回车后会重新提示输入密码,即密码不能为空。 最后确认信息是否正确,如果没问题,输入 Y,回车即可。 3、为hadoop用户添加权限 输入:sudo gedit /etc/sudoers 回车,打开sudoers文件 给hadoop用户赋予和roo ...