知识点
相关文章
更多最近更新
更多Ubuntu部署Hadoop
2019-03-28 13:38|来源: 网络
sudo useradd -m -s /bin/bash -G sudo hadoop
sudo su - hadoop
sudo su - hadoop
注意：创建hadoop用户后，必须使用hadoop用户登陆再继续后续操作，不然启动hadoop时会出现权限问题。
安装ssh
sudo apt-get install ssh
#
安装ssh
ssh-keygen -t rsa # 生成ssh密钥
ssh-copy-id -i .ssh/id_rsa.pub localhost # 本地ssh验证
ssh localhost
exit
ssh-keygen -t rsa # 生成ssh密钥
ssh-copy-id -i .ssh/id_rsa.pub localhost # 本地ssh验证
ssh localhost
exit
安装JDK
sudo apt-get install
default-jdk
安装hadoop
cd /home/hadoop/
sudo wget http://archive.apache.org/dist/hadoop/core/stable/hadoop-1.0.3.tar.gz # 下载hadoop
tar xvzf hadoop-1.0.3.tar.gz # 解压
ln -s hadoop-1.0.3 hadoop # 建立软链接
sudo wget http://archive.apache.org/dist/hadoop/core/stable/hadoop-1.0.3.tar.gz # 下载hadoop
tar xvzf hadoop-1.0.3.tar.gz # 解压
ln -s hadoop-1.0.3 hadoop # 建立软链接
编辑/etc/profile 设置环境变量
export JAVA_HOME=/usr/lib/jvm/java-6-openjdk-i386
export HADOOP_HOME=/home/hadoop/hadoop-1.0.2
export PATH= $PATH: $HADOOP_HOME/bin: $JAVA_HOME/bin
export HADOOP_HOME_WARN_SUPPRESS=1 # 忽略hadoop的警告。
export HADOOP_HOME=/home/hadoop/hadoop-1.0.2
export PATH= $PATH: $HADOOP_HOME/bin: $JAVA_HOME/bin
export HADOOP_HOME_WARN_SUPPRESS=1 # 忽略hadoop的警告。
编辑~/hadoop-1.0.3/conf/hadoop-env.sh脚本，添加以下内容
export JAVA_HOME=/usr/lib/jvm/java-6-openjdk-i386
#
添加JDK支持
export HADOOP_SSH_OPTS= " -p 22 " # 配置ssh端口号(默认22)
export HADOOP_SSH_OPTS= " -p 22 " # 配置ssh端口号(默认22)
修改~/hadoop-1.0.3/conf/core-site.xml
<?
xml version="1.0"
?>
<? xml-stylesheet type="text/xsl" href="configuration.xsl" ?>
<!-- Put site-specific property overrides in this file. -->
< configuration >
< property >
< name >fs.default.name </ name >
< value >hdfs://localhost:9000 </ value >
</ property >
< property >
< name >hadoop.tmp.dir </ name >
< value >/home/hadoop/tmp </ value >
</ property >
</ configuration >
<? xml-stylesheet type="text/xsl" href="configuration.xsl" ?>
<!-- Put site-specific property overrides in this file. -->
< configuration >
< property >
< name >fs.default.name </ name >
< value >hdfs://localhost:9000 </ value >
</ property >
< property >
< name >hadoop.tmp.dir </ name >
< value >/home/hadoop/tmp </ value >
</ property >
</ configuration >
修改~/hadoop-1.0.3/conf/hdfs-site.xml
<?
xml version="1.0"
?>
<? xml-stylesheet type="text/xsl" href="configuration.xsl" ?>
<!-- Put site-specific property overrides in this file. -->
< configuration >
< property >
< name >dfs.name.dir </ name >
< value >/home/hadoop/name </ value >
</ property >
< property >
< name >dfs.data.dir </ name >
< value >/home/hadoop/data </ value >
</ property >
< property >
< name >dfs.replication </ name >
< value >2 </ value > #默认是3份
</ property >
</ configuration >
<? xml-stylesheet type="text/xsl" href="configuration.xsl" ?>
<!-- Put site-specific property overrides in this file. -->
< configuration >
< property >
< name >dfs.name.dir </ name >
< value >/home/hadoop/name </ value >
</ property >
< property >
< name >dfs.data.dir </ name >
< value >/home/hadoop/data </ value >
</ property >
< property >
< name >dfs.replication </ name >
< value >2 </ value > #默认是3份
</ property >
</ configuration >
修改~/hadoop-1.0.3/conf/mapred-site.xml
<?
xml version="1.0"
?>
<? xml-stylesheet type="text/xsl" href="configuration.xsl" ?>
<!-- Put site-specific property overrides in this file. -->
< configuration >
< property >
< name >mapred.job.tracker </ name >
< value >localhost:9001 </ value >
</ property >
</ configuration >
<? xml-stylesheet type="text/xsl" href="configuration.xsl" ?>
<!-- Put site-specific property overrides in this file. -->
< configuration >
< property >
< name >mapred.job.tracker </ name >
< value >localhost:9001 </ value >
</ property >
</ configuration >
修改~/hadoop-1.0.3/conf/masters 设置namenode节点
localhost
#
本机
修改~/hadoop-1.0.3/conf/slaves 设置datanode节点
localhost
#
本机
格式化hdfs文件系统的namenode
hadoop namenode -format
完成测试
hadoop/bin/start-all.sh
#
启动hadoop
hadoop dfs -mkdir test # hdfs操作，建立目录
hadoop dfs -ls # 查看现有文件
hadoop/bin/stop-all.sh # 停止hadoop
hadoop dfs -mkdir test # hdfs操作，建立目录
hadoop dfs -ls # 查看现有文件
hadoop/bin/stop-all.sh # 停止hadoop
相关问答
更多-
ubuntu下配置hadoop不能正常运行。。求帮忙[2023-01-29]
刚接触的话就换成root用户试试，原因是没有执行权限，或者将hadoop安装目录的所有权限赋予给当前用户 -
怎么查看ubuntu是不是用的hadoop用户[2021-08-28]
创建hadoop用户 sudo adduser -ingroup hadoop hadoop 回车后会提示输入新的UNIX密码，这是新建用户hadoop的密码，输入回车即可。 如果不输入密码，回车后会重新提示输入密码，即密码不能为空。 最后确认信息是否正确，如果没问题，输入 Y，回车即可。 -
Window下使用eclipse连接Ubuntu上部署的hadoop[2022-08-11]
HADOOP_HOME路径下的hadoop-0.20.*-core.jar,hadoop-0.20.*-ant.jar,hadoop-0.20.*-tools.jar等包也复制了吗？ 很重要滴 -
对于ubuntu14.04上的hadoop变量，/ .profile与/.bashrc(/.profile vs. /.bashrc for hadoop variables on ubuntu14.04)[2022-02-11]
对于全局变量（即所有用户），您应该将它们放在/etc/profile.d/下的新文件中，例如：/etc/profile.d/hadoop2-7.sh。 权限应为0644（用户：rw-，组：r--，其他：r--）。 希望这可以帮助你。 For global variables (i.e. all users), you should put them into a new file under /etc/profile.d/, for example: /etc/profile.d/hadoop2-7.sh. ... -
如果您想进行分发安装，Cloudera可以使用Cloudera Manager轻松安装Ubuntu。 虽然它只官方支持12.04，但它也应该安装在13.x上 你可以在这里下载： Cloudera Manager Cloudera Manager supports the following operating systems: Red Hat-compatible systems Red Hat Enterprise Linux and CentOS 5.7, 64-bit ...
-
你的错误非常直观。 您尝试过的选项1： 除非您已定义共享文件夹 ，否则无法从托管 VM的计算机复制到VM，因此/home/hduser/Downloads/hadoop2.7.1.tar.gz not found错误。 您尝试过的选项2： Cannot write to hadoop-2.7.1.tar.gz (Permission denied). 表示您没有相应的权限才能下载此文件。 您可以在选项2中使用sudo尝试相同的命令，以便修复此问题或从VM中下载hadoop tar文件并将其解压缩为第一个选项 ...
-
如果您有Windows环境，我建议您使用VirtualBox和任何Linux作为Guest OS。 您可以在其上构建Hadoop集群。 有许多适用于Linux的安装程序，你不能错。 我们正是以这种方式将其用于开发目的。 Hadoop集群的性能不像功能那样受到关注。 它还允许您微调您的dev ops因为您可以撕开并重新启动新VM。 构建这种方式最简单的方法是： 安装VirtualBox 安装Vagrant 使用以下社区提供的框： http ： //www.vagrantbox.es/ 引导您的VM以获取yum ...
-
通过Ubuntu 14.04进行Hadoop多节点集群手动安装(Hadoop multi-node cluster manual installation over Ubuntu 14.04)[2023-05-26]
我想，Michael Noll的教程太旧了。 我找到了这个网站： https://www.digitalocean.com/community/tutorials/how-to-install-hadoop-on-ubuntu-13-10 我的大学实验室里有一个迷你集群（有5个奴隶和一个主人）。 Ubuntu 12.04和Hadoop 2.5.0就在那里。 此外，我在Ubuntu 12.04上的Hadoop 1.2.1笔记本电脑（2个奴隶和一个主人）中也有一个VM集群。 但我无法在Ubuntu 14.04中 ... -
如何在VM框中的Ubuntu Linux中安装Hadoop和Hive？(How Install Hadoop and Hive in Ubuntu Linux in VM box?)[2022-10-08]
既然你是Hadoop和Hive的新手，你最好继续使用他们的.tar.gz档案，恕我直言。 如果事情不顺利，你不必一次又一次地完成整个卸载并重新安装。 只需下载hadoop-1.1.2.tar.gz，解压缩，将解压缩的文件夹放在一个方便的位置，然后继续进行配置。 如果您需要有关配置的一些帮助，可以访问此帖子 。 我试图用所有细节解释完整的程序。 配置Hive非常简单。 下载.tar.gz文件。 解压缩就像你使用Hadoop一样。 然后按照此处显示的步骤操作。 Since you are new to both ... -
听起来你有一个与你的日食不兼容的eclipse插件。 试试这个SO链接 Sounds like you have an eclipse plugin which is not compatible with your eclipse. Try this SO Link