知识点
相关文章
更多最近更新
更多CentOS 6.3 搭建Hadoop伪分布式
2019-03-28 12:55|来源: 网络
以Basic Server 模式安装CentOS 6.3,将机器名设置为Hadoop1.linuxidc.com
安装完成后,在/etc/hosts中把hadoop1.linuxidc.com 写入 127.0.0.1 后面
推荐阅读:
HDFS的安装和部署 http://www.linuxidc.com/Linux/2013-06/86599.htm
HDFS上块恢复机制 http://www.linuxidc.com/Linux/2013-05/84199.htm
将本地文件拷到HDFS中 http://www.linuxidc.com/Linux/2013-05/83866.htm
用Sqoop进行MySQL和HDFS系统间的数据互导 http://www.linuxidc.com/Linux/2013-04/83447.htm
1、安装jdk,本人较懒,所以直接yum,这样可以省去配置环境变量
yum install java-1.6.0-openjdk java-1.6.0-openjdk-devel -y
2、配置本机无密码登陆
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat .ssh/id_dsa.pub >> .ssh/authorized_keys
之后可以ssh localhost,无密码可登陆即说明配置成功
3、下载并安装hadoop,我使用的是hadoop-1.2.1,直接下载的rpm安装
官网下载成功后,运行命令:
rpm -Uvh hadoop-1.2.1-1.x86_64.rpm
4、修改/etc/hadoop/hadoop-env.sh,将JAVA_HOME修改为真实值
因为是yum安装,所以是默认设置,需要修改为:
export JAVA_HOME=/usr/lib/jvm/java-1.6.0-openjdk-1.6.0.0.x86_64/
5、进入/etc/hadoop/,修改mapred-site.xml,core-site.xml,hdfs-site.xml
core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://hadoop1.linuxidc.com:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/tmp</value>
<description>A base for other temporary directories.</description>
</property>
</configuration>
mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>hadoop1.linuxidc.com:9001</value>
</property>
</configuration>
hdfs-site.xml
<configuration>
<property>
<name>dfs.name.dir</name>
<value>/home/hadoop/dfs/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/home/hadoop/dfs/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
配置完成。
相关问答
更多-
centos6.3安装出现:not enough space on disks[2023-11-07]
你原来win7分盘cde可能还有一个系统保留的100M的小分区,也许系统保留的和cd盘是主分区e是逻辑分区,又或许全部都是主分区,,而硬盘最多允许4个主分区,或者3个以下主分区加一个逻辑分区。所以可能你当前的分区方式已经不能再分区了,如果要继续分区就得对硬盘分区重新规划了,,现在的电脑你不用搞swap也没事的,它的作用是内存不够时把swap分区作为虚拟内存用。你暂时就搞一个分区好了,,, -
centos6.3使用yum install gcc 出现问题[2022-10-25]
可能是因为网络原因,你的yum源的服务器反应不正常。 可以从下面几方面着手。 1,确认你的机器是否可以正常上网。 2,如果能,请在firefox里试着打开上面提到的网址,看一看是否能正常访问。 比如确认一下是否能正常访问 http://centos.ustc.edu.cn/centos/6.4/os/x86_64/repodata/repomd.xml -
linux centos6.3版本怎么修改系统语言为中文[2023-09-30]
#vi /etc/sysconfig/i18n添加 LANG="zh_CN.UTF-8" 然后注消,重新登录 -
如何重启CENTOS 6.3的nginx[2022-05-29]
我也是1核1G内存 装了tengine(nginx)/ php 5.6.10 /mysql 5.6.25/ Resin4.0.44/jdk 1.8.0_45/mono4.0.3 也就是 php /asp.net /jsp 3种环境 也没出现内存不够用的情况。 按照你图片的提示,nginx不是关闭又启动了,而是一直在启动中,你又多次启动的提示 -
如何重启CENTOS 6.3的nginx[2024-03-05]
我也是1核1G内存 装了tengine(nginx)/ php 5.6.10 /mysql 5.6.25/ Resin4.0.44/jdk 1.8.0_45/mono4.0.3 也就是 php /asp.net /jsp 3种环境 也没出现内存不够用的情况。 按照你图片的提示,nginx不是关闭又启动了,而是一直在启动中,你又多次启动的提示 -
hadoop搭建完全分布式完成,可是不会用[2023-08-27]
1、能搭好环境说明水平还不错。 2、下边应该分以下几步走: 一,依据示例程序,自己手写wordcount之类的示例程序,以此充分了解m/r和hdfs的简单原理。 二,针对某些知识点,如hadoop应用场景、hadoop的简单应用等,去百度一下搞定,这样的问题最关键、最需要做的。 三,深入阅读hadoop的源码,把框架的数据流或说工作流搞个大致清楚。 四,试着用hadoop解决一些实际问题和项目应用。 参考下吧。 -
hadoop伪分布式搭建用什么linuix[2024-02-21]
第一步: 安装JDK 因为 Hadoop 运行必须安装 JDK 环境,因此在安装好 Linux 后进入系统的第一步 便是安装 JDK ,安装过程和在 Windows 环境中的安装步骤很类似,首先去Oracle 官网 去下载安装包,然后直接进行解压。我自己解压在路径 /usr/jvm 下面,假如你的安装包现在已经下载在 jvm 文件夹下面,然后 按 Ctrl+Alt+t 进去命令行,然后输入 cd /usr/jvm 进入到jvm文件夹下面,然后再输入如下命令进行解压: sudo tar -zxvf jdk-7 ... -
如何安装CentOS 6.3?[2022-05-26]
安装图解 首先下载CentOS 6.3 用系统安装盘成功引导之后,出现如下界面: 界面说明: Memory test 内存检测 这里选择第一项,安装或升级现有的系统,回车。 出现是否对CD媒体进行测试的提问,这里选择“Skip”跳过测试。 Install or upgrade an existing system 安装或升级现有的系统 install system with basic video driver 安装过程中采用 基本的显卡驱动 Rescue installed system 进入系统修复模式 ... -
如何在Centos6.5下部署hadoop2.2单机伪分布式[2022-02-15]
序号 名称 描述 1 系统环境 Centos6.5 2 JAVA环境 JDK1.7 3 Haoop版本 hadoop2.2.0 安装步骤如下: 序号 步骤 1 解压hadoop,并配置环境变量 2 使用which hadoop命令,测试是否成功 3 配置core-site.xml 4 配置hdfs-site.xml 5 配置yarn-site.xml(非必须,使用默认也可) 6 配置mapred-site.xml 7 配置mapred-env.sh里面的JAVA路径 8 如上的配置完成后,需要新建几个文件夹 ... -
hadoop搭建完全分布式完成,可是不会用[2022-04-01]
搭建的文本,很久了,现在更新的最新版本搭建更加简单,建议你去看看黑马里边的教程,免费的