知识点
相关文章
更多最近更新
更多Hadoop系列:在Linux下部署Hadoop 0.20.1
2019-03-28 13:59|来源: 网络
两台测试虚机,系统为REHL 5.3 x64,正常安装最新版本的JDK,正确设置SSH无密码登录。
服务器一:192.168.56.101 dev1
服务器二:192.168.56.102 dev2
相关阅读:
Linux下单机模式的Hadoop部署 http://www.linuxidc.com/Linux/2011-12/48507.htm
Hadoop入门—Linux下伪分布式计算的安装与wordcount的实例展示 http://www.linuxidc.com/Linux/2011-12/48676.htm
从http://apache.freelamp.com/hadoop/core/hadoop-0.20.1/下载hadoop-0.20.1.tar.gz,把hadoop-0.20.1.tar.gz拷贝到dev1的“/usr/software/hadoop”目录下。登录dev1执行以下命令:
# cd /usr/software/hadoop
# tar zxvf hadoop-0.20.1.tar.gz
# cp -a hadoop-0.20.1 /usr/hadoop
# cd /usr/hadoop/conf
修改hadoop环境配置文件hadoop-env.sh
# vi hadoop-env.sh
添加以下内容:
export JAVA_HOME=/usr/java/jdk1.6.0_16
修改hadoop主要配置文件core-site.xml
# vi core-site.xml
添加以下内容(可以根据需求自行定义):
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://dev1</value>
<description>The name of the default file system. Either the literal string "local" or a host:port for DFS.</description>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/hadoop/tmp</value>
<description>A base for other temporary directories.</description>
</property>
<property>
<name>dfs.name.dir</name>
<value>/usr/hadoop/filesystem/name</value>
<description>Determines where on the local filesystem the DFS name node should store the name table. If this is a comma-delimited list of directories then the name table is replicated in all of the directories, for redundancy. </description>
</property>
<property>
<name>dfs.data.dir</name>
<value>/usr/hadoop/filesystem/data</value>
<description>
Determines where on the local filesystem an DFS data node should store its blocks. If this is a comma-delimited list of directories, then data will be stored in all named directories, typically on different devices. Directories that do not exist are i
gnored.
</description>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
<description>Default block replication. The actual number of replications can be specified when the file is created. The default iSUSEd if replication is not specified in create time.</description>
</property>
</configuration>
修伽hadoop的mapred-site.xml文件
# vi mapred-site.xml
添加如下内容:
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>dev1:9001</value>
<description>
The host and port that the MapReduce job tracker runs at. If "local", then jobs are run in-process as a single map and
reduce task.
</description>
</property>
</configuration>
修改hadoop定义namenode的masters文件:
# vi masters
添加以下内容:
dev1
修改hadoop定义datanode的slaves文件:
# vi slaves
添加以下内容:
dev2
在dev2按以上步骤安装hadoop。
格式化namenode:
# ./hadoop namenode -format
到此所有安装和配置完成。
在dev1执行以下命令,启动hadoop:
# cd /usr/hadoop/bin
# ./start-all.sh
启动完成后,可以以下执行命令来查看hadoop查看其基本情况:
# ./hadoop dfsadmin -report
或在浏览器中输入http://192.168.56.101:50070/dfshealth.jsp查看。
相关问答
更多-
hadoop文件系统的设置 用hadoop fs -ls命令出现错误[2023-09-19]
查看logs的namenode日志。可能的问题:1.防火墙要关闭 2.namenode的安全模式关闭 3.文件的权限问题,更改权限。 -
hadoop文件系统的设置 用hadoop fs -ls命令出现错误[2022-06-14]
查看logs的namenode日志。可能的问题:1.防火墙要关闭 2.namenode的安全模式关闭 3.文件的权限问题,更改权限。 -
hadoop的启动问题[2022-02-13]
这个问题也是刚开始部署环境时遇到的问题,解决方式,是我自己找的,有点烦锁~ 1、首先通过网页查看一下状态显示,可能通过它看出有几个datanode联上了,有几个没联上,从而找出大致的问题在namenode还是datanode上。 1、首先通过netstat -tnp看一下namenode和datanode所使用的端口是否都已经正常开启 2、查看你的logs,不要只看namenode或某个datanode,而要全部查看,每一个结点的最后的log. 3、再就是查看hadoop中master,slavers还有e ... -
Eclipse插件主要用于提交和监视作业以及与HDFS交互,与真实或“伪”群集交互。 如果你在本地模式下运行,那么我认为插件不会带来任何好处 - 因为你的工作将在一个JVM中运行。 考虑到这一点,我会说在Eclipse项目的类路径中包括最新的1.x hadoop-core。 无论如何, MultipleOutputFormat还没有被移植到新的mapreduce包中(在1.1.2或2.0.4-alpha中都没有),所以你需要自己移植它或者找另一种方式(也许是MultipleOutputs - Javadoc ...
-
我最终想出了我的问题 - 我的错误是没有创建一个用我的实体初始化的NSManagedObject的新实例: in -(void)performMapping NSManagedObject *newManagedObject = [[NSManagedObject alloc] initWithEntity:entity insertIntoManagedObjectContext:store.persistentStoreManagedObjectContext]; 然后NSManagedObject成 ...
-
可以通过shell访问hadoop fs,但不能通过java main访问(Can access hadoop fs through shell, but not through java main)[2021-12-17]
你有一个版本不匹配 - 你的问题注意到NameNode运行版本0.20.1 + 169.89(我认为是来自Cloudera发行版CDH2 - http://archive.cloudera.com/cdh/2/ ),并在IntelliJ你正在使用Apache hadoop 2.2.0版。 更新IntelliJ类路径以使用与群集版本兼容的jar - 即: hadoop-0.20.1+169.89-core.jar You have a version mismatch - your questions not ... -
Reskit 0.20.1映射JSON valueForUndefinedKey错误(Reskit 0.20.1 mapping JSON valueForUndefinedKey error)[2022-03-15]
你的问题是你的响应描述符设置了keyPath:@"GameId" ,这实际上应该是keyPath:nil 。 您当前的配置会导致所有映射都应用于NSNumber实例(这显然不起作用)。 Your problem is that your response descriptor sets keyPath:@"GameId", this should actually be keyPath:nil. Your current configuration causes all of your mappings t ... -
在Windows上使用Hadoop 2.6.0提交作业时出错(Error while submitting a job with Hadoop 2.6.0 on Windows)[2022-05-18]
我终于解决了我的问题。 我安装了Java 8 32位而不是64位版本。 我安装了正确的版本和完美提交的Hadoop作业。 I've finally solved my problem. I had Java 8 32 bits installed instead of the 64 bits version. I installed the right version and Hadoop jobs submitted perfectly. -
如何在pandas 0.20.1+中重命名多级组中的所有列(How do you rename all columns in multi level group by in pandas 0.20.1+)[2022-03-06]
这在0.20.1版本中完美0.20.1 : d = {'sum':'foo','min':'bar','max':'bar2'} frame = df.groupby('A').agg({'B' : ['sum'], 'C': ['min', 'max']}).rename(columns=d) frame.columns = frame.columns.droplevel(0) frame = frame.reset_index() print (frame) A foo bar bar2 0 ... -
目前,通过元数据字典映射父ID的功能不可用,但具有0.20.3版本里程碑的活动票证: https://github.com/RestKit/RestKit/issues/1327 更新 RestKit的开发分支现在允许您使用@parent访问层次结构中的父节点或@root来访问层次结构中的根节点。 您正在遍历的层次结构基于您传递到responseDescriptor的keyPath。 因此,在上面的示例中,有两件事需要做。 首先创建一个与MonthlyReport实体具有to-many关系的新实体Year ...