知识点
相关文章
更多最近更新
更多Ubuntu 12.04 LTS 下Hadoop 伪分布式搭建
2019-03-28 12:57|来源: 网络
怎么在Ubuntu 12.04 LTS 下搭建伪分布式的Hadoop不是一个问题,问题是配好了让这玩意启动真是头疼了。
1. 创建那几个配置xml
=================
这个网页:传送门上面是怎么在独立模式和伪分布式模式下创建hadoop要用的站点,hdfs和mapred的简单配置文件
2. 格式化一个hdfs namenode出来
=================
用
hadoop namenode -format
直接能格式化一个namenode
3. 格式化一个hdfs namenode出来
=================
启动hadoop
在终端上输入:(Hadoop为1.1.2版本)
start-all.sh
自动就能启动hadoop几个守护进程
4. 查看启动状态
=================
键入jps,如果启动成功,能够看到:
15287 DataNode
15029 NameNode
15649 JobTracker
15904 TaskTracker
15548 SecondaryNameNode
5.查错
=================
1. 权限问题:
在启动的时候,可能会看到一系列 没有访问权限的错误。
打开hadoop-env.sh
注意以下几个被环境变量标注的文件夹的读写权限:
必须有读权限的:HADOOP_CONF_DIR
必须有写权限的:HADOOP_LOG_DIR、HADOOP_SECURE_DN_LOG_DIR、HADOOP_PID_DIR、 HADOOP_SECURE_DN_PID_DIR
HADOOP_CONF_DIR如果没有读权限,则无法读取配置文件
HADOOP_LOG_DIR、HADOOP_SECURE_DN_LOG_DIR、HADOOP_PID_DIR、 HADOOP_SECURE_DN_PID_DIR没有写权限,则无法写入日志和一些重要数据
2. 没有权限问题,但是貌似也没有启动
这种情况多数是由于配置文件没有找到导致的。
HADOOP_CONF_DIR是hadoop的配置文件存放的地方,如果你没有额外制定,则脚本中的这句话中
export HADOOP_CONF_DIR=${HADOOP_CONF_DIR:-"/etc/hadoop"} 加粗的部分就是默认的配置目录,上面编辑的那几个XML必须放这个目录里,不然hadoop找不到,守护进程无法启动!
相关阅读:
Hadoop部署在RedHat Linux 5上常见错误及解决方案 http://www.linuxidc.com/Linux/2013-07/87080.htm
Ubuntu 13.04上搭建Hadoop环境 http://www.linuxidc.com/Linux/2013-06/86106.htm
Hadoop+ZooKeeper+HBase集群配置 http://www.linuxidc.com/Linux/2013-06/86347.htm
更多Ubuntu相关信息见Ubuntu 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=2
更多Hadoop相关信息见Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13
相关问答
更多-
hadoop搭建完全分布式完成,可是不会用[2023-08-27]
1、能搭好环境说明水平还不错。 2、下边应该分以下几步走: 一,依据示例程序,自己手写wordcount之类的示例程序,以此充分了解m/r和hdfs的简单原理。 二,针对某些知识点,如hadoop应用场景、hadoop的简单应用等,去百度一下搞定,这样的问题最关键、最需要做的。 三,深入阅读hadoop的源码,把框架的数据流或说工作流搞个大致清楚。 四,试着用hadoop解决一些实际问题和项目应用。 参考下吧。 -
关于分布式Hadoop在WINDOWS上操作问题[2023-11-29]
若在windows的Eclipse工程中直接启动mapreduc程序,需要先把hadoop集群的配置目录下的xml都拷贝到src目录下,让程序自动读取集群的地址后去进行分布式运行(您也可以自己写java代码去设置job的configuration属性)。 若不拷贝,工程中bin目录没有完整的xml配置文件,则windows执行的mapreduce程序全部通过本机的jvm执行,作业名也是带有“local"字眼的作业,如 job_local2062122004_0001。 这不是真正的分布式运行mapred ... -
安装mytop而不是mtop http://www.ubuntugeek.com/mytop-top-like-query-monitor-for-mysql.html install mytop instead of mtop http://www.ubuntugeek.com/mytop-top-like-query-monitor-for-mysql.html
-
最后,经过一天的努力,我终于找到了Matlab Kalman / usr / bin / ld的解决方案:找不到-lstdc ++ 。 从来没有想过Fedora的解决方案会解决我的CentOS问题。 Finally, after a day of effort, i finally figured out the solution at Matlab Kalman /usr/bin/ld: cannot find -lstdc++ . Never thought a solution for fedora ...
-
使用XAMPP服务器在ubuntu 12.04 LTS上安装Phalcon(Phalcon installation on ubuntu 12.04 LTS with XAMPP server)[2024-05-07]
您的机器的PHP和XAMPP的PHP之间的版本或配置差别可能很大 如果您尝试在XAMPP中使用Phalcon,您可能会遇到一些编译问题。 编译Phalcon时,默认代码使用您的机器的php脚本运行phpize函数,而不是XAMPP的php脚本。 然后,当您只编译并将.so添加到XAMPP时,它将尝试使用从不同的PHP版本或配置构建的扩展。 当然,只有当您的Ubuntu PHP版本或配置与XAMPP php版本不同时,才会出现该错误。 因此,要纠正这一点,请在Phalcon汇编中添加一个额外的参数,如下所示: ... -
在Ubuntu 12.04 LTS中为darktable 1.6.7构建错误(Build error for darktable 1.6.7 in Ubuntu 12.04 LTS)[2022-06-22]
我想出来了,这非常微不足道。 我没有使用我链接到的黑暗网站上建议的cmake调用,而是使用ccmake来配置和生成。 它会自动填入C标志-fPIC所需的位置。 然后它完美地建造。 I figured this out, it was pretty trivial. Instead of using the cmake call suggested on the darktable site I linked to, I used ccmake to configure and generate. It au ... -
检查你的拼写应该是: puppet module install willdurand/nodejs 你有过: puppet module install wildurand/nodejs 我不确定为什么puppet会抱怨丢失的文件夹,我通常不会按照你的方式安装模块,这让我有了另一点 - 这就是你可能更好的克隆模块和使用vagrant配置器运行木偶适用就像这里描述的: http://docs.vagrantup.com/v2/provisioning/puppet_apply.html Check yo ...
-
我终于通过将/ usr / lib / x86_64-linux-gnu /中的bzip2库文件链接到/ usr / lib来解决这个问题: sudo ln -s /usr/lib/x86_64-linux-gnu/libbz2* /usr/lib 但我想知道为什么gcc无法自动找到库文件,这是我的Unbuntu安装问题还是CASAVA Bcl2Fastq 1.8.3软件的一些不兼容性(因为它是在CentOS上开发和测试的)? I finally solved this by linking the ...
-
在这个如何安装mongodb-on-ubuntu中 ,每个步骤都得到了很好的解释。 我试过,它按预期顺利进行。 祝你好运! :) In this how-to-install-mongodb-on-ubuntu, each step was well explained. I tried and it went well as expected. Good luck! :)
-
在Ubuntu 12.04 LTS中为vagrant安装内核头文件(installing Kernel headers for vagrant in Ubuntu 12.04 LTS)[2023-02-06]
试试sudo apt-get install linux-headers-$(uname -r) Try sudo apt-get install linux-headers-$(uname -r)