知识点
相关文章
更多最近更新
更多Hadoop伪分布式配置及遇到的问题
2019-03-28 14:11|来源: 网络
一、运行wordcount例子
在Hadoop上新建目录，然后用put程序将linux中的文件input1.txt和input2.txt输入到hadoop文件系统中的/tmp/input/中
hadoop fs -mkdir /tmp/input
hadoop fs -mkdir /tmp/output
hadoop fs -put input1.txt /tmp/input/
hadoop fs -put input2.txt /tmp/input/
执行wordcount例子，注意：/tmp/output1的“/”要加上。而且/tmp/output1这个输出目录不能提前创建。
执行程序：
bin/hadoop jar ~/software/hadoop-0.20.2/hadoop-0.20.2-examples.jar wordcount /tmp/input /tmp/output1
查看结果：
（1）浏览器查看hdfs
（2）命令行：bin/hadoop fs -cat /tmp/output1/part-r-00000
二、进入不了hdfs
hadoop运行状态直接关机，导致hadoop数据目录（/tmp/hadoop-USERNAME）被删除，重起开启计算机，，使用start-all.sh启动hadoop，使用jps命令（启动hadoop服务后直接在终端中输入jps即可）会发现namenode没起来。
解决方案：应该删除 /tmp/hadoop-root/dfs/name这个目录，然后再重新格式化，成功。然后执行bin/stop-all.sh ，bin/hadoop namenode –format命令重新格式化。
注意要关机前使用命令stop-all.sh关闭hadoop。
相关问答
更多-
hadoop搭建完全分布式完成，可是不会用[2023-08-27]
1、能搭好环境说明水平还不错。 2、下边应该分以下几步走： 一，依据示例程序，自己手写wordcount之类的示例程序，以此充分了解m/r和hdfs的简单原理。 二，针对某些知识点，如hadoop应用场景、hadoop的简单应用等，去百度一下搞定，这样的问题最关键、最需要做的。 三，深入阅读hadoop的源码，把框架的数据流或说工作流搞个大致清楚。 四，试着用hadoop解决一些实际问题和项目应用。 参考下吧。 -
如何配置hadoop伪分布式配置[2023-08-24]
0.关闭防火墙 service iptables start;#立即开启防火墙，但是重启后失效。 service iptables stop;#立即关闭防火墙，但是重启后失效。 重启后生效 chkconfig iptables on;#开启防火墙，重启后生效 chkconfig iptables off;#关闭防火墙，重启后生效 1.配置主机名 !!!!!注意安装hadoop的集群主机名不能有下划线!!不然会找不到主机!无法启动! 配置主机名 $vi /etc/sysconfig/network $sour ... -
hadoop伪分布式搭建用什么linuix[2024-02-21]
第一步： 安装JDK 因为 Hadoop 运行必须安装 JDK 环境，因此在安装好 Linux 后进入系统的第一步 便是安装 JDK ，安装过程和在 Windows 环境中的安装步骤很类似，首先去Oracle 官网 去下载安装包，然后直接进行解压。我自己解压在路径 /usr/jvm 下面，假如你的安装包现在已经下载在 jvm 文件夹下面，然后 按 Ctrl+Alt+t 进去命令行，然后输入 cd /usr/jvm 进入到jvm文件夹下面，然后再输入如下命令进行解压： sudo tar -zxvf jdk-7 ... -
hadoop伪分布式需要配置yarn么[2022-01-21]
Hadoop 有两个主要版本，Hadoop 1.x.y 和 Hadoop 2.x.y 系列，比较老的教材上用的可能是 0.20 这样的版本。Hadoop 2.x 版本在不断更新，本教程均可适用 如果需安装 0.20，1.2.1这样的版本，本教程也可以作为参考，主要差别在于配置项，配置请参考官网教程或其他教程。 -
什么是伪分布式？（hadoop中遇到的）[2022-04-23]
hadoop分为单机模式，伪分布式，和完全分布式。 你说的伪分布式是指：一个机器上，即当namenode，又当datanode,或者说即是jobtracker,又是tasktracker。没有所谓的在多台机器上进行真正的分布式计算，故称为"伪分布式"。 -
在 /usr/local/hadoop/ 下面启动，找到是/opt/Hadoop/下面的hadoop安装包，是不是HADOOP_HOME环境变量配置的有问题。 可以到海牛部落交流，那里有好多学习hadoop的朋友
-
hadoop配置了集群，但启动仍然是伪分布式下的启动状态[2022-08-22]
你可以输入JPS查看一下进程 一般你的master上是namenode secondarynamenode 和jobtracker三个进程 你的slaves上 有各自的datanode 和tasktracker两个进程 你看看是不是有各自进程都启动起来了 启动起来了就是分布式 如果只有一台机子有进程 那你就重新把那些配置文件再设置一下 -
mahout 和 hadoop没有啥关系，非得说关系的话，你得弄清二者是干啥的 mahout是一个机器学习算法库，人家是做一些经典的机器学习的算法实现的； hadoop是一个开源的分布式的数据处理引擎（HadoopV1来说，是MapReduce）,人家很多时候是做大规模数据处理的； 所以，Mahout上的一些算法支持用mapreduce的编程模型实现，所以就可以运行在Hadoop平台上； 这样说你就可以明白了吧，二者不是一个层级上的东西，所发挥的作用也是不一样的，而且你运行的实例的确也没有用到Hadoop。 ...
-
hadoop 集群 和 hadoop 分布式 怎么理解啊[2022-02-07]
hadoop集群指的是一群机器在一起提供一个hadoop的集群的服务。 hadoop分布式指的是hadoop支持任务分布式运行，因为有hadoop集群提供服务，所以hadoop将任务分发到集群的多台机器运行，所以叫做分布式。 一个是服务器架构，一个是任务运行架构。 -
如何检查我的hadoop是否以伪分布式模式运行？(How to check if my hadoop is running in pseudo distributed mode?)[2023-03-05]
要知道您是以独立还是伪分布模式运行hadoop，请验证您的配置文件。 以下信息可能有帮助。 To know if you are running hadoop in Standalone or Pseudo distributed mode, verify your configuration files. Below information might help.