知识点
相关文章
更多最近更新
更多Hadoop 在Linux 单机上伪分布式 的安装
2019-03-28 13:00|来源: 网络
Hadoop 在Linux 单机上伪分布式 的安装过程：
1，安装JDK
sudo apt-get install openjdk-6-jdk
2，配置JAVA 环境变量
输入命令：
sudo gedit /etc/profile
打开profile 在文件最下面加入如下内容：
# set java home
export JAVA_HOME=/usr/lib/jvm/java-1.6.0-openjdk-i386/
export CLASSPATH=".:JAVA_HOME/lib:$CLASSPATH"
export PATH="$JAVA_HOME:$PATH"
注意根据自己安装的java路径添加，可以用
ls /usr/lib/jvm/ , 查看已安装的jdk路径。
验证jdk是否安装成功：
java -version
3,配置SSH免密码登录
a, 安装SSH ，输入命令：
sudo apt-get install ssh
b,配置可以免密码登录本机。
查看在本用户下是否有文件夹 .ssh.
命令：
ls -l /home/u (自己的用户目录)
c, 在创建id_dsa id_dsa.pub 两个文件，这是SSH一对私钥和公钥。
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
d, 把id_dsa.pub 追加到授权key 里面
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
d, 验证是否成功。
ssh localhost
显示
Welcome to Ubuntu 12.10 (GNU/Linux 3.2.0-29-generic-pae i686)
* Documentation: https://help.ubuntu.com/
Last login: Sun Apr 21 11:16:27 2013 from daniel-optiplex-320.local
相关问答
更多-
在线等！！关于hadoop环境搭建问题[2023-10-24]
1.关闭hdfs权限：hdfs-site.xml中 dfs.permissions false 2.检查eclipse插件是否设置了hadoop安装目录：将与linux下安装的hadoop相同版本的hadoop解压到windows下一个文件夹，然后指定hadoop插件目录，插件目录在preferences的map/reduce的hadoop installation location 3.在windows的hosts文件中添加hadoop所有节点的ip和主机名 4.关闭linux系统防火墙 5.把hadoo ... -
怎样在hadoop伪分布式集群上安装mysql[2022-03-17]
先回答你标题的提问：hadoop完全分布式：3个及以上的实体机或者虚拟机组件的机群。hadoop伪分布式：一个节点看了以上两点相信你已经明白了，“用vm多装几个unbuntu配置完全分布式，然后做实验”这是完全可行的。实际上我们通常也是这么做的，当然可能要求你的电脑cpu和内存足够支撑你这一计划。一点建议：如果你要开发基于Hadoop的分布式程序，伪分布式足够你实验了。如果你要做很多其他事情，比如玩玩cm，玩玩oozie，玩玩hbase，建议装多个虚拟机。 -
学习hadoop到底是部署伪分布式还是安装集群[2023-03-30]
先回答你标题的提问：hadoop完全分布式：3个及以上的实体机或者虚拟机组件的机群。hadoop伪分布式：一个节点看了以上两点相信你已经明白了，“用vm多装几个unbuntu配置完全分布式，然后做实验”这是完全可行的。实际上我们通常也是这么做的，当然可能要求你的电脑cpu和内存足够支撑你这一计划。一点建议：如果你要开发基于Hadoop的分布式程序，伪分布式足够你实验了。如果你要做很多其他事情，比如玩玩cm，玩玩oozie，玩玩hbase，建议装多个虚拟机。 -
如何测试伪分布式hadoop是否安装成功[2023-06-02]
启动hdfs，mr和yarn服务看是否能够正常启动，然后用hadoop fs -ls /是否能够正常执行 -
linux 分布式系统都有哪些？[2022-07-23]
常见的分布式文件系统有，GFS、HDFS、Lustre 、Ceph 、GridFS 、mogileFS、TFS、FastDFS等。各自适用于不同的领域。它们都不是系统级的分布式文件系统，而是应用级的分布式文件存储服务。 GFS（Google File System） -------------------------------------- Google公司为了满足本公司需求而开发的基于Linux的专有分布式文件系统。。尽管Google公布了该系统的一些技术细节，但Google并没有将该系统的软件部分作为 ... -
关于分布式Hadoop在WINDOWS上操作问题[2023-11-29]
若在windows的Eclipse工程中直接启动mapreduc程序，需要先把hadoop集群的配置目录下的xml都拷贝到src目录下，让程序自动读取集群的地址后去进行分布式运行(您也可以自己写java代码去设置job的configuration属性)。 若不拷贝，工程中bin目录没有完整的xml配置文件，则windows执行的mapreduce程序全部通过本机的jvm执行，作业名也是带有“local"字眼的作业，如 job_local2062122004_0001。 这不是真正的分布式运行mapred ... -
如何判断伪分布式的hadoop安装成功[2023-07-01]
启动hdfs，mr和yarn服务看是否能够正常启动，然后用hadoop fs -ls /是否能够正常执行 -
hadoop配置了集群，但启动仍然是伪分布式下的启动状态[2022-08-22]
你可以输入JPS查看一下进程 一般你的master上是namenode secondarynamenode 和jobtracker三个进程 你的slaves上 有各自的datanode 和tasktracker两个进程 你看看是不是有各自进程都启动起来了 启动起来了就是分布式 如果只有一台机子有进程 那你就重新把那些配置文件再设置一下 -
如何检查我的hadoop是否以伪分布式模式运行？(How to check if my hadoop is running in pseudo distributed mode?)[2023-03-05]
要知道您是以独立还是伪分布模式运行hadoop，请验证您的配置文件。 以下信息可能有帮助。 To know if you are running hadoop in Standalone or Pseudo distributed mode, verify your configuration files. Below information might help. -
修改/etc/hosts以包含主机名环回映射： 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 127.0.1.1 is-joshbloom-hadoop ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 您的问题是您的机器不知道如何解析主机名is-joshbloom-hadoop到特定 ...