Hadoop 单机节点集群安装

2019-03-28 13:21|来源: 网络

安装 Ubantun 11.10 ,root:Hadoop/hadoop

安装yum:sudo apt-get install yum

更改 root密码:sudo passwd root 输入两次密码即可

安装ssh:apt-get install ssh

配置ssh免密码登录

root@Ubuntu:~# ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
Generating public/private dsa key pair.
Created directory '/root/.ssh'.
Your identification has been saved in /root/.ssh/id_dsa.
Your public key has been saved in /root/.ssh/id_dsa.pub.
The key fingerprint is:
be:03:05:4b:ea:dd:5e:c0:43:e7:a0:ce:13:26:5b:32 root@ubuntu
The key's randomart image is:
+--[ DSA 1024]----+
|                |
|      o o .      |
|    o * +      |
|    E * = .      |
|  . @ +So      |
|    o *.. .      |
|      +..      |
|        o.      |
|        ..      |
+-----------------+

root@ubuntu:~# cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
root@ubuntu:~# cd .ssh/
root@ubuntu:~/.ssh# ls
authorized_keys  id_dsa  id_dsa.pub
root@ubuntu:~/.ssh# cat authorized_keys
ssh-dss AAAAB3NzaC1kc3MAAACBANeaZTGYfT+t4C2EERqIOx6E7KOvrz/+kDSgBSMLz0rCKdXVMdVsfAmqXumfnq7StnFM2WYnz11tmGvHymmJQNrVvd4pAUFKd/oX6uCNpjXA45CMCivXNq67dBM1SDhhBzpntxLNDpU1GVniegiD2a6gFREzhdKe9a2OOA6xoECLAAAAFQDhsAFK1H0VezETQoXe3aWYnm9QRwAAAIBmE8x14azfEhaO59rF7uVlQbjKIOMcBtN9Q0tpuLNkX9bCaqVNMsTanaDXJKoW/cwboRY/32HET/Noc7uqfJZk4YY87ihaPsEeoOZ8uZpknWKDul6j3sbk1yroor16wqCA8CK2Z1Ro22lRY+WHtdeEFfFZd6vvlNxBwQTQCbKuggAAAIAB0gp4uSAY6DEiVnxLfjDx2fEqggGjIFnjfu8PoKV8tbtWpdoayYaw758gN3r3UptOWD/p9//MqVP4CYWwADi1jyTFduRJMjQX91e3VcxH2T69t0c5CJQIZEdleeW2pI1FYN3GNUoj2PD193zWINJTBdQhvW0WWs/2n2XPmqcNEw== root@ubuntu
root@ubuntu:~/.ssh# ssh localhost
The authenticity of host 'localhost (127.0.0.1)' can't be established.
ECDSA key fingerprint is 0e:1d:c9:40:67:53:db:fb:51:1b:a8:ce:35:32:29:3d.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'localhost' (ECDSA) to the list of known hosts.
Welcome to Ubuntu 11.10 (GNU/Linux 3.0.0-12-generic i686)

* Documentation:  https://help.ubuntu.com/

New release '12.04.1 LTS' available.
Run 'do-release-upgrade' to upgrade to it.


The programs included with the Ubuntu system are free software;
the exact distribution terms for each program are described in the
individual files in /usr/share/doc/*/copyright.

Ubuntu comes with ABSOLUTELY NO WARRANTY, to the extent permitted by
applicable law.

安装rsync:apt-get install rsync

安装vsftpd:apt-get install vsftpd

启动vsftpd:service vsftpd start/stop

解压缩gz:gzip -d hadoop-1.1.0.tar.gz

解压缩tar:tar -xf hadoop-1.1.0.tar

相关问答

更多
  • ZooKeeper是一个独立的组件,它可以和HDFS配合使用,但没有非得部署在一起的要求,只要网络通就可以。 另外,ZooKeeper建议最少安装在3个节点上,且数目为奇数。
  • 1、安装openssh,主要是为了主机间安全通信用的。除此之外,还要在此基础上加上无密码访问的设置。否则的话,主机之间交互时总是要求输入密码。这个无密码ssh访问的作法一搜有很多,就不多说了。 2、具体的不同点,主要就一点,主节点的openssh要持有所有子节点的无密码ssh登陆,只要交换下密钥就可以了。而子节点之间一般是无需无密码ssh登陆的,除非有特殊要求。 试下看吧。
  • 当然可以了。hive只是一个数据仓库的工具。运行一些HQL语句。不一定非得分布式。
  • 如果是大文件并且集群模式,hadoop会处理多个dn上的并行读,会快。
  • :一个HDFS集群是由一个NameNode和若干个DataNode组成的。 其中NameNode作为主服务器,管理文件系统的命名空间和客户端对文件系统的访问操作;集群中的DataNode管理存储的数据。
  • 所以你想在4节点集群上安装hadoop设置! 要求:1个主3个从站(在多个节点集群上安装hadoop设置) 第1步:摆脱窗户。 目前Hadoop可用于Linux机器。 您可以拥有ubuntu 14.04或更高版本(或CentOS,Redhat等) 第2步:安装和设置Java $ sudo apt-get install python-software-properties $ sudo add-apt-repository ppa:ferramroberto / java $ sudo apt-get up ...
  • 您可以使用Sqoop将数据从RDBMS导入Hadoop。 Hadoop会处理非结构化数据,因为您将约束(创建结构化数据)推到了最后。 这也允许创建什么样的结构,这将定义您可以提取的信息类型。 永远不会说您无法处理结构化数据,但获得的里程数很低。 RDBMS可以高效地处理结构化数据。 You can use Sqoop to import data from RDBMS to Hadoop. Hadoop shines at processing unstructured data because you a ...
  • Java是运行Hadoop的先决条件。 您甚至在客户端也需要在所有机器上安装java。 来到客户端配置。 在客户端机器中无需安装Hadoop。 它只是与Hadoop集群进行通信 查看以下链接了解更多信息 Hadoop客户端节点配置 https://pravinchavan.wordpress.com/2013/06/18/submitting-hadoop-job-from-client-machine/ Java is prerequisite to run Hadoop. You need to ins ...
  • 只需访问Cloudera网站。 他们都有免费的Cloudera Manager ,非常好的启动和独立的CDH包。 他们还拥有完整的文档集,例如每种版本的此类产品的安装指南。 当然,我建议Cloudera博客和官方的Apache Hadoop网站配置,以便更好地理解。 Just visit Cloudera site. They have both Cloudera Manager free which is very good point to start and standalone CDH packag ...
  • 虚拟化总会带来一些开销,所以除非真的有必要,否则我不建议在虚拟化环境中运行Hadoop。 话虽如此,我知道VMWare在使Hadoop在虚拟化环境中工作方面做了大量工作,并且他们发布了一些基准测试 ,他们声称在某些条件下可以使用本机应用程序的VM获得更好的性能。 我没有在vSphere上玩过多少,但是如果你想进一步探索虚拟化,可以考虑一下这个问题。 但是不要把这些数字视为理所当然,这实际上取决于你所运行的硬件类型,所以在某些情况下我认为你可能会获得一些虚拟机的性能,但我猜测从大多数情况下你获胜的经验什么都没 ...