知识点
相关文章
更多最近更新
更多Hadoop集群新增数据节点
2019-03-28 14:05|来源: 网络
一、创建用户
groupadd analyzer -f
useradd analyzer -d /opt/analyzer -g analyzer -p searchanalyzer
二、处理/etc/hosts文件
三、设置免密码登录（多台机器的id_rsa.pub，相互拷贝）
生成公钥、密钥：
ssh-keygen -t rsa
复制本地id_rsa.pub到远程服务器，使远程服务器登录本地可以免密码
scp
scp analyzer@10.1.4.34:/opt/analyzer/.ssh/id_rsa.pub id_rsa_pub_dir/id_rsa_xxx.pub
生成authorized_keys文件内容：
cat id_rsa_179.pub id_rsa.pub >authorized_keys
设置权限，权限问题可能导致远程免密码登录失败
chmod 644 authorized_keys
-rw-r--r-- 1 analyzer analyzer 397 May 12 16:53 authorized_keys
四、设置环境变量
[analyzer@linux434 ~]$ vi ~/.bash_profile
PATH=$PATH:$HOME/bin
export PATH
unset USERNAME
export JAVA_HOME=$HOME/jdk1.6.0_18
export PATH=$JAVA_HOME/bin:$PATH
export Hadoop_HOME=$HOME/hadoop
export HIVE_HOME=$HOME/hive
[analyzer@linux434 ~]$ source ~/.bash_profile
五、安装hadoop,hive
scp -r /opt/analyzer/hadoop analyzer@10.1.4.34:/opt/analyzer/hadoop
scp -r /opt/analyzer/hive analyzer@10.1.4.34:/opt/analyzer/hive
scp -r /opt/analyzer/db-derby-10.6.1.0-bin analyzer@10.1.4.34:/opt/analyzer/db-derby-10.6.1.0-bin
scp -r /opt/analyzer/jdk1.6.0_18 analyzer@10.1.4.34:/opt/analyzer/jdk1.6.0_18
六、 在新节点上启动datanode和tasktracker
/opt/analyzer/hadoop/bin/hadoop-daemon.sh start datanode
/opt/analyzer/hadoop/bin/hadoop-daemon.sh start tasktracker
七、进行block块的均衡
在hdfs-site.xml中增加设置balance的带宽，默认只有1M：
<property>
<name>dfs.balance.bandwidthPerSec</name>
<value>10485760</value>
<description>
Specifies the maximum bandwidth that each datanode can utilize for the balancing purpose in term of the number of bytes per second.
</description>
</property>
运行以下命令：
/opt/sohuhadoop/hadoop/bin/start-balancer.sh -threshold 5
均衡10个节点，移动400G数据，大概花费了3个小时
The cluster is balanced. Exiting…
Balancing took 2.9950980555555557 hours
相关问答
更多-
mysql集群 数据节点和SQL节点区别[2022-03-12]
mysql集群 数据节点和SQL节点区别 集群最少要求有3台计算机.不过我们建议最好是4台;有2台分别运行管理节点和SQL节点,另外2台作为数据节点.采取2台数据节点的目的是提高数据的冗余度,管理节点放在一个独立的主机上是为了能够保证在万一有一台数据节点失败的情况下提供仲裁服务. -
hadoop集群设置 多少个节点[2021-10-20]
1.运行环境 三台装有centOS 6.3 的电脑 OpenJDK 1.6 2下载hadoop，加压到你要放置的目录，最好是解压到/opt或者/usr/local目录下 3 创建hadoop群组和hadoop用户 groupadd hadoop useradd hadoop -g hadoop 更改hadoop 用户的密码 在命令行输入:passwd 按提示输入密码 每台电脑上都要进行此步操作,且每个电脑上的hadoop用户的密码都要一样 4 配置免密钥ssh 若为安装ssh应该安装，笔者这里不再赘述，网上 ... -
1、安装openssh，主要是为了主机间安全通信用的。除此之外，还要在此基础上加上无密码访问的设置。否则的话，主机之间交互时总是要求输入密码。这个无密码ssh访问的作法一搜有很多，就不多说了。 2、具体的不同点，主要就一点，主节点的openssh要持有所有子节点的无密码ssh登陆，只要交换下密钥就可以了。而子节点之间一般是无需无密码ssh登陆的，除非有特殊要求。 试下看吧。
-
jquery如何删除新增的节点[2022-11-14]
1.remove()方法 $("ul li:eq(1)").remove(); 实例： (1）$(function(){ var $li = $("ul li:eq(1)").remove(); // 获取第二个 元素节点后，将它从网页中删除。 $li.appendTo("ul"); }) 上面的例子是先将第二个元素删除，再移动到所需要的位置。 (2) $(function(){ $("ul li").remove("li:first"); // 获取ul中的li元素，再删除其中的第一个元素。 }) 2.e ... -
我们如何知道哪个Hadoop恶魔在给定集群中的哪个节点上运行(How do we know which Hadoop Demons running on which node in a given cluster)[2024-01-28]
命令行 hadoop dfsadmin -report 将为您提供有关它们的基本统计数据的数据节点列表。 如果需要，可以通过编程方式进行相对简单的解析。 要获取任务跟踪器列表，我建议您在JobTracker上打开Web UI（端口50030）。 据我记得，有任务跟踪器列表。 The command line hadoop dfsadmin -report will give you list of datanodes with basic statisics about them. It can be re ... -
所以你想在4节点集群上安装hadoop设置！ 要求：1个主3个从站（在多个节点集群上安装hadoop设置） 第1步：摆脱窗户。 目前Hadoop可用于Linux机器。 您可以拥有ubuntu 14.04或更高版本（或CentOS，Redhat等） 第2步：安装和设置Java $ sudo apt-get install python-software-properties $ sudo add-apt-repository ppa：ferramroberto / java $ sudo apt-get up ...
-
好吧，我设法找出问题，并找到了修复。 问题： 我的奴隶节点没有与主人通信。 所以，我使用以下命令检查了我的机器上的防火墙设置（Ubuntu） sudo ufw status verbose 命令的输出 Status: active Logging: on (low) Default: deny (incoming), allow (outgoing), disabled (routed) New profiles: skip 解： 所以，我的机器拒绝任何传入的请求。 所以，我禁用了我的防火墙来验证这个假 ...
-
我总是阅读关于映射器和缩减器数量的教程和线程，并编写自定义分区器来优化作业，但我一直认为，它是否适用于单个节点集群？ 这取决于。 组合器在映射和缩减之间运行，如果它们被正确使用，您肯定会感觉到单个节点上的影响。 自定义分区 - 可能不行，数据在减少之前会击中同一磁盘。 它们会影响逻辑，即减速器接收的数据，但可能不是性能 与多节点群集相比，在单个节点群集上运行MapReduce作业的损失是多少？ 处理能力。 如果您可以通过单个节点设置数据，那么您可能不应该首先使用Hadoop进行处理。 在这种情况下，通过拆分 ...
-
Java是运行Hadoop的先决条件。 您甚至在客户端也需要在所有机器上安装java。 来到客户端配置。 在客户端机器中无需安装Hadoop。 它只是与Hadoop集群进行通信 查看以下链接了解更多信息 Hadoop客户端节点配置 https://pravinchavan.wordpress.com/2013/06/18/submitting-hadoop-job-from-client-machine/ Java is prerequisite to run Hadoop. You need to ins ...
-
我找到了解决方案。 为了增加文件mapred-site.xml中减少器的数量，我添加了
A 5