知识点
相关文章
更多最近更新
更多Hadoop集群lzo的安装
2019-03-28 14:13|来源: 网络
主要步骤：
1，安装和更新gcc、ant(系统已经安装的话，略去下面步骤)
yum -y install gcc gcc-c++ autoconf automake
wget http://labs.renren.com/apache-mirror//ant/binaries/apache-ant-1.8.2-bin.tar.gz
tar -jxvf apache-ant-1.8.2-bin.tar.bz2
export ANT_HOME=/usr/local/apache-ant-1.8.2
vi /etc/profile
source /etc/profile
export PATH=$PATH:$ANT_HOME/bin
2在各个节点安装lzo
wget http://www.oberhumer.com/opensource/lzo/download/lzo-2.04.tar.gz
tar -zxvf lzo-2.04.tar.gzcd lzo-2.04
./configure --enable-shared
make && make install
拷贝/usr/local/lib目录下的lzo库文件到/usr/lib（32位平台），或/usr/lib64（64位平台）
3,安装lzo编码/解码器
wget https://download.github.com/kevinweil-Hadoop-lzo-2ad6654.tar.gz
tar -zxvf kevinweil-hadoop-lzo-2ad6654.tar.gz
cd kevinweil-hadoop-lzo-2ad6654
ant compile-native tar
安装编译过程中有错误，请考虑安装下面两个rpm包
wget http://packages.sw.be/lzo/lzo-devel-2.04-1.el5.rf.i386.rpm
wget http://packages.sw.be/lzo/lzo-2.04-1.el5.rf.i386.rpm
rpm -ivh lzo-2.04-1.el5.rf.i386.rpm
rpm -ivh lzo-devel-2.04-1.el5.rf.i386.rpm
（根据系统选择）编译成功后，拷贝kevinweil-hadoop-lzo-2ad6654/bulid/hadoop-lzo-0.4.14.jar到hadoop/lib下
拷贝build/native/Linux-amd64-64/lib下文件到hadoop/lib/native/Linux-amd64-64下
4,修改配置文件，并同步各节点的配置文件
core-site.xml中增加
<property>
<name>io.compression.codecs</name>
<value>org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.DefaultCodec,com.hadoop.compression.lzo.LzoCodec,co
m.hadoop.compression.lzo.LzopCodec,org.apache.hadoop.io.compress.BZip2Codec</value>
</property>
<property>
<name>io.compression.codec.lzo.class</name>
<value>com.hadoop.compression.lzo.LzoCodec</value>
</property>
mapred-site.xml中增加
<property>
<name>mapred.compress.map.output</name>
<value>true</value>
</property>
<property>
<name>mapred.map.output.compression.codec</name>
<value>com.hadoop.compression.lzo.LzoCodec</value>
</property>
5，安装lzop压缩软件，到http://www.lzop.org/的下面download部分下载，可以选择选择Precompiled binaries are available for下载，直接配置可用，或者下载source，./configure make&makeinstall即可这是就可以通过lzop文件名，来生成lzo压缩文件，传到hadoop平台，平台支持文件分割。
相关问答
更多-
Hadoop集群中namenode节点需要安装zookeeper吗[2022-05-23]
ZooKeeper是一个独立的组件，它可以和HDFS配合使用，但没有非得部署在一起的要求，只要网络通就可以。 另外，ZooKeeper建议最少安装在3个节点上，且数目为奇数。 -
安装hadoop集群linux用什么版本好[2021-10-05]
随着Apache Hadoop的起步，云客户的增多面临的首要问题就是如何为他们新的的Hadoop集群选择合适的硬件。 尽管Hadoop被设计为运行在行业标准的硬件上，提出一个理想的集群配置不想提供硬件规格列表那么简单。 选择硬件，为给定的负载在性能和经济性提供最佳平衡是需要测试和验证其有效性。（比如，IO密集型工作负载的用户将会为每个核心主轴投资更多）。 在这个博客帖子中，你将会学到一些工作负载评估的原则和它在硬件选择中起着至关重要的作用。在这个过程中，你也将学到Hadoop管理员应该考虑到各种因素。 结合 ... -
1、安装openssh，主要是为了主机间安全通信用的。除此之外，还要在此基础上加上无密码访问的设置。否则的话，主机之间交互时总是要求输入密码。这个无密码ssh访问的作法一搜有很多，就不多说了。 2、具体的不同点，主要就一点，主节点的openssh要持有所有子节点的无密码ssh登陆，只要交换下密钥就可以了。而子节点之间一般是无需无密码ssh登陆的，除非有特殊要求。 试下看吧。
-
hadoop 集群安装完成，怎么使用[2023-08-02]
既然完成了安装，你要做的无非就两样： 1. 数据存在哪？ 2. 怎么计算处理数据？ 对于前者，你可以使用hbase或者hive作为数据存储，当然你也可以使用hadoop自己的分布式存储系统hdfs，不过hbase和hive可以提供给你数据库类的结构存储，更方便操作。 对于后者，你可以使用hadoop自己的计算框架Map-Reduce，这里无所谓数据存储在哪，你可以使用MR计算处理离线数据；如果使用hive，也可以使用hive的hql直接以sql方式进行统计计算离线数据线；也可以使用storm等处理实时数据流 ... -
已经有的hadoop集群还可以安装cloudera manager吗[2021-08-26]
cloudera manager Cloudera可以简化Hadoop的安装配置过程，自动在集群节点上安装hadoop相关组件，创建用户。 所有机器上一定要安装好Perl包。 cloudera manager free是个免费的版本，对普通的应用也够了。 安装比较简单，下载相应的.bin文件运行即可。 不过DNS要配好，如果不用DNS服务器解析每个集群主机，那么每个集群机器上面hosts文件都要准备好 -
安装hadoop集群时为什么要安装ssh[2022-03-17]
这个和hadoop的运行环境有关，hadoop集群模式一般运行在redhat或者是centos等系统平台上，在任务计划分发，心跳监测以及任务管理，多租户管理等等都会用到ssh，所以这个必须安装 -
如何查看hadoop集群是否安装成功[2022-07-14]
严格按照操作步骤操作，保证计算机硬件软件环境正常！ 起动集群，start-all.sh 然后再看看namenode datanode jobtracker以及tasktracker secondaryname是否都启动了 如果是 就成功了 -
所以你想在4节点集群上安装hadoop设置！ 要求：1个主3个从站（在多个节点集群上安装hadoop设置） 第1步：摆脱窗户。 目前Hadoop可用于Linux机器。 您可以拥有ubuntu 14.04或更高版本（或CentOS，Redhat等） 第2步：安装和设置Java $ sudo apt-get install python-software-properties $ sudo add-apt-repository ppa：ferramroberto / java $ sudo apt-get up ...
-
Java是运行Hadoop的先决条件。 您甚至在客户端也需要在所有机器上安装java。 来到客户端配置。 在客户端机器中无需安装Hadoop。 它只是与Hadoop集群进行通信 查看以下链接了解更多信息 Hadoop客户端节点配置 https://pravinchavan.wordpress.com/2013/06/18/submitting-hadoop-job-from-client-machine/ Java is prerequisite to run Hadoop. You need to ins ...
-
我得到了与你相同的结果，最终这对我有用： export C_INCLUDE_PATH=/usr/local/Cellar/lzo/2.09/include/lzo:/usr/local/Cellar/lzo/2.09/include export LIBRARY_PATH=/usr/local/lib pip install python-lzo （显然，您可能需要调整这些，具体取决于您安装的lzo brew发行版的版本。） 哪个回答了我的问题，但我真的不明白为什么没有正确配置... 我也安装了Xco ...