首页 \ 教程 \ hadoop

知识点

  • hadoop

    • 相关文章

    更多
  • Hadoop集群内lzo的安装与配置详解
  • Hadoop集群lzo的安装
  • Hadoop集群上使用Lzo压缩
  • Hadoop LZO 安装教程
  • Hadoop集群lzo文件的并行map处理
  • FreeBSD下安装配置Hadoop集群(一)
  • Hadoop集群（第5期）_Hadoop安装配置
  • 使用Hadoop的lzo问题
  • Hadoop集群安装配置系列（目录）
  • FreeBSD下安装配置Hadoop集群(二)
  • Hadoop集群（第3期）_VSFTP安装配置
  • Hadoop集群（第1期）_CentOS安装配置
  • Hadoop lzo 正确安装及问题解决
  • FreeBSD下安装配置Hadoop集群(Hive)
  • FreeBSD下安装配置Hadoop集群(四)

    • 最近更新

    更多
  • java线程状态详解(6种)
  • redis从库只读设置-redis集群管理
  • Netty环境配置
  • Netty基于流的传输处理
  • Netty入门实例-使用POJO代替ByteBuf
  • Netty入门实例-时间服务器
  • Netty入门实例-编写服务器端程序
  • Netty开发环境配置
  • 电商平台数据库设计
  • HttpClient 上传文件
  • MongoDB常用命令
  • 快速了解MongoDB【基本概念与体系结构】
  • windows系统安装MongoDB
  • Spring boot整合MyBatis-Plus 之二：增删改查
  • 分布式ID生成器【snowflake雪花算法】

    • Hadoop集群内lzo的安装与配置

    2019-03-28 14:09|来源: 网络

    最近我们部门在测试云计算平台Hadoop，我被lzo折腾了三四天，累了个够呛。在此总结一下，也给大家做个参考。   
      操作系统：CentOS 5.5，Hadoop版本：hadoop-0.20.2-CDH3B4
      安装lzo所需要软件包：gcc、ant、lzo、lzo编码/解码器，另外，还需要lzo-devel依赖
      配置lzo的文件：core-site.xml、mapred-site.xml
     

    大致步骤：
    1）安装和更新gcc、ant
    2）在各个节点安装lzo
    3）安装lzo编码/解码器
    4）修改配置文件，并同步各节点的配置文件
    注：没有特别指出的话，所有操作都是在Namenode中进行的       
     
    一、lzo安装：
    1、gcc的安装：yum即可，记得同时更新lib*、glibc*、gcc*
    2、ant的安装：
      删除旧版本：yum remove ant
      安装新版本：     
      
    
      
   
     
    1. wget http://labs.renren.com/apache-mirror//ant/binaries/apache-ant-1.8.2-bin.tar.gz  
      2. 
   
     
    2. tar -jxvf apache-ant-1.8.2-bin.tar.bz2  
      3.
      添加ant的环境变量： 
      
    
      
   
     
    1. vi /etc/profile  
      2. 
   
     
    2. export ANT_HOME=/usr/local/apache-ant-1.8.2  
      3. 
   
     
    3. export PATH=$PATH:$ANT_HOME/bin 
      4. 
   
     
    4.  
      5. 
   
     
    5. source /etc/profile  使配置文件生效
      6.
    3、lzo的安装： 
      
    
      
   
     
    1. wget http://www.oberhumer.com/opensource/lzo/download/lzo-2.04.tar.gz  
      2. 
   
     
    2. tar -zxvf lzo-2.04.tar.gz
      3. 
   
     
    3. cd lzo-2.04  
      4. 
   
     
    4. ./configure --enable-shared  
      5. 
   
     
    5. make && make install  
      6.
      库文件被默认安装到了/usr/local/lib，我们需要进一步指定lzo库文件的路径，两个方法都可以：
      1)拷贝/usr/local/lib目录下的lzo库文件到/usr/lib（32位平台），或/usr/lib64（64位平台）
      2)在/etc/ld.so.conf.d/目录下新建lzo.conf文件，写入lzo库文件的路径，然后运行/sbin/ldconfig -v，使配置生效
    4、在各个节点安装lzo：
      这句话本可以一笔带过，但我把它单独列出作为一步，就是要提醒大家：Namenode和Datanode都要安装lzo！
      所需软件包：gcc、ant、lzo-2.04.tar.gz、lzo-2.04-1.el5.rf.i386.rpm、lzo-devel-2.04-1.el5.rf.i386.rpm。
      注：两个lzo rpm文件是需要的，特别是lzop工具会需要这两个文件，后面会提到。注意32位系统和64位系统要下载相应的rpm版本！
      安装过程：略
      调整库文件路径：略
    5、lzo编码/解码器的安装：
      这里必须要说明：如果hadoop是cloudera版的，那么lzo编码/解码器就不要用google官方的那个！到这里下载：https://github.com/kevinweil/hadoop-lzo。我曾经被官方那个东西郁闷了很久，搜索了大量资料，最后搞明白。  
      
    
      
   
     
    1. wget https://download.github.com/kevinweil-hadoop-lzo-2ad6654.tar.gz  
      2. 
   
     
    2. tar -zxvf kevinweil-hadoop-lzo-2ad6654.tar.gz  
      3. 
   
     
    3. cd kevinweil-hadoop-lzo-2ad6654 
      4. 
   
     
    4. ant compile-native tar  
      5.
       注意：若是64位系统，可能还需要在上面代码的最后一行的前面加上export CFLAGS=-m64！
      编译失败：   
        
      
      
     
       
    1. 
      
        
      
       
         make: *** [impl/lzo/LzoCompressor.lo] Error 1 
      
        
      2.
      解决方法参考：http://code.google.com/a/apache-extras.org/p/hadoop-gpl-compression/issues/detail?id=18&redir=1
      我这里是由于缺少lzo-devel依赖的原因，lzo-devel有lzo- 2.04-1.el5.rf的依赖：     
      
    
      
   
     
    1. wget http://packages.sw.be/lzo/lzo-devel-2.04-1.el5.rf.i386.rpm  
      2. 
   
     
    2. wget http://packages.sw.be/lzo/lzo-2.04-1.el5.rf.i386.rpm  
      3. 
   
     
    3. rpm -ivh lzo-2.04-1.el5.rf.i386.rpm 
      4. 
   
     
    4. rpm -ivh lzo-devel-2.04-1.el5.rf.i386.rpm 
      5.
      注意：上面下载的是32位的lzo-devel，若系统为64位，则需要下载64位的lzo-devel。下载地址：http://packages.sw.be/lzo/
      重新ant compile-native tar，编译成功！ 
      编译成功后，还需要把编码/解码器以及native库拷贝到$HADOOP_HOME/lib目录下，拷贝操作请参考google的官方文档：  
      
    
      
   
     
    1. cp build/hadoop-lzo-0.4.10.jar /home/hadoop/hadoop-0.20.2-CDH3B4/lib/  
      2. 
   
     
    2. tar -cBf - -C build/native . | tar -xBvf - -C /home/hadoop/hadoop-0.20.2-CDH3B4/lib/native  
      3. 
   
     
    3. cd /home/hadoop/hadoop-0.20.2-CDH3B4/lib/  
      4. 
   
     
    4. chown -R hdfs:hadoop native/ 
      5.
      6、同步各节点的hadoop-lzo-0.4.10.jar和hadoop的native目录
      这里有一点要说明，由于某种原因，我把它们也拷贝到了hbase的相应目录下，但我认为其实是不需要拷贝的。
      当初在集群内测试lzo时，遇到了问题，我以为hbase也需要hadoop-lzo-0.4.10.jar和hadoop的native目录，就把它们拷贝到了hbase。后来问题解决，发现不是hbase的原因，但我最终没有在hbase里删除它们。所以，是否有必要把它们也拷贝到hbase，有待于大家亲自测试。
    二、配置lzo：
      1、主要是往hadoop目录下conf目录中的core-site.xml和mapred-site.xml文件添加一些属性：
    vi core-site.xml：  
      
    
      
   
     
    1. <property>  
      2. 
   
     
    2. <name>io.compression.codecs</name>  
      3. 
   
     
    3. <value>org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.BZip2Codec,com.hadoop.compression.lzo.LzopCodec</value> 
      4. 
   
     
    4. </property> 
      5. 
   
     
    5.  
      6. 
   
     
    6. <property>  
      7. 
   
     
    7. <name>io.compression.codec.lzo.class</name>  
      8. 
   
     
    8. <value>com.hadoop.compression.lzo.LzoCodec</value>  
      9. 
   
     
    9. </property>
      10.
    vi mapred-site.xml： 
      
    
      
   
     
    1. <property>  
      2. 
   
     
    2. <name>mapreduce.map.output.compress</name>  
      3. 
   
     
    3. <value>true</value>  
      4. 
   
     
    4. </property> 
      5. 
   
     
    5.  
      6. 
   
     
    6. <property>  
      7. 
   
     
    7. <name>mapred.child.env</name>  
      8. 
   
     
    8. <value>JAVA_LIBRARY_PATH=/home/hdfs/hadoop-0.20.2-CDH3B4/lib/native/Linux-amd64-64</value>  
      9. 
   
     
    9. </property> 
      10. 
   
     
    10.  
      11. 
   
     
    11. <property>  
      12. 
   
     
    12. <name>mapreduce.map.output.compress.codec</name>  
      13. 
   
     
    13. <value>com.hadoop.compression.lzo.LzoCodec</value>
      14. 
   
     
    14. </property>  
      15.
      2、同步各节点的配置文件！
     
    三、hadoop集群内测试lzo：
      首先，安装lzop，生成一些lzo文件，然后上传到hdfs，供我们的开发人员在hive中直接调用。
      lzop所需要的两个rpm文件前面已经安装，现在只要安装lzop就可以了： 
      
    
      
   
     
    1. wget http://www.lzop.org/download/lzop-1.03.tar.gz  
      2. 
   
     
    2. tar -zxvf lzop-1.03  
      3. 
   
     
    3. cd lzop-1.03  
      4. 
   
     
    4. export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/lib  
      5. 
   
     
    5. ./configure  
      6. 
   
     
    6. make && make install  
      7.
      要说明的是，在指定LD_LIBRARY_PATH时，我没有使用官方帮助文档中的写法，因为那个写法在编译时老出错，不知什么原因。  
      使用lzop压缩文档并上传到hdfs: 
      
    
      
   
     
    1. lzop -U -9 66_22_2011-04-14.txt  
      2. 
   
     
    2. $HADOOP_HOME/bin/hadoop fs -copyFromLocal /home/hdfs/66_22_2011-04-14.txt.lzo /user/s3/ifocus 
      3.
      开发人员在Hive中直接调用这个lzo文件时出错： 
        
      
      
     
       
    1. 
      
        
      
       
         Failed with exception java.io.IOException:java.lang.RuntimeException: native-lzo library not available 
      
        
      2.

      这个错误，困住了我整整两天！试了各种方法都不行，期间的辛苦自不必待言，直到我看到一个网页：http://sudhirvn.blogspot.com/2010/08/hadoop-lzo-installation-errors-and.html。（注：访问该网页需要用代理。万恶的网络管制！）
      页面的最下方，有这样一句话：So, I just deleted the hadoop-gpl-compression and everything started working.于是，我删除了$HADOOP_HOME/lib目录下的hadoop-gpl-compression-0.1.0.jar，终于，everything is OK！
      所以，如果你也像我一样，做了所有该做的事情，但是调用lzo时还是会出现native-lzo library not available的错误，请检查你的$HADOOP_HOME/lib目录下是否有google官方的那个lzo编码/解码器！     
    ---------------------------------------------------
       2011-05-16修订：
       hbase中还是需要有lzo的native library的。
       我重新部署了一次Hadoop，在hive中直接调用lzo文件，又出现native-lzo library not found的错误。于是我手动复制$KEVINWEIL_HOME/build/native/Linux-amd64-64/lib目录下的所有文件到hadoop的native/Linux-amd64-64目录，以及hbase的native/Linux-amd64-64目录，问题解决！
       这次复制文件时， 没有使用官方文档提供的tar方式，直接cp ： 
     
   
      
  
    
    1. cd kevinweil-hadoop-lzo-2ad6654/build/native/Linux-amd64-64/lib 
      2. 
  
    
    2. cp * $HADOOP_HOME/lib/native/Linux-amd64-64 
      3. 
  
    
    3. cp * $HBASE_HOME/lib/native/Linux-amd64-64 
      4.
       重启hadoop即可！

    相关问答

    更多

    • 在docker中搭建hadoop集群有什么好方法配置ip[2024-01-02]

      Docker最核心的特性之一，就是能够将任何应用包括Hadoop打包到Docker镜像中。这篇教程介绍了利用Docker在单机上快速搭 建多节点 Hadoop集群的详细步骤。作者在发现目前的Hadoop on Docker项目所存在的问题之后，开发了接近最小化的Hadoop镜像，...

    • Hadoop集群中namenode节点需要安装zookeeper吗[2022-05-23]

      ZooKeeper是一个独立的组件，它可以和HDFS配合使用，但没有非得部署在一起的要求，只要网络通就可以。 另外，ZooKeeper建议最少安装在3个节点上，且数目为奇数。

    • 求教搭建hadoop集群，在配置ssh时遇到的一个问题，非常感谢！[2022-04-22]

      如果是端口的问题，你去查一下怎么允许端口就行了。。

    • 配置hadoop集群是怎么配置的[2023-12-15]

      在过去，大数据处理主要是采用标准化的刀片式服务器和存储区域网络（SAN）来满足网格和处理密集型工作负载。然而随着数据量和用户数的大幅增长，基础设施的需求已经发生变化，硬件厂商必须建立创新体系，来满足大数据对包括存储刀片，SAS（串行连接SCSI）开关，外部SATA阵列和更大容量的机架单元的需求。即寻求一种新的方法来存储和处理复杂的数据，Hadoop正是基于这样的目的应运而生的。Hadoop的数据在集群上均衡分布，并通过复制副本来确保数据的可靠性和容错性。因为数据和对数据处理的操作都是分布在服务器上，处理指令 ...

    • 在安装hadoop全集群中，需要安装openssh，主节点需要能够ssh到localhost和其他的从节点上，[2024-02-25]

      1、安装openssh，主要是为了主机间安全通信用的。除此之外，还要在此基础上加上无密码访问的设置。否则的话，主机之间交互时总是要求输入密码。这个无密码ssh访问的作法一搜有很多，就不多说了。 2、具体的不同点，主要就一点，主节点的openssh要持有所有子节点的无密码ssh登陆，只要交换下密钥就可以了。而子节点之间一般是无需无密码ssh登陆的，除非有特殊要求。 试下看吧。

    • hadoop 集群安装完成，怎么使用[2023-08-02]

      既然完成了安装，你要做的无非就两样： 1. 数据存在哪？ 2. 怎么计算处理数据？ 对于前者，你可以使用hbase或者hive作为数据存储，当然你也可以使用hadoop自己的分布式存储系统hdfs，不过hbase和hive可以提供给你数据库类的结构存储，更方便操作。 对于后者，你可以使用hadoop自己的计算框架Map-Reduce，这里无所谓数据存储在哪，你可以使用MR计算处理离线数据；如果使用hive，也可以使用hive的hql直接以sql方式进行统计计算离线数据线；也可以使用storm等处理实时数据流 ...

    • hadoop配置了集群，但启动仍然是伪分布式下的启动状态[2022-08-22]

      你可以输入JPS查看一下进程 一般你的master上是namenode secondarynamenode 和jobtracker三个进程 你的slaves上 有各自的datanode 和tasktracker两个进程 你看看是不是有各自进程都启动起来了 启动起来了就是分布式 如果只有一台机子有进程 那你就重新把那些配置文件再设置一下

    • 配置hadoop集群用哪个版本linux最好[2024-04-14]

      随着Apache Hadoop的起步，云客户的增多面临的首要问题就是如何为他们新的的Hadoop集群选择合适的硬件。 尽管Hadoop被设计为运行在行业标准的硬件上，提出一个理想的集群配置不想提供硬件规格列表那么简单。 选择硬件，为给定的负载在性能和经济性提供最佳平衡是需要测试和验证其有效性。（比如，IO密集型工作负载的用户将会为每个核心主轴投资更多）。 在这个博客帖子中，你将会学到一些工作负载评估的原则和它在硬件选择中起着至关重要的作用。在这个过程中，你也将学到Hadoop管理员应该考虑到各种因素。 结合 ...

    • 安装和配置多节点Hadoop集群(Installing and configuring a multi-node Hadoop cluster)[2023-05-08]

      所以你想在4节点集群上安装hadoop设置！ 要求：1个主3个从站（在多个节点集群上安装hadoop设置） 第1步：摆脱窗户。 目前Hadoop可用于Linux机器。 您可以拥有ubuntu 14.04或更高版本（或CentOS，Redhat等） 第2步：安装和设置Java $ sudo apt-get install python-software-properties $ sudo add-apt-repository ppa：ferramroberto / java $ sudo apt-get up ...

    • 配置Hadoop集群时应该设置多少个映射器/缩减器？(How many mappers/reducers should be set when configuring Hadoop cluster?)[2022-06-25]

      没有公式。 这取决于你有多少核心和多少内存。 映射器的数量+减速器的数量一般不应超过核心数量。 请记住，该计算机还运行任务跟踪器和数据节点守护程序。 一般的建议是更多地图绘制器而不是减速器。 如果我是你，我会用合理数量的数据运行我的一个典型工作来试试。 There is no formula. It depends on how many cores and how much memory do you have. The number of mapper + number of reducer shoul ...

    Copyright ©2023 peixunduo.com All Rights Reserved.粤ICP备14003112号

    本站部分内容来源于互联网，仅供学习和参考使用，请莫用于商业用途。如有侵犯你的版权，请联系我们(neng862121861#163.com)，本站将尽快处理。谢谢合作！