首页 \ 教程 \ storm

知识点

  • Storm

    • 相关文章

    更多
  • 基于Flume的美团日志收集系统(一)架构和设计
  • flume-ng+Kafka+Storm+HDFS 实时系统搭建
  • Apache Flume 简介
  • 实时系统HBase读写优化--大量写入无障碍
  • 基于Hadoop集群的分布式日志分析系统研究
  • Flume+Kafka+Strom基于分布式环境的结合使用
  • Hadoop的分布式架构改进与应用
  • Java垃圾收集调优实战
  • SQL优化问题
  • HBase 在淘宝的应用和优化
  • 网站统计中的数据收集原理及实现
  • 网站统计中的数据收集原理及实现
  • 网站统计中的数据收集原理及实现
  • Effective MySQL之SQL语句最优化
  • 手机扫描二维码下载APP，根据操作系统不同自动下载

    • 最近更新

    更多
  • java线程状态详解(6种)
  • redis从库只读设置-redis集群管理
  • Netty环境配置
  • Netty基于流的传输处理
  • Netty入门实例-使用POJO代替ByteBuf
  • Netty入门实例-时间服务器
  • Netty入门实例-编写服务器端程序
  • Netty开发环境配置
  • 电商平台数据库设计
  • HttpClient 上传文件
  • MongoDB常用命令
  • 快速了解MongoDB【基本概念与体系结构】
  • windows系统安装MongoDB
  • Spring boot整合MyBatis-Plus 之二：增删改查
  • 分布式ID生成器【snowflake雪花算法】

    • 基于Flume的美团日志收集系统(二)改进和优化

    2019-03-02 23:51|来源: 网路

    问题导读：
    1.Flume的存在些什么问题？
    2.基于开源的Flume美团增加了哪些功能？
    3.Flume系统如何调优？







    在《 基于Flume的美团日志收集系统(一)架构和设计》中，我们详述了基于Flume的美团日志收集系统的架构设计，以及为什么做这样的设计。在本节中，我们将会讲述在实际部署和使用过程中遇到的问题，对Flume的功能改进和对系统做的优化。

    1 Flume的问题总结

    在Flume的使用过程中，遇到的主要问题如下：
    a. Channel“水土不服”：使用固定大小的MemoryChannel在日志高峰时常报队列大小不够的异常；使用FileChannel又导致IO繁忙的问题；
    b. HdfsSink的性能问题：使用HdfsSink向Hdfs写日志，在高峰时间速度较慢；
    c. 系统的管理问题：配置升级，模块重启等；

    2 Flume的功能改进和优化点

    从上面的问题中可以看到，有一些需求是原生Flume无法满足的，因此，基于开源的Flume我们增加了许多功能，修改了一些Bug，并且进行一些调优。下面将对一些主要的方面做一些说明。

    2.1 增加Zabbix monitor服务

    一方面，Flume本身提供了http, ganglia的监控服务，而我们目前主要使用zabbix做监控。因此，我们为Flume添加了zabbix监控模块，和sa的监控服务无缝融合。
    另一方面，净化Flume的metrics。只将我们需要的metrics发送给zabbix，避免 zabbix server造成压力。目前我们最为关心的是Flume能否及时把应用端发送过来的日志写到Hdfs上， 对应关注的metrics为：
    • Source : 接收的event数和处理的event数
    • Channel : Channel中拥堵的event数
    • Sink : 已经处理的event数

    2.2 为HdfsSink增加自动创建index功能

    首先，我们的HdfsSink写到hadoop的文件采用lzo压缩存储。 HdfsSink可以读取hadoop配置文件中提供的编码类列表，然后通过配置的方式获取使用何种压缩编码，我们目前使用lzo压缩数据。采用lzo压缩而非bz2压缩，是基于以下测试数据：
    event大小(Byte) sink.batch-size hdfs.batchSize 压缩格式 总数据大小(G) 耗时(s) 平均events/s 压缩后大小(G)
    544 300 10000 bz2 9.1 2448 6833 1.36
    544 300 10000 lzo 9.1 612 27333 3.49
    其次，我们的HdfsSink增加了创建lzo文件后自动创建index功能。Hadoop提供了对lzo创建索引，使得压缩文件是可切分的，这样Hadoop Job可以并行处理数据文件。HdfsSink本身lzo压缩，但写完lzo文件并不会建索引，我们在close文件之后添加了建索引功能。
    1. /**
    2.    * Rename bucketPath file from .tmp to permanent location.
    3.    */
    4.   private void renameBucket() throws IOException, InterruptedException {
    5.       if(bucketPath.equals(targetPath)) {
    6.               return;
    7.         }
    9.         final Path srcPath = new Path(bucketPath);
    10.         final Path dstPath = new Path(targetPath);
    12.         callWithTimeout(new CallRunner<Object>() {
    13.               @Override
    14.               public Object call() throws Exception {
    15.                 if(fileSystem.exists(srcPath)) { // could block
    16.                       LOG.info("Renaming " + srcPath + " to " + dstPath);
    17.                      fileSystem.rename(srcPath, dstPath); // could block
    19.                       //index the dstPath lzo file
    20.                       if (codeC != null && ".lzo".equals(codeC.getDefaultExtension()) ) {
    21.                               LzoIndexer lzoIndexer = new LzoIndexer(new Configuration());
    22.                               lzoIndexer.index(dstPath);
    23.                       }
    24.                 }
    25.                 return null;
    26.               }
    27.     });
    28. }
    复制代码


    2.3 增加HdfsSink的开关

    我们在HdfsSink和DualChannel中增加开关，当开关打开的情况下，HdfsSink不再往Hdfs上写数据，并且数据只写向DualChannel中的FileChannel。以此策略来防止Hdfs的正常停机维护。

    2.4 增加DualChannel

    Flume本身提供了MemoryChannel和FileChannel。MemoryChannel处理速度快，但缓存大小有限，且没有持久化；FileChannel则刚好相反。我们希望利用两者的优势，在Sink处理速度够快，Channel没有缓存过多日志的时候，就使用MemoryChannel，当Sink处理速度跟不上，又需要Channel能够缓存下应用端发送过来的日志时，就使用FileChannel，由此我们开发了DualChannel，能够智能的在两个Channel之间切换。
    其具体的逻辑如下：
    1. /***
    2. * putToMemChannel indicate put event to memChannel or fileChannel
    3. * takeFromMemChannel indicate take event from memChannel or fileChannel
    4. * */
    5. private AtomicBoolean putToMemChannel = new AtomicBoolean(true);
    6. private AtomicBoolean takeFromMemChannel = new AtomicBoolean(true);
    8. void doPut(Event event) {
    9.         if (switchon && putToMemChannel.get()) {
    10.               //往memChannel中写数据
    11.               memTransaction.put(event);
    13.               if ( memChannel.isFull() || fileChannel.getQueueSize() > 100) {
    14.                 putToMemChannel.set(false);
    15.               }
    16.         } else {
    17.               //往fileChannel中写数据
    18.               fileTransaction.put(event);
    19.         }
    20.   }
    22. Event doTake() {
    23.     Event event = null;
    24.     if ( takeFromMemChannel.get() ) {
    25.         //从memChannel中取数据
    26.         event = memTransaction.take();
    27.         if (event == null) {
    28.             takeFromMemChannel.set(false);
    29.         } 
    30.     } else {
    31.         //从fileChannel中取数据
    32.         event = fileTransaction.take();
    33.         if (event == null) {
    34.             takeFromMemChannel.set(true);
    36.             putToMemChannel.set(true);
    37.         } 
    38.     }
    39.     return event;
    40. }
    复制代码



    2.5 增加NullChannel

    Flume提供了NullSink，可以把不需要的日志通过NullSink直接丢弃，不进行存储。然而，Source需要先将events存放到Channel中，NullSink再将events取出扔掉。为了提升性能，我们把这一步移到了Channel里面做，所以开发了NullChannel。

    2.6 增加KafkaSink

    为支持向Storm提供实时数据流，我们增加了KafkaSink用来向Kafka写实时数据流。其基本的逻辑如下：
    1. public class KafkaSink extends AbstractSink implements Configurable {
    2.         private String zkConnect;
    3.         private Integer zkTimeout;
    4.         private Integer batchSize;
    5.         private Integer queueSize;
    6.         private String serializerClass;
    7.         private String producerType;
    8.         private String topicPrefix;
    10.         private Producer<String, String> producer;
    12.         public void configure(Context context) {
    13.             //读取配置，并检查配置
    14.         }
    16.         @Override
    17.         public synchronized void start() {
    18.             //初始化producer
    19.         }
    21.         @Override
    22.         public synchronized void stop() {
    23.             //关闭producer
    24.         }
    26.         @Override
    27.         public Status process() throws EventDeliveryException {
    29.             Status status = Status.READY;
    31.             Channel channel = getChannel();
    32.             Transaction tx = channel.getTransaction();
    33.             try {
    34.                     tx.begin();
    36.                     //将日志按category分队列存放
    37.                     Map<String, List<String>> topic2EventList = new HashMap<String, List<String>>();
    39.                     //从channel中取batchSize大小的日志，从header中获取category，生成topic，并存放于上述的Map中；
    41.                     //将Map中的数据通过producer发送给kafka 
    43.                    tx.commit();
    44.             } catch (Exception e) {
    45.                     tx.rollback();
    46.                     throw new EventDeliveryException(e);
    47.             } finally {
    48.                 tx.close();
    49.             }
    50.             return status;
    51.         }
    52. }
    复制代码



    2.7 修复和scribe的兼容问题

    Scribed在通过ScribeSource发送数据包给Flume时，大于4096字节的包，会先发送一个Dummy包检查服务器的反应，而Flume的ScribeSource对于logentry.size()=0的包返回TRY_LATER，此时Scribed就认为出错，断开连接。这样循环反复尝试，无法真正发送数据。现在在ScribeSource的Thrift接口中，对size为0的情况返回OK，保证后续正常发送数据。

    3. Flume系统调优经验总结3.1 基础参数调优经验

    • HdfsSink中默认的serializer会每写一行在行尾添加一个换行符，我们日志本身带有换行符，这样会导致每条日志后面多一个空行，修改配置不要自动添加换行符；
    1. lc.sinks.sink_hdfs.serializer.appendNewline = false
    复制代码



    • 调大MemoryChannel的capacity，尽量利用MemoryChannel快速的处理能力；
    • 调大HdfsSink的batchSize，增加吞吐量，减少hdfs的flush次数；
    • 适当调大HdfsSink的callTimeout，避免不必要的超时错误；

    3.2 HdfsSink获取Filename的优化

    HdfsSink的path参数指明了日志被写到Hdfs的位置，该参数中可以引用格式化的参数，将日志写到一个动态的目录中。这方便了日志的管理。例如我们可以将日志写到category分类的目录，并且按天和按小时存放：
    1. lc.sinks.sink_hdfs.hdfs.path = /user/hive/work/orglog.db/%{category}/dt=%Y%m%d/hour=%H
    复制代码
    HdfsS ink中处理每条event时，都要根据配置获取此event应该写入的Hdfs path和filename，默认的获取方法是通过正则表达式替换配置中的变量，获取真实的path和filename。因为此过程是每条event都要做的操作，耗时很长。通过我们的测试，20万条日志，这个操作要耗时6-8s左右。
    由于我们目前的path和filename有固定的模式，可以通过字符串拼接获得。而后者比正则匹配快几十倍。拼接定符串的方式，20万条日志的操作只需要几百毫秒。

    3.3 HdfsSink的b/m/s优化

    在我们初始的设计中，所有的日志都通过一个Channel和一个HdfsSink写到Hdfs上。我们来看一看这样做有什么问题。
    首先，我们来看一下HdfsSink在发送数据的逻辑：
    1. //从Channel中取batchSize大小的events
    2. for (txnEventCount = 0; txnEventCount < batchSize; txnEventCount++) {
    3.     //对每条日志根据category append到相应的bucketWriter上；
    4.     bucketWriter.append(event);
    5. ｝
    7. for (BucketWriter bucketWriter : writers) {
    8.     //然后对每一个bucketWriter调用相应的flush方法将数据flush到Hdfs上
    9.     bucketWriter.flush();
    10. ｝
    复制代码


    假设我们的系统中有100个category，batchSize大小设置为20万。则每20万条数据，就需要对100个文件进行append或者flush操作。
    其次，对于我们的日志来说，基本符合80/20原则。即20%的category产生了系统80%的日志量。这样对大部分日志来说，每20万条可能只包含几条日志，也需要往Hdfs上flush一次。
    上述的情况会导致HdfsSink写Hdfs的效率极差。下图是单Channel的情况下每小时的发送量和写hdfs的时间趋势图。
     
    鉴于这种实际应用场景，我们把日志进行了大小归类，分为big, middle和small三类，这样可以有效的避免小日志跟着大日志一起频繁的flush，提升效果明显。下图是分队列后big队列的每小时的发送量和写hdfs的时间趋势图。

    转自：http://www.cnblogs.com/gaojunfeng/p/3948536

    相关问答

    更多

    • 现在的计算机技术员应该学些什么基本的技能？[2022-07-28]

      系统

    • kafka怎么收集到flume的日志[2022-11-15]

      采集层 主要可以使用Flume, Kafka两种技术。 Flume：Flume 是管道流方式，提供了很多的默认实现，让用户通过参数部署，及扩展API. Kafka：Kafka是一个可持久化的分布式的消息队列。 Kafka 是一个非常通用的系统。你可以有许多生产者和很多的消费者共享多个主题Topics。相比之下,Flume是一个专用工具被设计为旨在往HDFS,HBase发送数据。它对HDFS有特殊的优化，并且集成了Hadoop的安全特性。所以，Cloudera 建议如果数据被多个系统消费的话，使用kafka； ...

    • 什么是 flume 日志收集，flume的原理是什么，flume会遇到什么问题[2021-11-23]

      、Flume介绍 Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 flume可以搜集数据，合并数据。合并到什么地方，可以是hdfs。也就是flume可以与hadoop相结合 复制代码 设计目标： (1) 可靠性 当节点出现故障时，日志能够被传送到其他节点上而不会丢失。Flume提供了三种级别的可靠性保障，从强到弱依次分别为：end-to-end（收到数据agent首先将e ...

    • linux系统硬件日志收集命令[2022-05-21]

      REHL6的硬件相关的日志在/var/log/messages下面 可以用使用 dmesg 命令进行打印。

    • 使用本地文件系统作为Flume源(Using local file system as Flume source)[2023-05-25]

      我假设你正在使用一个cloudera沙箱，并且正在讨论将一个文件放在你正在计划启动的flume agent的本地沙箱上。 水剂包含： 源通道接收器 这些应该坐在当地的水槽代理商。 可用的flume源列表位于用户指南中： https ： //flume.apache.org/FlumeUserGuide.html 。 如果您只想使用tail或cat命令从文件中流数据，则可以使用Exec源。 您也可以使用后台打印目录源将监视新文件的指定目录，并在新文件出现时解析事件。 仔细阅读用户指南。 包含你需要的一切。 I ...

    • 用于收集系统日志数据的水槽(flume for collecting syslog data)[2023-05-09]

      经典的Syslog源基本上设计为连接到一个syslog主机，即您必须为10个syslog服务器设置10个源。 所有这些源都可以在一个代理中运行，并使用一个通道将其事件假脱机到一个接收器 - 如果数据量很大，这个设置很快就会遇到性能问题。 您必须配置路由器以连接到该syslog主机/端口配置。 较大的设置是为每个syslog服务器安装一个代理，并使用Avro sink / Avro Source将事件假定为一个或两个代理，然后再将事件排序并将它们写入您想要的位置。 您还可以使用较新的Multiport Sys ...

    • 使用Apache Flume收集CPU时间日志(Collecting CPU time log using Apache Flume)[2022-07-24]

      您可以使用flume exec source，收集日志并使用hdfs sink来存储日志。 配置可以这样： a1.sources = r1 a1.channels = c1 a1.sources.r1.type = exec a1.sources.r1.command = dstat -ta --top-cputime a1.sources.r1.channels = c1 http://flume.apache.org/FlumeUserGuide.html#hdfs-sink http://flume ...

    • 从系统类收集日志(Collect logs from system classes)[2021-11-11]

      那么我该如何收集这些日志呢？ 通常，除非您正在为设备制造商工作，否则不会收集这些日志。 首先，从未正式支持在运行时访问LogCat; 因此，你必须采取笨重的“fork logcat ”方法。 除此之外，你需要READ_LOGS权限才能获得比你更多的东西。 该权限拥有signature|privileged|development ，这意味着普通应用程序无法拥有该权限。 这是出于隐私原因。 READ_LOGS使您可以访问所有的LogCat，以及许多应用程序（和一些系统进程）记录可能敏感的信息。 So how ...

    • 控制由flume本身生成的日志文件的大小(Controlling the size of log file generated by flume itself)[2021-10-05]

      在/etc/flume/conf.empty下，将log4j.properties从它复制到/ etc / flume / conf。 然后，flume及其扩展将记录您在log4j.properties中配置的方式。 under /etc/flume/conf.empty, copy the log4j.properties from it to /etc/flume/conf. Then flume and its extensions will log the way you configured in ...

    Copyright ©2023 peixunduo.com All Rights Reserved.粤ICP备14003112号

    本站部分内容来源于互联网，仅供学习和参考使用，请莫用于商业用途。如有侵犯你的版权，请联系我们(neng862121861#163.com)，本站将尽快处理。谢谢合作！