Storm-kafka【接口】- kafkaUtils

2019-03-02 23:57|来源: 网路

         本章主题:

                为了实现Storm-kafka : 将Storm之中一些常用的方法进行封装

         

         实现细节如下:

          1 

	public static Iterable<List<Object>> generateTuples(
			KafkaConfig kafkaConfig, Message msg) {

		Iterable<List<Object>> tups;

		ByteBuffer payload = msg.payload();
		ByteBuffer key = msg.key();

		if (key != null
				&& kafkaConfig.scheme instanceof KeyValueSchemeAsMultiScheme) {
			tups = ((KeyValueSchemeAsMultiScheme) kafkaConfig.scheme)
					.deserializeKeyAndValue(Utils.toByteArray(key),
							Utils.toByteArray(payload));
		} else {
			tups = kafkaConfig.scheme.deserialize(Utils.toByteArray(payload));
		}
		return tups;
	}

  

      1   :方法内部 Iterable<List<Object>> 类型的tups对象

      2   :  Message对象是kafka的Message。 包括了Key,以及palyload负载

      3    :   在生成元组的时候,需要拿到kafkaConfig.scheme 当中的Scheme,一旦Scheme instanceof

                KeyValueSchemeAsMultiScheme,将强制性转换为 KeyValueSchemeAsMultiScheme,并且调用deserializeKeyAndValue 方法将其反序列化 List<Object>

     细节上,让我们查看一下  KeyValueSchemeAsMultiScheme 对象

    

package com.mixbox.storm.kafka;

import backtype.storm.spout.SchemeAsMultiScheme;
import java.util.Arrays;
import java.util.List;

@SuppressWarnings("serial")
public class KeyValueSchemeAsMultiScheme extends SchemeAsMultiScheme{

    public KeyValueSchemeAsMultiScheme(KeyValueScheme scheme) {
        super(scheme);
    }

    
    //把一个key value 进行反序列化
    public Iterable<List<Object>> deserializeKeyAndValue(final byte[] key, final byte[] value) {
    	
        List<Object> o = ((KeyValueScheme)scheme).deserializeKeyAndValue(key, value);
        
        if(o == null) return null;
        
        else return Arrays.asList(o);
    }
}

           首先, KeyValueSchemeAsMultiScheme 继承自SchemeAsMultiScheme,SchemeAsMultiScheme是Storm自身所带有的一个class实现,以上的2个class 都实现了Storm之中【MultiScheme】



 



                   


转自:http://my.oschina.net/u/1791874/blog/299338

相关问答

更多