HadoopDB集群配置方法

• core-site.xml 文件中添加以下内容：
  <property>
  <name>hadoopdb.config.file</name>
  <value>HadoopDB.xml</value>
  <description>The name of the HadoopDB cluster configuration file</description>
  </property>
  
  <property>
  <name>hadoopdb.fetch.size</name>
  <value>1000</value>
  <description>The number of records fetched from JDBC ResultSet at once</description>
  </property>
  
  <property>
  <name>hadoopdb.config.replication</name>
  <value>false</value>
  <description>Tells HadoopDB Catalog whether replication is enabled.
  Replica locations need to be specified in the catalog.
  False causes replica information to be ignored.</description>
  </property>

• hadoop@Cluster01:~$ vim nodes.txt
• 将集群中的所有节点IP写入此文件：
  
• • 192.168.0.1
  • 192.168.0.2
• hadoop@Cluster01:~$ vim  Catalog.properties
  • #Properties for Catalog Generation
    ##################################
    nodes_file=nodes.txt
    # Relations Name and Table Name are the same
    relations_unchunked=raw
    relations_chunked=poi
    catalog_file=HadoopDB.xml
    ##
    #DB Connection Parameters
    ##
    port=5432
    username=hadoop
    password=1234
    driver=org.postgresql.Driver
    url_prefix=jdbc/:postgresql/://
    ##
    #Chunking properties
    ##
    # the number of databases on a node
    chunks_per_node=2
    # for udb0 ,udb1 ( 2 nodes = 0 ~ 1 )
    unchunked_db_prefix=udb
    # for cdb0 ,cdb1, ... , cdb5 (2 nodes x 3 chunks = 0~5 )
    chunked_db_prefix=cdb
    ##
    #Replication Properties
    ##
    dump_script_prefix=/root/dump_
    replication_script_prefix=/root/load_replica_
    dump_file_u_prefix=/mnt/dump_udb
    dump_file_c_prefix=/mnt/dump_cdb
    ##
    #Cluster Connection
    ##
    ssh_key=id_rsa-gsg-keypair
• hadoop@Cluster01:~$ java -cp lib/hadoopdb.jar edu.yale.cs.hadoopdb.catalog.SimpleCatalogGenerator Catalog.properties
  • 产生的 HadoopDB.xml 类似下面：
  • <?xml version="1.0" encoding="UTF-8" standalone="yes"?>
    <DBClusterConfiguration xmlns="http://edu.yale.cs.db.hadoop/DBConfigurationSchema">
        <Nodes Password="1234" Username="hadoop" Driver="org.postgresql.Driver" Location=" 192.168.0.1 ">
            <Relations id="raw">
                <Partitions url="jdbc:postgresql:// 192.168.0.1 :5432/udb0" id="0"/>
            </Relations>
            <Relations id="poi">
                <Partitions url="jdbc:postgresql:// 192.168.0.1 :5432/cdb0" id="0"/>
                <Partitions url="jdbc:postgresql:// 192.168.0.1 :5432/cdb1" id="1"/>
            </Relations>
        </Nodes>
        <Nodes Password="1234" Username="hadoop" Driver="org.postgresql.Driver" Location=" 192.168.0.2 ">
            <Relations id="raw">
                <Partitions url="jdbc:postgresql:// 192.168.0.2 :5432/udb1" id="1"/>
            </Relations>
            <Relations id="poi">
                <Partitions url="jdbc:postgresql:// 192.168.0.2 :5432/cdb2" id="2"/>
                <Partitions url="jdbc:postgresql:// 192.168.0.2 :5432/cdb3" id="3"/>
            </Relations>
        </Nodes>
    </DBClusterConfiguration>

• 将HadoopDB.xml放入HDFS中：
• hadoop@Cluster01:~$ hadoop dfs -put HadoopDB.xml HadoopDB.xml

4 数据加载

• 在此以 raw 这个 talbe 当作例子进行讲解。根据前面HadoopDB.xml的内容，集群中的两个节点，第一个节点的数据库名称为udb0 ，第二个节点为udb1，首先分别创建这两个数据库：
  • hadoop@Cluster01:~$ createdb udb0
    hadoop@Cluster02:~$ createdb udb1
• 在对应数据库上建立raw 这个table：
  
  • hadoop@Cluster01:~$ psql udb0
    udb0=# 
    CREATE TABLE raw (
    ID int,
    NAME varchar(300)
    );
  • 同理如 Cluster02
• 先将本地文件系统中的数据put到HDFS中：
• $ hadoop fs -put  localfile  input_in_hdfs/
• 数据切割： 使用 HadoopDB 所提供的切割工具将数据切割成n份(一般，n是集群有节点数目)，以下例子中：n=2，每一份数据的分割符是'/n':
  
• $ hadoop jar lib/hadoopdb.jar edu.yale.cs.hadoopdb.dataloader.GlobalHasher input_in_hdfs out_in_hdfs 2 '/n' 0
• 在各个节点上，将切割后的数据，从hdfs中传到各个节点的本地文件系统中:
• $ hadoop fs -get out_in_hdfs/part-00000 /home/hadoop/p0
• 将本地文件载入到数据库中：
  
• hadoop@Cluster01:~$ psql udb0 
  udb0=# COPY RAW FROM '/home/hadoop/p0' WITH DELIMITER E'/t' ;
• 同理如 Cluster02

5 SMS安装配置

    第3步下载的hadoopdb解压后包含SMS_dist.tar.gz文件夹。

    SMS的安装方法很简单：首先将其解压，然后打开bin目录下的hive-config.sh文件，再最后加上一句：

    export HADOOP_HOME="此处写hadoop的安装路径"。

• 然后在hive上建立上面raw这个table对应的数据库：
• 假設 Hive 使用的数据將儲存在 HDFS 的 /db
• hadoop@Cluster01:~ $ hadoop dfs -mkdir /db
• hadoop@Cluster01:~ $ SMS_dist/bin/hive
  CREATE EXTERNAL TABLE raw  (
  ID int,
  NAME string
  )
  ROW FORMAT DELIMITED
  FIELDS TERMINATED BY '|'
  STORED AS
  INPUTFORMAT 'edu.yale.cs.hadoopdb.sms.connector.SMSInputFormat'
  OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
  LOCATION '/db/raw';
• /db/raw中的raw是指table的名称

5  以上设定完后，即可在一台机器上(Ex: Cluster1) 執行 $ SMS_dist/bin/hive 看看成果

• hadoop@Cluster01:~ $ SMS_dist/bin/hive
  hive> show tables;
  hive> select name from raw;