[Hadoop] Sqoop安装过程详解

Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。
 
Sqoop官方版本：http://apache.dataguru.cn/sqoop/1.4.2/
Sqoop CDH版本：http://archive.cloudera.com/cdh/3/sqoop-1.2.0-CDH3B4.tar.gz
Hadoop CDH版本：http://archive.cloudera.com/cdh/3/hadoop-0.20.2-CDH3B4.tar.gz

之前已经安装Hadoop-0.20.2（见 http://www.linuxidc.com/Linux/2013-05/84082.htm），因sqoop官方版本不支持此版本，但可使用CDH3版本，如上面的下载链接。为了测试方便，可以通过拷贝相应的包到sqoop-1.2.0-CDH3B4/lib下，依然可以使用Hadoop-0.20.2版本。

sqoop版本: sqoop-1.2.0-CDH3B4
 
Hadoop版本：0.20.2
 
mysql版本: 5.6.11

1）解压缩sqoop安装文件

[hadoop@node01 ~]$ tar -xzvf sqoop-1.2.0-CDH3B4.tar.gz

2）sqoop-1.2.0-CDH3B4依赖hadoop-core-0.20.2-CDH3B4.jar，所以你需要下载hadoop- 0.20.2-CDH3B4.tar.gz，解压缩后将hadoop-0.20.2-CDH3B4/hadoop-core-0.20.2- CDH3B4.jar复制到sqoop-1.2.0-CDH3B4/lib中。

[hadoop@node01 ~]$ cp hadoop-core-0.20.2-CDH3B4.jar sqoop-1.2.0-CDH3B4/lib
 

[hadoop@node01 ~]$ ls -l sqoop-1.2.0-CDH3B4/lib/hadoop-core-0.20.2-CDH3B4.jar
 
-rw-r--r--. 1 hadoop root 3452461 May  9 05:40 sqoop-1.2.0-CDH3B4/lib/hadoop-core-0.20.2-CDH3B4.jar

3）另外，sqoop导入mysql数据运行过程中依赖mysql-connector-java-*.jar，所以你需要下载mysql-connector-java-*.jar并复制到sqoop-1.2.0-CDH3B4/lib中

[hadoop@node01 ~]$ cp mysql-connector-java-5.1.24-bin.jar sqoop-1.2.0-CDH3B4/lib
 
[hadoop@node01 ~]$ ls -l sqoop-1.2.0-CDH3B4/lib/mysql-connector-java-5.1.24-bin.jar
 
-rw-r--r--. 1 hadoop root 846263 May  9 05:43 sqoop-1.2.0-CDH3B4/lib/mysql-connector-java-5.1.24-bin.jar

4）修改SQOOP的文件configure-sqoop，注释掉hbase和zookeeper检查（除非你准备使用HABASE等HADOOP上的组件），否则在进行hbase和zookeeper检查时，可能会卡在这里。

[hadoop@node01 bin]$ pwd
 
/home/hadoop/sqoop-1.2.0-CDH3B4/bin
 
[hadoop@node01 bin]$ vi configure-sqoop
 

#if [ -z "${HBASE_HOME}" ]; then
 
#  HBASE_HOME=/usr/lib/hbase
 
#fi
 
#if [ -z "${ZOOKEEPER_HOME}" ]; then
 
#  ZOOKEEPER_HOME=/usr/lib/zookeeper
 
#fi
 

#if [ ! -d "${HBASE_HOME}" ]; then
 
#  echo "Error: $HBASE_HOME does not exist!"
 
#  echo 'Please set $HBASE_HOME to the root of your HBase installation.'
 
#  exit 1
 
#fi
 
#if [ ! -d "${ZOOKEEPER_HOME}" ]; then
 
#  echo "Error: $ZOOKEEPER_HOME does not exist!"
 
#  echo 'Please set $ZOOKEEPER_HOME to the root of your ZooKeeper installation.'
 
#  exit 1
 
#fi

5）启动Hadoop
 

[hadoop@node01 bin]$ start-all.sh
 
[hadoop@node01 bin]$ jps
 
2732 Jps
 
2478 NameNode
 
2665 JobTracker
 
2600 SecondaryNameNode