知识点
相关文章
更多最近更新
更多FreeBSD下安装配置Hadoop集群(Hive)
2019-03-28 13:51|来源: 网络
接以前Hadoop安装的文章，Hive是什么就不介绍了，网上一大堆。主要介绍在FreeBSD下的安装配置和跟Linux的异同以及几种Metastore的配置方式。
相关阅读：
更多Hadoop相关信息见Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13
Hive在FreeBSD的安装配置上，跟Linux的差别不是很大，主要要注意一个shell的问题，FreeBSD下默认是没有bash的，所以需要先安装一个bash上去才可以正常的使用Hive。
主要说说配置Metastore的部分。
Hive目前比较流行的有三种数据库当元数据管理的方式，mysql，pgsql，derby。derby属于hive默认安装就带的，无需配置，直接把hive解压缩就可以了。mysql和pgsql是目前使用最广泛的数据库。但是实际上，只要理解了hive对metastore的访问，就可以知道，只要是可以支持JDBC的关系型数据库，都可以当元数据的管理。比如
Oracle或者SQL Server也可以用来存储元数据的关系表。只要你有这种JDBC的驱动就可以了。
先说下postgreSQL吧，要使用pgsql的话，当然你需要一个能够正常访问的pgsql，以及正常的访问权限。以下示例数据库名和用户名密码我都用hive，这个自己安装的时候修改一下就好了。
默认的hive从apache下载下来，解压缩之后需要设置一下环境变量HADOOP_HOME和JAVA_HOME，这个是由于hive是hadoop之上封装的应用，相当于一个扩展工具，所以对HDFS和map/reduce访问都需要使用hadoop的接口。
PostgreSQL：
需要先从这个地址下载对应你pgsql版本的jdbc驱动
然后将jar包放到$HIVE_HOME/lib/，就可以了。
将默认的hive-default.xml.template复制一份并改名为hive-site.xml，编辑这个文件，将下列部分是默认的derby访问，需要注释掉：
几种数据库配置形式是一样的。
<!--<
property
>
< name > javax.jdo.option.ConnectionURL </ name >
< value >jdbc:derby:;databaseName=metastore_db;create=true </ value >
< description >JDBC connect string for a JDBC metastore </ description >
</ property >
<!--上下两段可能不在一起，需要查找一下-->
< property >
< name > javax.jdo.option.ConnectionDriverName </ name >
< value >org.apache.derby.jdbc.EmbeddedDriver </ value >
< description >Driver class name for a JDBC metastore </ description >
</ property >
< property >
< name > javax.jdo.option.ConnectionUserName </ name >
< value > </ value >
< description >username to use against metastore database </ description >
</ property >
< name > javax.jdo.option.ConnectionURL </ name >
< value >jdbc:derby:;databaseName=metastore_db;create=true </ value >
< description >JDBC connect string for a JDBC metastore </ description >
</ property >
<!--上下两段可能不在一起，需要查找一下-->
< property >
< name > javax.jdo.option.ConnectionDriverName </ name >
< value >org.apache.derby.jdbc.EmbeddedDriver </ value >
< description >Driver class name for a JDBC metastore </ description >
</ property >
< property >
< name > javax.jdo.option.ConnectionUserName </ name >
< value > </ value >
< description >username to use against metastore database </ description >
</ property >
<
property
>
< name > javax.jdo.option.ConnectionPassword </ name >
< value > </ value >
< description >password to use against metastore database </ description >
</ property >-->
< name > javax.jdo.option.ConnectionPassword </ name >
< value > </ value >
< description >password to use against metastore database </ description >
</ property >-->
然后放入以下内容
<
property
>
< name >javax.jdo.option.ConnectionURL </ name >
< value >jdbc:postgresql://127.0.0.1:5432/hive? </ value >
< description >JDBC connect string for a JDBC metastore </ description >
</ property >
< property >
< name >javax.jdo.option.ConnectionDriverName </ name >
< value >org.postgresql.Driver </ value >
< description >Driver class name for a JDBC metastore </ description >
</ property >
< property >
< name >javax.jdo.option.ConnectionUserName </ name >
< value >hive </ value >
< description >username to use against metastore database </ description >
</ property >
< property >
< name >javax.jdo.option.ConnectionPassword </ name >
< value >hive </ value >
< description >password to use against metastore database </ description >
</ property >
< name >javax.jdo.option.ConnectionURL </ name >
< value >jdbc:postgresql://127.0.0.1:5432/hive? </ value >
< description >JDBC connect string for a JDBC metastore </ description >
</ property >
< property >
< name >javax.jdo.option.ConnectionDriverName </ name >
< value >org.postgresql.Driver </ value >
< description >Driver class name for a JDBC metastore </ description >
</ property >
< property >
< name >javax.jdo.option.ConnectionUserName </ name >
< value >hive </ value >
< description >username to use against metastore database </ description >
</ property >
< property >
< name >javax.jdo.option.ConnectionPassword </ name >
< value >hive </ value >
< description >password to use against metastore database </ description >
</ property >
这样就可以了，当你启动一个hive-cli，hive会自动创建相关的表。
相关问答
更多-
赶星老师Linux开源集群架构安装配置调试系列视频教程[2023-05-13]
赶星老师Linux开源集群架构安装配置调试系列视频教程 这是赶星老师一部力作，本系列视频教程从基础讲起，首先介绍使用Linux强大的虚拟化功能搭建linux集群实验 环境，再从集群的基本概念着手，让初学者从基础的概念了解什么是集群。而后从国人开发的Linux开源集群软件 LVS讲起。介绍Linux环境下使用开源软件架设集群环境，实例演示常见开源集群软件的安装、配置、调试及软件 之间的组合，实现多集群混合架构使用。 教程目录： 第一章：XEN与KVM虚拟化实战(共7小节) XEN虚拟化概 ... -
赶星老师Linux开源集群架构安装配置调试系列视频教程[2022-02-25]
赶星老师Linux开源集群 架构安装配置调试系列视频教程 这是赶星老师一部力作，本系列视频教程从 基础讲起，首先介绍使用Linux强大的虚拟化功能搭建linux集群实验 环境，再从集群的基本 概念着手，让 初学者从基础的概念了解什么是集群。而后从国人开发的Linux开源集群 软件 LVS讲起。介绍Linux环境下使用开源软件架设集群环境， 实例演示常见开源集群软件的安装、配置、调试及软件 之间的组合，实现多集群混合架构使用。 教程目录： 第一章：XEN与KVM虚拟化 实战(共7小节) ... -
hadoop怎么安装配置[2023-08-24]
在Linux上安装Hadoop之前，需要先安装两个程序： 1. JDK 1.6或更高版本; 2. SSH(安全外壳协议)，推荐安装OpenSSH。 下面简述一下安装这两个程序的原因： 1. Hadoop是用Java开发的，Hadoop的编译及MapReduce的运行都需要使用JDK。 -
两个问题，16行提示命令不存在，你看看你写的是什么 第二个，找不到java文件夹，你看下是不是路径写错了
-
hadoop单机模式可以安装hive吗?[2022-07-09]
当然可以了。hive只是一个数据仓库的工具。运行一些HQL语句。不一定非得分布式。 -
eclipse的安装配置问题!??[2022-09-14]
Eclipse+tomcat的安装配置 首先让我们看看准备工具： jdk: jdk-1_5_0_05-windows-i586-p.exe eclipse:eclipse-SDK-3.1.2-win32.zip tomcat:jakarta-tomcat-5.0.28.exe tomcat插件:tomcatPluginV31.zip 当所有这一切都准备好之后，让我们一项一项来安装配置 一 jdk的安装 jdk的安装只需要根据提示安装就可以了。中途你可以选择自己喜欢的安装路径。安装之后，会有一个jdk1.5. ... -
如何安装配置一个apache开源版hadoop[2023-06-20]
一步步教你Hadoop多节点集群安装配置 http://www.cnblogs.com/lanxuezaipiao/p/3525554.html -
安装配置单元后Hadoop（本地和主机目标不匹配）(Hadoop (local and host destination do not match) after installing hive)[2023-05-01]
原始IOException中似乎存在拼写错误' utbuntu '。 你能检查一下这是正确的主机名还是复制粘贴错误？ etc / hosts配置需要一些试验和错误才能找到Hadoop 2.2.0群集设置，但我所做的是删除主机名的所有127.0.1.1分配并将实际IP分配给机器名称并且它可以工作。 例如 192.168.1.101 ubuntu 我有一个2节点集群，所以我的/ etc / hosts for master（NameNode）看起来像： 127.0.0.1 localhost #127.0. ... -
这是一个不耐烦的快速入门： 下载Hive并将其安装到已安装Hadoop的同一目录中（例如，如果Hadoop位于/ opt / hadoop，则Hive应位于/ opt / hive中）： wget http://apache.rediris.es/hive/hive-2.1.0/apache-hive-2.1.0-bin.tar.gz tar -xvf apache-hive-2.1.0-bin.tar.gz mv apache-hive-2.1.0-bin hive cd hive 生成德比Metas ...
-
在现有Hadoop集群上安装Spark（带HIVE的ISSUE）(Install Spark on existing Hadoop cluster (ISSUE with HIVE))[2022-09-14]
您可能需要在启动spark之前添加mysql连接器jar文件...在我的情况下，我添加了如下所示的mysql连接器jar。 $SPARK_HOME/bin/compute-classpath.sh CLASSPATH=$CLASSPATH:/opt/big/hive/lib/mysql-connector-java-5.1.25-bin.jar You may need to add mysql connector jar file before you start spark... In my ca ...