Hadoop教程Hive执行过程

2019-03-28 13:37|来源: 网络

1. 入口  /bin/cli.sh

调用CliDriver类进行初始化过程

处理 -e, -f, -h等信息,如果是-h,打印提示信息,并退出

读取hive的配置文件,设置HiveConf

创建一个控制台,进入交互模式

2. 在交互方式下,读取每一个输命令行,直到’;’为止,然后提交给processLine(cmd)方法处理,该方法将输入的流以;分割成多个命令 ,然后交给processCmd(cmd)方法

3. ProcessCmd(cmd) 对输入的命令行进行判断,根据命令的第一个记号(Token),分别进入相应的流程

quit or exit  系统正常退出!开头的命令行  执行操作系统命令

source 开头的,读取外部文件 并执行文件中的命令

list 列出 jar  file archive

其他命令提交给Commandprocess ,进行命令的预处理

免费下载地址在 http://linux.linuxidc.com/

用户名与密码都是www.linuxidc.com

具体下载目录在 /2012年资料/7月/12日/Hadoop教程Hive执行过程/

相关问答

更多
  • riak 华师大的吧- - 下面来简单介绍各个组件的作用: HDFS(Hadoop distribute file system)——Hadoop生态系统的基础组件Hadoop分布式文件系统。它是其他一些工具的基础HDFS的机制是将大量数据分布到计算机集群上,数据一次写入,但可以多次读取用于分析。HDFS让Hadoop可以最大化利用磁盘。 HBase—— 一个构建在HDFS之上的面向列的NoSql数据库,HBase用于对打量数据进行快速读取/写入。HBase将Zookeeper用于自身的管理,以保证其所有组 ...
  • 推荐你看看Cloudy老师的《深入浅出Hive企业级架构优化、Hive Sql优化、压缩和分布式缓存(企业Hadoop应用核心产品) 》这套视频教程,讲的很不错。下载地址:http://kuai.xunlei.com/d/xmBrD3PZqqWvUgQA164
  • order by nulls last 不是标准sql,oracle设计的 可以这么写,再指定一个虚拟列来辅助排序 order by case when col is null then 0 else 1 end , col desc
  • 当然可以了。hive只是一个数据仓库的工具。运行一些HQL语句。不一定非得分布式。
  • ①hive中的hive*-site.xml需要添加一些内容(方便的话,可以贴出配置文件) ②需要将相应的lib下的jar和conf下的xml配置文件拷贝到hive中
  • MapReduce只是一个计算框架 。 HBase与此无关。 也就是说,您可以通过编写MapReduce作业来有效地将数据提取到/从HBase中获取。 或者,您可以使用其他HBase API(如Java)编写顺序程序来放置或获取数据。 但是我们使用Hadoop,HBase等来处理大量的数据,所以没有什么意义。 当您的数据太大时,使用正常的顺序程序将非常低效。 回到你问题的第一部分,Hadoop基本上是两件事:一个分布式文件系统(HDFS) +一个计算或处理框架(MapReduce) 。 像所有其他FS一样, ...
  • 对于此错误: java.sql.SQLException: Query returned non-zero code: 9, cause: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.MapRedTask at org.apache.hadoop.hive.jdbc.HiveStatement.executeQuer 转到此链接: http://docs.amazonwebservices.com/El ...
  • 我不知道这样的机制,并且正如你所提到的那样,在M / R工作上做了hadoop job -kill。 这只应该是蜂巢工作当前阶段的要求:后续阶段不会启动。 I am not aware of such a mechanism and have been doing precisely as you mention to do hadoop job -kill on the M/R job. That should only be required of the current stage of the hi ...
  • 尝试这个: ^([0-9-]+)\t([^\t]*)\t([^\t]*)\t([^\t]*)\t([^\t]*)\t([^\t]*)\t([^\t]*)\t([^\t]*)\t(\".*?\"|[^ ]*)\t(\".*?\"|[^ ]*)\t([^\r\n]+)$ Try this: ^([0-9-]+)\t([^\t]*)\t([^\t]*)\t([^\t]*)\t([^\t]*)\t([^\t]*)\t([^\t]*)\t([^\t]*)\t(\".*?\"|[^ ]*)\t(\".*?\"|[^ ...
  • 当我能够使用Hive执行所有作业时,那么为什么需要HBASE来存储数据。 这不是开销吗? Hive和Hbase哪些功能Hbase HBase是No Sql数据库,它将数据存储在键值对中。 Hive与Hbase整合。 Hbase HIve集成 优点: - Hive查询HBase 。 思考联接和一种简单的方法来对Hbase数据进行聚合和简单操作。 Hbase为您提供可扩展的存储基础架构,使数据保持在线。 StumbleUpon使用Hbase作为他们的实时网站。 Hive不是实时查询引擎,因此其数据存储不能用于类 ...