知识点
相关文章
更多最近更新
更多Hadoop Oozie学习笔记 自定义安装和启动
2019-03-28 13:31|来源: 网络
cloudera里面有基于Oozie的安装,但是通过sudo apt-get install oozie的方式.其中你要将cloudera Hadoop的source放入sources.list.由于我升级了最新的Ubuntu.但对应的cloudera hadoop还没有相应的版本.所以添加sources.list无法成功.网上也没什么手动安装的资料,于是我就写点吧.参考来源:http://incubator.apache.org/oozie/quick-start.html#AG_Install
Oozie依赖hadoop,tomcat,ext(可选,如果需要查看web控制界面就需要安装).我这里Hadoop版本是0.20.2,tomcat版本是tomcat6,ext是ext-2.2.同时我这里安装的Oozie版本是3.0.2
1)先下载Oozie,下载地址:https://github.com/yahoo/oozie/downloads.我的下载路径是/home/guoyun/Downloads/oozie-3.0.2-distro.tar.gz
2)下载ext-2.2.zip,我的下载路径是/home/guoyun/Downloads/ext-2.2.zip
3)安装tomcat,但Oozie依赖于通过$CATALINA_HOME/bin/startup.sh的方式启动Tomcat,所以通过Ubuntu自带的方式安装Tomcat貌似行不通(也就是sudo apt-get install tomcat6).于是还是手动上tomcat官网下载tomcat6.我的下载路径是/home/guoyun/Downloads/apache-tomcat-6.0.33.tar.gz
4)设置环境变量
vi ~/.bashrc
将OOZIE_HOME,CATALINA_HOME设置好,比如我这里是
export OOZIE_HOME=/home/guoyun/Downloads/oozie-3.0.2
export CATALINA_HOME=/home/guoyun/Downloads/apache-tomcat-6.0.33
设置好后运行命令:source ~/.bashrc.
这里可以验证设置是否成功,输入命令:$CATALINA_HOME/bin/startup.sh,然后浏览器里输入http://localhost:8080,如果浏览器里可以看到tomcat,则表示设置成功.下一步安装OOZIE
5)安装OOZIE
输入命令:$OOZIE_HOME/bin/oozie-setup.sh -hadoop 0.20.2 ${HADOOP_HOME} -extjs /home/guoyun/Downloads/ext-2.2.zip
其中0.20.2是你机器hadoop的版本
${HADOOP_HOME}是你机器上Hadoop的安装目录,我这里也是放到环境变量里.
/home/guoyun/Downloads/ext-2.2.zip就是刚下载的ext-2.2.zip所在路径.
运行这条命令Oozie会将hadoop相关jar和oozie等拷贝到Oozie中.同时得到以下结果则代表你安装成功:
New Oozie WAR file with added 'Hadoop JARs, ExtJS library' at /home/guoyun/hadoop/oozie-3.0.2/oozie- server/webapps/oozie.war
INFO: Oozie is ready to be started
6)启动OOZIE
这里你要先确定你的Tomcat没有在运行.输入命令:
$OOZIE_HOME/bin/oozie-run.sh
之后会看到一大把的输出,同时Oozie会启动Tomcat.当你看到
2011-11-8 15:41:21 org.apache.catalina.startup.Catalina start
信息: Server startup in 7365 ms
则表示Oozie启动成功.
7)查看web控制台
输入命令:
$OOZIE_HOME/bin/oozie admin -oozie http://localhost:11000/oozie -status
当看到结果:
System mode: NORMAL
则表示已经成功,通过浏览器输入 http://localhost:11000/oozie就能看到Oozie的管理界面.
这里有个疑问,浏览器里输入http://localhost:8080照样也能看到Tomcat界面,同时$TOMCAT_HOME/webapps下也没看到OOZIE的相关web工程.那OOZIE的web是通过哪里启动的?日后再慢慢解决吧.看到有jetty的包,难不成是Jetty?
相关文件下载
免费下载地址在 http://linux.linuxidc.com/
用户名与密码都是www.linuxidc.com
具体下载目录在 /2012年资料/8月/1日/Hadoop Oozie学习笔记 自定义安装和启动/
相关问答
更多-
学习hadoop需要哪些准备?(知识?硬件?软件?)[2022-01-11]
1、安装：HADOOP安装在LINUX下，测试的话，安装在windows的cpywin下也可。 2、开发：HADOOP开发，也就是MAPREDUCE开发。 要有java基础，理解mapreduce编程理念。开发环境可以是ECLIPSE。不需要学hibernate，struts，SPRING等框架。 3、参考：http://www.hadoopor.com网站上，看看更多的内容。 希望对你有帮助 参考资料http://zhidao.baidu.com/question/357576874.html -
在线等！！关于hadoop环境搭建问题[2023-10-24]
1.关闭hdfs权限：hdfs-site.xml中 dfs.permissions false 2.检查eclipse插件是否设置了hadoop安装目录：将与linux下安装的hadoop相同版本的hadoop解压到windows下一个文件夹，然后指定hadoop插件目录，插件目录在preferences的map/reduce的hadoop installation location 3.在windows的hosts文件中添加hadoop所有节点的ip和主机名 4.关闭linux系统防火墙 5.把hadoo ... -
我想学习hadoop，上官网下载哪个版本的hadoop？[2021-05-10]
你1.7的话，貌似必须用1.04以上的,1.04的还不行 -
hadoop fs -mkdir /input hadoop:未找到命令[2022-04-23]
如果你已经进入hadoop/bin目录下，应该是 ./hadoop fs -mkdir /input 如果你没有进入hadoop/bin目录，你应该打全路径或相对路径 假设你的hadoop安装在/home/hadoop下，你可以打 /home/hadoop/bin/hadoop fs -mkdir /input 一般情况下你都在/home/hadoop默认目录下，你可以打 bin/hadoop fs -mkdir /input -
学习oozie的最好方法是下载发行版附带的示例tar文件并运行它们。 它有mapreduce，pig，流工作流程以及样本协调器xmls的示例。 首先运行正常的工作流程，然后在调试之后，转移到使用协调器运行工作流程，以便您可以逐步执行。 最后一个最佳实践是使工作流和协调器中的大多数变量可以通过component.properties文件进行配置和提供，这样您就不会经常触摸xml。 http://yahoo.github.com/oozie/releases/3.1.0/DG_Examples.html The ...
-
Oozie需要从HDFS运行JAR。 您可以使用hdfs放一个SCP或git pull + package命令。 如果使用Maven，您可以尝试找到Maven Wagon SSH或Maven Exec插件，并将它们绑定到Maven生命周期的部署阶段。 然后， mvn deploy将运行必要的命令将代码放在边缘节点和HDFS上。 这与您的CD引擎需要执行的任务基本相同，但您需要在该CI / CD服务器上为您的Hadoop集群配置Hadoop客户端才能运行hdfs命令。 如果您设置了Oozie协调器，并且只需在 ...
-
这篇文章解释了如何在mapreduce作业期间管理日志 https://discuss.zendesk.com/hc/en-us/articles/201925118 一旦作业完成，NodeManager将为${yarn.nodemanager.log.retain-seconds}保留每个容器的日志，默认情况下为10800秒（3小时），并在它们过期后删除它们。 但是如果${yarn.log-aggregation-enable} ，那么NodeManager会立即将所有容器日志连接成一个文件，然后将它们上 ...
-
我想这可以帮到你： http ： //blogs.msdn.com/b/avkashchauhan/archive/2012/03/29/how-to-chain-multiple-mapreduce-jobs-in-hadoop.aspx 您还可以查看ChainMapper（ http://hadoop.apache.org/docs/current/api/org/apache/hadoop/mapred/lib/ChainMapper.html ），具体取决于您要实现的目标。 但是，这仅适用于一个re ...
-
Oozie Hadoop Streaming(Oozie Hadoop Streaming)[2022-04-18]
能够通过在Workflow.xml中添加以下内容来解决此问题 HADOOP_USER_NAME = $ {WF：用户（）} Able to fix this by adding below in Workflow.xml HADOOP_USER_NAME=${wf:user()} -
我执行了一些测试，除了我的oozie作业处理的数据文件之外，我还必须上传一个workflow.xml。 I performed some testing, and I had to upload a workflow.xml in addition to the data files that my oozie job processes.