博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Oozie分布式任务的工作流——脚本篇
阅读量:6264 次
发布时间:2019-06-22

本文共 4510 字,大约阅读时间需要 15 分钟。

继前一篇大体上翻译了Email的Action配置,本篇继续看一下Shell的相关配置。

Shell Action

Shell Action可以执行Shell脚本命令,工作流会等到shell完全执行完毕后退出,再执行下一个节点。为了运行shell,必须配置job-tracker以及name-node,并且设置exec来执行shell.

Shell既可以使用job-xml引用一个配置文件,也可以在shell action内直接配置。shell action中的配置会覆盖job-xml中的配置。

EL表达式同样适用于shell action。

注意,mapred.job.tracker以及fs.default.name属性不能再shell action中直接配置。

在mapreduce任务中可以处理一些资源,这样shell就可以使用了。更多的内容参考[WorkflowFunctionalSpec#FilesAchives]``[Adding Files and Archives for the Job]章节。

shell的输出可以被后面的工作流任务使用,这些信息可以用来配置一些关键的信息。如果shell的输出想要对整个工作流任务可用,那么必须满足

  • 输出的格式是标准的java属性文件
  • 输出的内容不能超过2KB

语法

...
[JOB-TRACKER]
[NAME-NODE]
...
...
[SHELL SETTINGS FILE]
[PROPERTY-NAME]
[PROPERTY-VALUE]
...
[SHELL-COMMAND]
[ARG-VALUE]
...
[ARG-VALUE]
[VAR1=VALUE1]
...
[VARN=VALUEN]
[FILE-PATH]
...
[FILE-PATH]
...
...
  • prepare元素,经常用于创建一系列的目录或者删除目录。注意目录必须是hdfs://host:port这种格式的。
  • job-xml元素,指定shell任务的配置。在0.2的schema中,job-xml元素允许指定多个job-xml文件。
  • configuration元素,包含了shell任务的配置信息。
  • exec元素,这个是必填项。包含了shell脚本的路径,并执行它。参数可以设置0个或者多个argument元素。
  • argument元素,用于传递给shell脚本。
  • env-var元素,可以设置环境变量,传递给shell脚本。env-var需要包含键值对这种的信息。比如包含$PATH这种信息,那么需要设置PATH=$PATH:mypath这种格式。不要使用${}这种语法,因为它会被认为是Oozie的EL表达式。
  • shell action也可以创建hadoop的配置。shell应用可以直接读取配置文件。
  • capture-output元素,用来指定输出端。shell命令输出必须是java属性这种格式,并且小于2kb.通过工作流的定义,输出也可以通过string action实现。

上面这些元素都支持EL表达式。

例子

如何运行shell或者perl脚本。

${jobTracker}
${nameNode}
mapred.job.queue.name
${queueName}
${EXEC}
A
B
${EXEC}#${EXEC}
Script failed, error message[${wf:errorMessage(wf:lastErrorNode())}]

用于提交oozie工作的参数有

oozie.wf.application.path=hdfs://localhost:8020/user/kamrul/workflows/script#Execute is expected to be in the Workflow directory.#Shell Script to runEXEC=script.sh#CPP executable. Executable should be binary compatible to the compute node OS.#EXEC=hello#Perl script#EXEC=script.pljobTracker=localhost:8021nameNode=hdfs://localhost:8020queueName=default

如何运行java程序并添加jar包

${jobTracker}
${nameNode}
mapred.job.queue.name
${queueName}
java
-classpath
./${EXEC}:$CLASSPATH
Hello
${EXEC}#${EXEC}
Script failed, error message[${wf:errorMessage(wf:lastErrorNode())}]

提交的相关参数

oozie.wf.application.path=hdfs://localhost:8020/user/kamrul/workflows/script#Hello.jar file is expected to be in the Workflow directory.EXEC=Hello.jarjobTracker=localhost:8021nameNode=hdfs://localhost:8020queueName=default

shell Action日志

shell action标准输出和错误输出都可以直接输出到oozie的mapreduce任务控制台上。

通过oozie web控制台,也可以看到它的执行日志。

shell action的限制

尽管shell可以执行任何的脚本命令,但是还是有一些限制的。

  • 不支持交互式的命令
  • 命令不能使用不同的用户执行
  • 用户必须严格控制上传的jar包。oozie会把他上传到分布式环境中进行缓存
  • 尽管oozie在hadoop的计算节点执行shell命令,但是可能有一些默认安装的工能是不支持的。因此需要了解,oozie可以支持安装在计算节点的命令。

实战分析

shell可以输出java properties格式的数据,并且可以配合EL表达式,在其他的action中使用。因此它可以作为工作流的初始化任务,以及配置服务。

比如,在脚本中:

#!/bin/sha=1b=2echo "a=$a"echo "b=$b"

在其他的节点中就可以通过EL表达式来使用了。

转载地址:http://lydpa.baihongyu.com/

你可能感兴趣的文章
OpenJudge/Poj 1661 帮助 Jimmy
查看>>
C语言数据转换
查看>>
hdu2018
查看>>
使用CRF做命名实体识别(三)
查看>>
计算一个文件的MD5值
查看>>
Oracle DBLink连接数过多的问题(Ora-02020)
查看>>
C语言 数组与指针难点
查看>>
ACM 阶乘的0
查看>>
python统计磁盘使用情况
查看>>
iOS - OC Block 代码块
查看>>
iOS - AutoLayout
查看>>
linux中内存超出后可以这样
查看>>
1、代码整洁之一代码整洁
查看>>
第6章 Android的Drawable
查看>>
Python--私有
查看>>
Ps操作技巧(快捷键大全)
查看>>
你可能并不需要消息队列
查看>>
移动端兼容
查看>>
css3翻书效果
查看>>
[转]通过零拷贝实现有效数据传输
查看>>