打开APP
userphoto
未登录

开通VIP,畅享免费电子书等14项超值服

开通VIP
kettle中含有参数传递的定时任务

1需求描述

使用Linux中的CRONTAB调度kettle

2 数据库环境

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
DROP TABLE DB2INST1.TEST_1;
CREATE TABLE DB2INST1.TEST_1
    (
    ID   INTEGER,
    NAME VARCHAR (10),
    DATE VARCHAR(10)
    )
    IN USERSPACE1;
INSERT INTO TEST_1 VALUES ('1','sds','20160909');
INSERT INTO TEST_1 VALUES ('2','sds','20160910');
INSERT INTO TEST_1 VALUES ('3','sds','20160907');
INSERT INTO TEST_1 VALUES ('4','sds','20160908');
DROP TABLE DB2INST1.TEST_2
CREATE TABLE DB2INST1.TEST_2
    (
    ID   INTEGER,
    NAME VARCHAR (10),
    DATE VARCHAR(10)
    )
    IN USERSPACE1;

  


3 整体示意图
 

3.1 ETL.kjb

 

 

3.2 Tran.ktr

 

 

 

3.3 调度示意图

 

 

 

使用Linux调度kjb,使用kjb调度ktr

4 参数设置

首先在ETL.kjb中定义参数

右键---作业设置

 

 

接着看到如下界面:设置作业中的命令参数

 

 

作业中的命令参数设置好了,那么接下来就是把作业中的命令参数传递给转换

 

 

接着打开Tran.ktr,定义转换参数(定义的名字与作业中定义的转换参数保持一致)

 

 

接着在表输入中获取参数

 

 

  

整个从作业到转换参数传递结束

5 Linux自动调度作业设置

新建ETL.sh文件,内容如下

#!/bin/bashexport JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.51-2.4.5.5.el7.x86_64/jreexport PATH=$JAVA_HOME/bin:$PATHexport CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar/home/kettle/soft/data-integration/kitchen.sh -file=/home/kettle/job/ETL.kjb -param:date=20160909 > /home/kettle/20160909.txt

 

5.1   CRONTAB命令

查看当前用户的定时任务

1
[kettle@localhost sh]$ crontab –l

编辑当前用户的定时任务

1
[kettle@localhost sh]$ crontab –e 

编辑当前用户的定时任务

1
[kettle@localhost sh]$ crontab –r

 

摘自:http://www.cnblogs.com/peida/archive/2013/01/08/2850483.html

实例:

每五分钟执行  */5 * * * *

每小时执行     0 * * * *

每天执行    0 0 * * *

每周执行    0 0 * * 0

每月执行    0 0 1 * *

每年执行    0 0 1 1 *

Linux中CRONTAB设置

输入CRONTAB -e,回车查看信息

 

 

按i进入编辑模式,输入一下内容后保存

 

 

赋予ETL.sh可执行权限

 

 

一分钟后查看数据库,结果如下:

 

 

【May all your dreams come true,may our friendship last till the end of the univers!】
本站仅提供存储服务,所有内容均由用户发布,如发现有害或侵权内容,请点击举报
打开APP,阅读全文并永久保存 查看更多类似文章
猜你喜欢
类似文章
【热】打开小程序,算一算2024你的财运
ETL的灵魂:调度系统 | 附大数据资料
ETL高级教程
Kettle 4.2源码分析第一讲--Kettle 简介
Linux 设置定时任务crontab命令
Linux 定时任务调度(crontab),太实用了!
Kettle入门教程
更多类似文章 >>
生活服务
热点新闻
分享 收藏 导长图 关注 下载文章
绑定账号成功
后续可登录账号畅享VIP特权!
如果VIP功能使用有故障,
可点击这里联系客服!

联系客服