打开APP
userphoto
未登录

开通VIP,畅享免费电子书等14项超值服

开通VIP
使用Crontab定时执行Spark任务【面试+工作】


使用Crontab定时执行Spark任务【面试+工作】

本文的主要内容有:

  • Linux下使用定时器crontab

  • Linux下如何编写Perl脚本

  • 在Java程序中调用Linux命令

  • 实例:每天0点30分执行Spark任务

1. Linux下使用定时器crontab

1、安装

2、启停命令

3、查看所有定时器任务

这个定时器任务是每分钟用sh执行test.sh脚本

4、添加定时器任务

5、crontab的时间表达式

基本格式 :

6、常用实例

2. Linux下编写Perl脚本

1、首先安装Perl

2、写一个最简单的Perl脚本

内容如下:

第一个“#”表示是这一行是注释 
第二个“!”表示这一行不是普通注释,而是解释器路径的声明行 
后面的“/usr/bin/perl”是perl解释器的安装路径,也有可能是:“/usr/local/bin/perl”,如果那个不行,就换这个 
use strict是严格检查语法

3、给该脚本添加可执行权限

Linux档案的基本权限有9个,分别是owner/group/other三种身份各有read/write/execute权限,而各权限的分数对照是r:4,w:2,x:1; 
每种身份的权限都是需要累加的,比如当权限是[-rwxrwx—],则表明: 
owner:rwx=4+2+1=7 
group:rwx=4+2+1=7 
other:—=0+0+0=0 
即该档案的权限数字就是770

4、然后执行该Perl文件即可

由于我们声明了解释器路径,所以不需要使用perl test.pl,而是直接 ./ 就可以执行了

3. 在Java程序中调用Linux命令

主要用到两个类Process和Runtime,代码示例如下:

如果-c 选项存在,命令就从字符串中读取

4. 实例:每天0点30分执行Spark任务

1、首先编写执行Spark任务的Perl脚本:getappinfo.pl

2、添加定时器任务:每天的0点30分执行getappinfo.pl

添加以下内容:

3、脚本中的Spark程序如下:

这个程序首先从Hive中查询数据并展示出来,然后再调用Linux的shell执行另一个Perl脚本getappinfo_new.pl,我们可以在这个脚本中写入其他操作

本站仅提供存储服务,所有内容均由用户发布,如发现有害或侵权内容,请点击举报
打开APP,阅读全文并永久保存 查看更多类似文章
猜你喜欢
类似文章
Linux 执行定时任务 shell脚本
Linux系统如何创建任务?操作方法!
linux系统mysql数据库定时备份数据(sql脚本)
linux 计划任务的配置与执行
linux Shell学习笔记第五天
玩转 Linux cron
更多类似文章 >>
生活服务
热点新闻
分享 收藏 导长图 关注 下载文章
绑定账号成功
后续可登录账号畅享VIP特权!
如果VIP功能使用有故障,
可点击这里联系客服!

联系客服