首页 技术 正文
技术 2022年11月9日
0 收藏 718 点赞 3,511 浏览 4765 个字

说明:这个是使用2.1.5版本

  elastic-job是当当开源的的的定时任务,使用也是很简单的,可以解决数据量的大的时候可以分片执行,多应用节点部署时候不会重复执行。

  是通过zookeeper作为控制中心,进行任务分配。

使用手册:http://elasticjob.io/docs/elastic-job-lite/02-guide/config-manual/

分片原理:https://www.cnblogs.com/haoxinyue/p/6919375.html

一. 安装elastic-job控制台

  下载源码:https://github.com/elasticjob/elastic-job-lite

  (1) 找到elastic-job-lite 下面的elastic-job-lite-console,然后在这个文件下执行mvn打包

mvn clean install -Dmaven.test.skip=true  

  (2)得到elastic-job-lite-console-2.1.5.tar.gz。并上传到linux服务器下,并且解压,

在bin文件夹下执行nohup ./start.sh & (-p 可以指定端口号) ,端口是8899 ,浏览器打开:ip:8899就可以访问控制台了,如下图:

  elastic-job 的简单使用

   

已经配置过注册中心的界面

   elastic-job 的简单使用

二, zookeeper安装

参考:

    https://blog.csdn.net/m290345792/article/details/52576890

    https://www.cnblogs.com/wangmingshun/p/7745808.html

三,实现job

  (1)使用maven 引入jar包

<!-- 当当job-->
<dependency>
<groupId>com.dangdang</groupId>
<artifactId>elastic-job-lite-core</artifactId>
<version>2.1.</version>
</dependency>
<dependency>
<groupId>com.dangdang</groupId>
<artifactId>elastic-job-lite-spring</artifactId>
<version>2.1.</version>
</dependency>
<!-- 当当job-->

  (2)编写一个测试job

  job功能要 实现SimpleJob这个类,然后重写execute方法,在这个方法中编写job的业务逻辑,例如

public class SimpleJobDemo2 implements SimpleJob {
@Override
public void execute(ShardingContext shardingContext) {
System.out.println(String.format("------Thread ID: %s, 任务总片数: %s, 当前分片项: %s",
Thread.currentThread().getId(), shardingContext.getShardingTotalCount(), shardingContext.getShardingItem()));
/**
* 实际开发中,有了任务总片数和当前分片项,查询选择数据进行执行
*
*/
}
}

  例如分片执行的:

public class MyElasticJob implements SimpleJob {    @Override
public void execute(ShardingContext context) {
switch (context.getShardingItem()) {
case 0:
// do something by sharding item 0
break;
case 1:
// do something by sharding item 1
break;
case 2:
// do something by sharding item 2
break;
// case n: ...
}
}
}

(3) Spring 配置(更多配置参数请参考 使用手册)  

//数据库jndi配置,执行job 的时候会插入表,并且生成执行记
<bean id="elasticJobLog" class=""org.springframeork.jndi.JndiObjectFactoryBean">
  <property name="jniName">
    <value>${db.jndiName}</value>
  </property>
</bean><!--配置作业注册中心 -->
/**
* server-lists : 连接Zookeeper服务器的列表 包括IP地址和端口号 多个地址用逗号分隔 如: host1:2181,host2:2181
* namespace :Zookeeper的命名空间
* base-sleep-time-milliseconds: 等待重试的间隔时间的初始值 单位:毫秒
* max-sleep-time-milliseconds: 等待重试的间隔时间的最大值 单位:毫秒
* max-retries : 最大尝试次数
*
**/
<reg:zookeeper id="regCenter" server-lists="XXX.XXX.XXX.X:2181" namespace="hmap-job" base-sleep-time-milliseconds="1000" max-sleep-time-milliseconds="3000" max-retries="3" /><!-- 配置作业 测试使用-->
/**
* id: 任务的唯一标示
* event-trace-rdb-data-source : job要操作的数据库(可以不设置)
* class:job 所在的位置
* registry-center-ref : 要指定的注册中心
* cron : job 触发的cron表达式
* sharding-total-count : 作业分片总数
* sharding-item-parameters :分片序列号和参数用等号分隔,多个键值对用逗号分隔 分片序列号从0开始,不可大于或等于作业分片总数 如: 0=A,1=B
**/<job:simple id="simpleJobDemo2" event-trace-rdb-data-source="elasticJobLog" class="hmap.assist.elasticJob.SimpleJobDemo2" registry-center-ref="regCenter" cron="0/2 * * * * ?" sharding-total-count="2" sharding-item-parameters="0=A,1=B" />

  (4)启动程序,就可以在之前部署的控制台看到job状态

    登录的账号密码在打包的配置文件里,登录后配置注册中心  就可以在页面中看到job了

    elastic-job 的简单使用

四,job执行说明:

  1. 如果分片数是1  sharding-total-count = “1” zookeeper注册中心会在多台服务器中随机选择一台执行,如果不是1,则会根据分片策略执行。参考:分片原理

   2.  注册中心可以有多台,但是都是以单数的形式(1,3,5),因为zookeeper 是一主多从,主的宕机,会使用选举的形式再次确定哪个是主,哪些是从。

  3. 如果设置了数据库的jndi,并且设置了 event-trace-rdb-data-source 的值,job运行的时候会在数据库的 OB_EXECUTION_LOG和JOB_STATUS_TRACE_LOG两张表中生成执行记录,不设置也不影响job的正常运行 ,例如:

  elastic-job 的简单使用

五,问题记录

  (1)zookeeper安装启动问题:

  启动会遇到问题,例如找不到jdk,具体原因在安装目录 bin/zookeeper.out文件中查找,找到问题并解决后在启动

  (2) 关闭应用的程序的时候,tomcat 进程还在

  tomcat(sh shutdown.sh) 关闭的时候,项目不能彻底停掉,进程还在:是因为关闭的时候servlet容器发现job还有线程存在,所以不能彻底关闭

  解决办法:增加一个监听,在contextDestroyed 方法中你用elastic-job的shutdown方法

//新建一个类实现ServletContextListener用于关闭elasticJob的线程
@WebListener
public class JobServletContextListener implements ServletContextListener { private static Logger logger = LoggerFactory.getLogger(JobServletContextListener.class); @Override
public void contextInitialized(ServletContextEvent servletContextEvent) { } @Override
public void contextDestroyed(ServletContextEvent servletContextEvent) {
logger.info("Destroying Context...");
try {
WebApplicationContext context = (WebApplicationContext) servletContextEvent.getServletContext().getAttribute(
WebApplicationContext.ROOT_WEB_APPLICATION_CONTEXT_ATTRIBUTE); String[] beanNames = context.getBeanDefinitionNames(); for(String beanName:beanNames)
{
if(beanName.contains("dangdang")&&beanName.contains("SpringJobScheduler")){
logger.info("发现dangdang定时任务beanName: "+beanName);
SpringJobScheduler scheduler = (SpringJobScheduler)context.getBean(beanName);
scheduler.getSchedulerFacade().shutdownInstance();
}
}
} catch (Exception e) {
logger.error("Error Destroying Context", e);
} }
}

<!–
p.p1 {margin: 0.0px 0.0px 0.0px 0.0px; text-align: justify; font: 10.5px Arial; color: #626262}
span.s1 {font: 10.5px ‘PingFang SC’}
–>
<!–
p.p1 {margin: 0.0px 0.0px 0.0px 0.0px; text-align: justify; font: 10.5px Arial; color: #626262}
p.p2 {margin: 0.0px 0.0px 0.0px 0.0px; text-align: justify; font: 10.5px ‘PingFang SC’; color: #626262}
span.s1 {font: 10.5px ‘PingFang SC’}
span.s2 {font: 10.5px Helvetica}
span.s3 {font: 10.5px Arial}
–>

相关推荐
python开发_常用的python模块及安装方法
adodb:我们领导推荐的数据库连接组件bsddb3:BerkeleyDB的连接组件Cheetah-1.0:我比较喜欢这个版本的cheeta…
日期:2022-11-24 点赞:878 阅读:9,492
Educational Codeforces Round 11 C. Hard Process 二分
C. Hard Process题目连接:http://www.codeforces.com/contest/660/problem/CDes…
日期:2022-11-24 点赞:807 阅读:5,907
下载Ubuntn 17.04 内核源代码
zengkefu@server1:/usr/src$ uname -aLinux server1 4.10.0-19-generic #21…
日期:2022-11-24 点赞:569 阅读:6,740
可用Active Desktop Calendar V7.86 注册码序列号
可用Active Desktop Calendar V7.86 注册码序列号Name: www.greendown.cn Code: &nb…
日期:2022-11-24 点赞:733 阅读:6,493
Android调用系统相机、自定义相机、处理大图片
Android调用系统相机和自定义相机实例本博文主要是介绍了android上使用相机进行拍照并显示的两种方式,并且由于涉及到要把拍到的照片显…
日期:2022-11-24 点赞:512 阅读:8,132
Struts的使用
一、Struts2的获取  Struts的官方网站为:http://struts.apache.org/  下载完Struts2的jar包,…
日期:2022-11-24 点赞:671 阅读:5,294