首页 \ 问答 \ 大数据实时处理为什么用kafka不用hdfs

大数据实时处理为什么用kafka不用hdfs

更新时间:2022-11-10 09:11

最满意答案

一步,在Spring配置文件中增加本业务类

第二步,定义任务。在Spring配置文件中配置代理类MethodInvokingJobDetailFactoryBean,定义任务的详细信息。





这个配置告诉Spring,我们的任务是执行id为businessReport的bean中的perform函数。其中参数concurrent告诉Spring,不要并发运行
这个任务。
第三步,配置一个触发器。在Spring配置文件中配置触发器类CronTriggerBean 。
 改成 CronTriggerFactoryBean



触发器将告诉Quartz两件事:在何时触发任务、触发哪个任务。其中属性参数cronExpression为 调度时间,格式和unix上的crontab类
似,具体见下表1。“0 0 1 1 * ?”表示每月1日凌晨1点运行。其中问号表示忽略该位置(星期)上的值。属性参数jobDetail指向具体的任务
bean:reportTask 。如果你有多个任务,每个任务的触发时间都不一样,则你可以在此配置多个不同的触发器。
表1. cronExpression的时间格式
位置 - 含义-
1 - 秒(0–59)
2 - 分(0–59)
3 - 时(0–23)
4 - 日(1–31)
5 - 月(1–12)
6 - 星期(SUN–SAT or 1–7)
7 - 年(可选, 1970–2099)

第四步,配置一个调度器。在Spring配置文件中配置调度器类SchedulerFactoryBean。







该调度器用于管理触发器。只有在调度器中列表出现的触发器才被Quartz系统调度执行。至此,所有的配置已完成,任务已能正常跑了。
如果采用第二种方式,那业务类是要进行小小的修改。整个过程如下。
第一步,修改上述的业务类,修改如下:
public class RenewVirtualService implements org.quartz.Job { //继承quartz 的job接口
//实现job接口的execute函数,在其中简单调用perform()函数就可以了。
public void execute(org.quartz.JobExecutionContext context){ //执行报表统计入口函数
renew();
}
//其它的保持不变。
public void renew(){
//业务逻辑
}
}
修改过程比较简单,只增加了两三行代码;业务类在Spring的Bean配置不动。
第二步,定义任务。在Spring配置文件中配置如下任务的详细信息:



此配置告诉Quartz,我们的任务类的名字为RenewVirtualService。在定时触发时,Quartz会利用该类名来创建任务的实例,并执行该实
例的execute方法。
第三、第四步与第一种的调度方式相应的步骤一样。

附:cronExpression表达式解释:
============================================================================================================
字段 允许值 允许的特殊字符 
秒 0-59 , - * / 
分 0-59 , - * / 
小时 0-23 , - * / 
日期 1-31 , - * ? / L W C 
月份 1-12 或者 JAN-DEC , - * / 
星期 1-7 或者 SUN-SAT , - * ? / L C # 
年(可选) 留空, 1970-2099 , - * /

0 0 12 * * ?---------------在每天中午12:00触发 
0 15 10 ? * *---------------每天上午10:15 触发 
0 15 10 * * ?---------------每天上午10:15 触发 
0 15 10 * * ? *---------------每天上午10:15 触发 
0 15 10 * * ? 2005---------------在2005年中的每天上午10:15 触发 
0 * 14 * * ?---------------每天在下午2:00至2:59之间每分钟触发一次 
0 0/5 14 * * ?---------------每天在下午2:00至2:59之间每5分钟触发一次 
0 0/5 14,18 * * ?---------------每天在下午2:00至2:59和6:00至6:59之间的每5分钟触发一次 
0 0-5 14 * * ?---------------每天在下午2:00至2:05之间每分钟触发一次 
0 10,44 14 ? 3 WED---------------每三月份的星期三在下午2:00和2:44时触发 
0 15 10 ? * MON-FRI---------------从星期一至星期五的每天上午10:15触发 
0 15 10 15 * ?---------------在每个月的每15天的上午10:15触发 
0 15 10 L * ?---------------在每个月的最后一天的上午10:15触发 
0 15 10 ? * 6L---------------在每个月的最后一个星期五的上午10:15触发 
0 15 10 ? * 6L 2002-2005---------------在2002, 2003, 2004 and 2005年的每个月的最后一个星期五的上午10:15触发 
0 15 10 ? * 6#3---------------在每个月的第三个星期五的上午10:15触发 
0 0 12 1/5 * ?---------------从每月的第一天起每过5天的中午12:00时触发 
0 11 11 11 11 ?---------------在每个11月11日的上午11:11时触发
=====================================================================================
spring Quartz配置:调度方式:通过spring的MethodInvocationJobDetailFactoryBean代理类,Quartz通过代理类调用业务类:二:业务类实现Quartz接口
public class DepartmentService{
public void save();
}
//业务类

//配置MethodInvocatoinJobDetailFactoryBean





//配置触发器




//配置调度器







============================================================================
timer实现:
1. spring+java.util.TimerTask 
a. 定义工作任务: 
工作任务类继承timerTask,并实现工作任务run. 
b. 定义任务调度器: 
把工作任务注入spring的定时任务调度器: ScheduledTimerTask,指定任务的执行时间. 
c. 启动调度器: 
通过spring的定时任务启动器TimerFactoryBead启动任务调度器,可以加载多个任务调度器
Java Timer定时 :

import java.util.TimerTask;   
public class EmailReportTask extends TimerTask{   
@Override   
public void run() {   
...   
}     
}   
scheduledTimerTasks里显示一个需要启动的定时器任务的列表。   
可以通过设置delay属性延迟启动   
   
   
   
86400000value>   
property>   
   
3600000value>   
property>   
   

启动Spring定时器
Spring的TimerFactoryBean负责启动定时任务
   
   
list>   
property>   
bean>

本人按照该步骤编码测试,但是报错,原因如下:
1.缺少相应jar包。(spring框架jar包是必要的 + quartz-2.2.1.jar)
2.在第三步配置触发器时,在Spring配置文件中配置触发器类CronTriggerBean -----改成 CronTriggerFactoryBean




否则会报错:
Error loading class [org.springframework.scheduling.quartz.CronTriggerBean] for bean with name 'cronTrigger' 
defined in ServletContext resource [/WEB-INF/springMVC-servlet.xml]: problem with class file or dependent class;
nested exception is java.lang.IncompatibleClassChangeError: class org.springframework.scheduling.quartz.CronTriggerBean 
has interface org.quartz.CronTrigger as super class

java类SysoHello定义如下:

springMVC-servlet.xml配置如下

其他回答

期待看到有用的回答!

相关问答

更多
  • 一步,在Spring配置文件中增加本业务类 第二步,定义任务。在Spring配置文件中配置代理类MethodInvokingJobDetailFactoryBean,定义任务的详细信息。 这个配置告诉Spring,我们的任务是执行id为businessReport的bean中的perform函数。其中参数concurrent告诉Spring,不要并发运行 这个任务。 第三步,配置一个触发器。在Spring配置文件中配置触发器类CronTriggerBean 。 改成 CronTriggerFactoryBe ...
  • mysql数据表: create table driver_order ( id int(11) unsigned NOT NULL AUTO_INCREMENT, area_start varchar(200), area_end varchar(200), order_number varchar(200), create_user varchar(200), primary key (id) ); 创建触发器: DELIMITER $$ CREATE TRIGGER seq_driver_order_ ...
  • 触发器 怎么写[2023-06-30]

    CREATE TRIGGER `putin_t` AFTER INSERT ON `t_putin` FOR EACH ROW BEGIN update t_goods set number = new.number + number where id = new.goodsid ; END;
  • create trigger { before | after} {insert | update | delete} on for each row create trigger after insert on 表A for each row BEGIN INSERT INTO 表B SELECT * FROM 表A WHERE 表A.ID=LAST_INSERT_ID(); END
  • 如果你想通过2个表的触发器来实现"用户名、密码"的更新的数据同步,则是不可以的. 建议改变逻辑处理: 写一个共用的存储过程,然后在存储过程里同时实现2个表的数据更改即可.
  • mysql的触发器不能对本表进行update操作
  • expert_message表中的一个字段名是Re_Expert还是Re_Experts?上下文写的不一致,我当Re_Expert处理了。 DELIMITER $$ CREATE TRIGGER t1 AFTER INSERT ON report FOR EACH ROW BEGIN INSERT INTO expert_message (Cate_Time,Re_Expert,Se_Hospital) VALUES (NOW(),new.Rs_ExpertID,new.Hs_ID); END$$ DELI ...
  • 触发器分为:insert触发器、delete触发器、update触发器。 其中insert和delete触发器,只能精确到数据行级别:即当对表进行删除或者添加操作的时候触发对应的触发器。而update触发器可以精确到某一个字段上面。不是只有行及触发器的。你可以根据这个,来写一个精确到当修改表中的某个字段时候,来出发你的触发器,当你修改了某一行的数据,但是没有修改这个字段的时候,这个触发器是不会被出发的。只有你修改了这个表的这个字段,那么此时,这个update触发器才会被出发。 当然触发器还可以根据befor ...
  • 我有books 和 info 表... books表中有 ISBN Allbooks BorrowsBooks info 表有 ISBN Userno Yesorno 当我的 Yesorno 是 YES 时就从BorrowBooks中减去1; 这个触发器我已经写好了。可有个问题...就是当我Yesorno为Yes时.. books表中的每列Borrowbooks都减去1.。 我的触发器代码如下.. CREATE TRIGGER `chu` BEFORE INSERT ON `info` FOR EACH R ...

相关文章

更多

最新问答

更多
  • 您如何使用git diff文件,并将其应用于同一存储库的副本的本地分支?(How do you take a git diff file, and apply it to a local branch that is a copy of the same repository?)
  • 将长浮点值剪切为2个小数点并复制到字符数组(Cut Long Float Value to 2 decimal points and copy to Character Array)
  • OctoberCMS侧边栏不呈现(OctoberCMS Sidebar not rendering)
  • 页面加载后对象是否有资格进行垃圾回收?(Are objects eligible for garbage collection after the page loads?)
  • codeigniter中的语言不能按预期工作(language in codeigniter doesn' t work as expected)
  • 在计算机拍照在哪里进入
  • 使用cin.get()从c ++中的输入流中丢弃不需要的字符(Using cin.get() to discard unwanted characters from the input stream in c++)
  • No for循环将在for循环中运行。(No for loop will run inside for loop. Testing for primes)
  • 单页应用程序:页面重新加载(Single Page Application: page reload)
  • 在循环中选择具有相似模式的列名称(Selecting Column Name With Similar Pattern in a Loop)
  • System.StackOverflow错误(System.StackOverflow error)
  • KnockoutJS未在嵌套模板上应用beforeRemove和afterAdd(KnockoutJS not applying beforeRemove and afterAdd on nested templates)
  • 散列包括方法和/或嵌套属性(Hash include methods and/or nested attributes)
  • android - 如何避免使用Samsung RFS文件系统延迟/冻结?(android - how to avoid lag/freezes with Samsung RFS filesystem?)
  • TensorFlow:基于索引列表创建新张量(TensorFlow: Create a new tensor based on list of indices)
  • 企业安全培训的各项内容
  • 错误:RPC失败;(error: RPC failed; curl transfer closed with outstanding read data remaining)
  • C#类名中允许哪些字符?(What characters are allowed in C# class name?)
  • NumPy:将int64值存储在np.array中并使用dtype float64并将其转换回整数是否安全?(NumPy: Is it safe to store an int64 value in an np.array with dtype float64 and later convert it back to integer?)
  • 注销后如何隐藏导航portlet?(How to hide navigation portlet after logout?)
  • 将多个行和可变行移动到列(moving multiple and variable rows to columns)
  • 提交表单时忽略基础href,而不使用Javascript(ignore base href when submitting form, without using Javascript)
  • 对setOnInfoWindowClickListener的意图(Intent on setOnInfoWindowClickListener)
  • Angular $资源不会改变方法(Angular $resource doesn't change method)
  • 在Angular 5中不是一个函数(is not a function in Angular 5)
  • 如何配置Composite C1以将.m和桌面作为同一站点提供服务(How to configure Composite C1 to serve .m and desktop as the same site)
  • 不适用:悬停在悬停时:在元素之前[复制](Don't apply :hover when hovering on :before element [duplicate])
  • 常见的python rpc和cli接口(Common python rpc and cli interface)
  • Mysql DB单个字段匹配多个其他字段(Mysql DB single field matching to multiple other fields)
  • 产品页面上的Magento Up出售对齐问题(Magento Up sell alignment issue on the products page)