今天来和大家讲一下Kettle的一些基础应用,本文包括如何将转换中的结果转出到作业中;转换如何从父作业中获取上一个转换写入的数据;以及设置变量和获取变量的用法。不多说先看最终的作业和转换。
作业:
转换1:
转换3:
这里先说一下思路,在Mysql数据库中保存了一些数据,第一个转换从数据库读取数据并把一些参数设置到环境变量中,第二个转换读取第一个转换获取的数 据,并获取环境变量的值,根据这些数据做一些操作(这里只作演示所做的操作是把它们输出到文本中),然后把数据库表中处理过的这条数据打上处理过的标记(这里是用的时间,第一个转换取的时候判断 小于当日的数据全部取出,处理完后将日期更新成当前日期),在作业中设置作业重复执行,并判断当第一个转换没有取 到数据时中止整个作业。
注意:
1、第一个转换取到的每一行值第二个转换都可以有运行一次
2、第一个转换设置环境变量只能有一条数据
也就是说如果 你不用设置变量这个组件可以一下把表中所有的数据都取出来,在第二个转换中处理每行数据处理一次,如果用设置环境变量第一个转换每次只能取一条数据
在作业中判断当转换1中没有取到值时结束整个作业。
注意:作业中第二个转换时要把执行每一个输入行选上!
OK 今天就到这里吧!
相关推荐
实现kettle循环调用,导入资源库,修改Job的Transformation,选择第二个,选则Transformation转换。
Kettle根据参数循环调度, 作业名称:总调度-监控数据量 作 者: 鲁班 开发时间:2019.04.03 加载频率:日 加载策略:全量 程序描述:监控数据量
很好的java调用kettle,使大家更好的利用kettle转换数据,提取数据
Kettle8.2做的,Kettle循环获取转换中的结果集传递到下一个转换中,并最终输出到txt文档
ETL工具(kettle)使用系列(五)-kettle调用restApi接口获取数据插入数据库-真实案例脱密处理-kettle脚本
kettle定时加载数据,并且实现多参数传递,高效处理复杂业务逻辑
项目组需要从view视图中清洗出数据,但是数据量过亿,所以思路是先查询中view中用到了那些表,在通过这一张张表,去清洗数据,落地临时表。
kettle写的循环分页迁移数据的例子,迁移了36w数据,速度飞快,平均cpu使用只有19%。数据库表是运营商号段数据,网上有,比较大就不放上来了。
数据抽取-Kettl动态参数调用HTTP、POST接口
kettel循环执行动态sql,
1. Kettle循环获取结果集并传入转换里面 是Kettle循环转换(t1.ktr)中的结果集,放到转换2(var.ktr)中,输出到本地txt文件中 1.1 job j1.kjb JavaScript var prevRow=previous_result.getRows();//获取上一个...