一.Linux安装Kettle

1、将kettle上传到Linux服务器,并解压缩
2、在命令行执行

./pan.sh -version
./kitchen.sh -version

3、如果能够看到以下输出,表示kettle可以正确运行

Pan - Kettle version 8.2.0.0-342, build 8.2.0.0-342, build date : 
Pan - Start of run.
ERROR: No repository provided, can't load transformation.
Kitchen - Kettle version 8.2.0.0-342, build 8.2.0.0-342, build date 
Kitchen - Start of run.
ERROR: Kitchen can't continue because the job couldn't be loaded.

4、配置环境变量

# KETTLE
export KETTLE=/export/servers/data-integration
export PATH=${KETTLE}:$PATH

二.Pan——转换执行引擎

pan.sh可以用来在服务器中执行一个转换
pan.sh的命令行参数:

-version:显示版本信息
-file: 指定要运行的转换文件(XML文件)
-level: 设置日志级别(Basic,Detailed,Debug,Rowlevel,Error,Nothing)
-log: 指定日志文件
-param:key=value (该参数可以指定多个)覆盖之前指定的默认的命名参数

需求:

  • 在Linux中,将 /export/data/user.json 数据抽取到/export/data/user.xls 表格中
  • 实现步骤:
    1、在 windows 中开发转换,将 json数据抽取装载到 user.xls文件中
    在这里插入图片描述
    不要设置绝对路径,为了方便以后修改数据不用重新再整一遍
    在这里插入图片描述
    在这里插入图片描述
    2、抽取路径参数,通过命令行指定 json数据文件路径,指定 user.xls 文件路径
    在这里插入图片描述
    3、将数据文件上传到 /export/data 目录
    4、上传转换文件(ctrl+s保存的文件)、json数据文件到Linux服务器
    5、使用 pan.sh 执行转换
    执行
pan.sh -file pansh转换任务.ktr

在这里插入图片描述

三.Kitchen——作业执行引擎

在Linux中,可以使用 kitchen.sh 来执行作业
需求:

  • 执行JSON数据抽取到Excel中
    实现步骤:
    1、在windows中开发作业
    在这里插入图片描述
    2、配置转换组件
    在这里插入图片描述
    3.修改之前文件的命名参数,不指定路径(默认值)
    在这里插入图片描述
    4.修改作业的命名的参数 要与转换的命名参数一致
    在这里插入图片描述
    5.执行命令
kitchen.sh -file jobtest.kjb -level Basic input=/export/data/user.json -param:output=/export/data/

在这里插入图片描述

Logo

为开发者提供学习成长、分享交流、生态实践、资源工具等服务,帮助开发者快速成长。

更多推荐