SAP Data Service是通过SAP HANA认证的ETL工具,其主要功能就是将数据从多个业务系统中抽取出来,进行必要的处理,如转换、合并、过滤、清洗,然后加载到BW系统或者HANA.

DS的主界面如下:
在这里插入图片描述
介绍一下几个名词:

1、project。 项目是允许对作业进行分组的可重用的对象,简单来说,就是个文件夹,方便对作业的分类管理。
在这里插入图片描述
2、Job. 作业是唯一可以执行的对象。可以在开发过程中手动执行来测试作业。在生产过程中,可以调度批作业并将实时作业设置为服务,当Data Integrator 收到消息请求时,服务将执行某个进程。作业由一个或多个步骤构成,每个步骤都由一个对象图标来表示。

在这里插入图片描述
3、Workflow。工作流定义了用于执行数据流的决策过程。例如,工作流中的元素可基于前一个作业设置的值来确定执行路径,也可以在主路径中出现错误的情况下指明一个替代路径。工作流的最终目的是为执行数据流做准备,并在数据流完成后设置系统的状态。所有的工作流节点都会在这里进行展示,并且标明被调用的次数。
在这里插入图片描述
4、Data Flow。所有的数据流节点都会在这里进行展示,并且标明被调用的次数。
在这里插入图片描述
5、Transform. 转换对数据集进行操作。转换处理输入集并产生一个或多个输出集。相比之下,函数可以对数据集中特定列内的单个值进行操作。Data Integrator 包含许多个内置转换。可以在对象库的“转换”选项卡上使用这些转换。Transform里边常用的组件包括Merge、Query、SQL等。
在这里插入图片描述
Merger是将两个或多个数据源中的行统一到一个目标中;Query检索满足指定条件的数据集,Query 转换与 SQL SELECT 语句相似。SQL用于执行所指示的 SQL 查询操作。

操作流程:

创建 project -> 创建job -> 创建workflow -> 创建dataflow

创建作业

右键单击相应的project,选择“new bath job”
在这里插入图片描述
给作业命名

在这里插入图片描述
右键作业
在这里插入图片描述
创建Workflow

首先打开任务,将workflow拖入任务
在这里插入图片描述
创建Dataflow
在这里插入图片描述
创建target表和source表

右键单击数据库
在这里插入图片描述
当数据库表数量非常多的时候,使用import by name的方式比较好,这样就可以只导入自己需要的表。
在这里插入图片描述
输入要导入的表名称,然后点击import
在这里插入图片描述
右键数据库,执行刷新就可以看到导入的表
在这里插入图片描述
将表拖入到已经建好的dataflow中,会出现make source 和 make target两种选项。make source:作为数据源头,make target:作为数据存放的目标表
在这里插入图片描述
Query的设置

在source表和target表中间,必须要加上一个query来进行mapping
在这里插入图片描述
双击query 进行数据字段绑定:

将左边的source中的字段依次拖拽到query中的对应字段。
在这里插入图片描述
Mapping是对字段做一些处理,functions中有一些系统定义的方法。
在这里插入图片描述
也可以在where中添加筛选条件
在这里插入图片描述
Script的使用

有些表是全量更新的,在插入新数据之前,需要删除原数据,这种情况就可以使用Script写JS代码来实现。将Script放在工作流的前面执行。
在这里插入图片描述
参数

在Script和Where里都会使用到参数,参数是在作业里创建,然后在Script中初始化后,Script和后面的工作流中都可以使用。

选中作业,单击菜单中的tools
在这里插入图片描述
选择Variable
在这里插入图片描述
插入参数
在这里插入图片描述
参数的使用场景:例如要插入2月数据,在插入数据前,首先要删除结果表2月的收入,在查询结果表中的数据where是2月份的数据,插入进去。

Script中使用参数:
在这里插入图片描述
Where中使用参数:
在这里插入图片描述
在Data Service中手工执行任务
在这里插入图片描述
设置定时任务

需要在Management Console里进行修改,地址为http://IP:8080/DataServices/launch/logon.action
在这里插入图片描述
找到对应的系统

图片

查看任务状态

图片

设置定时任务

在这里插入图片描述

完成后点击Apply即可完成创建Job。

在这里插入图片描述

Logo

为开发者提供学习成长、分享交流、生态实践、资源工具等服务,帮助开发者快速成长。

更多推荐