参考:数据仓库中的ODS、EDW、和DM层是什么?(系列3) (pmcaff.com)

数据仓库各层说明:

一、数据加载层:ETL(Extract-Transform-Load)
二、数据运营层:ODS(Operational Data Store)
三、数据仓库层:DW(Data Warehouse)
   1. 数据明细层:DWD(Data Warehouse Detail)
   2. 数据中间层:DWM(Data WareHouse Middle)
   3. 数据服务层:DWS(Data WareHouse Service)
四、数据应用层:APP(Application)
五、维表层:DIM(Dimension)
 

注意问题:

1. 数据仓库的分层,只是一个概念上、处理方式上的分层,在计算机处理中,大多还是在一个数据库中、通过建不同的数据表来实现的,并不存在严格的物理区隔;

2. 你可以把它叫做:1、2、3层,方便理解,但为了与别人的理解保持一致,还是需要跟同事沟通清楚,明确各层的数据含义;

3. 有些公司的实践中,会在数据仓库中分3层以上,比如会将EDW层分解为两层,分别为轻度汇总层、中度汇总层。这是跟着业务需要走了,理解分层的目的即可;

4. DM层并不一定从EDW层中获取,有依赖关系的字段,在没有被提取到EDW层之前,仍然需要从ODS层获取;

5. 同理:数据应用也并不一定要从EDW层或者DM层中获取,临时类需求,从ODS层反而更快。

总结一下:

1. 数据仓库分层的核心:提高数据应用的效率、效果;

2. 分层的定义:

数仓分层数据来源特点
ODS操作型数据、实时数据,日志数据等近似=raw data
EDWODS层按明确主题和维度进行ETL的数据表
DWODS、EDW层面向明确应用,ETL获取的数据表

Logo

为开发者提供学习成长、分享交流、生态实践、资源工具等服务,帮助开发者快速成长。

更多推荐