数据仓库:架构图 

在分层和命名大同小异

1 ETL 

 

 

2 数据积存 -ods

操作数据层(ODS),业务数据库基础上,扩充字段。离线数仓中,业务数据定期ETL流程导入到ods中,导入方式有全量,增量两种

 

3 数据分析 - dwd 

数据明细层对ods层进行数据清洗, 标准化,维度退化(时间,分类,地域) (三张维度表合并到商品表里,变成宽表)

数据扔满足3NF模型(三范式),为分析运算做准备

 

4 数据汇总层(DWS)

按照分析主题进行汇总,存储类型非3NF,注重数据聚合,复杂查询,处理性能更优的数仓模型,如维度模型。

5 数据应用层 ADS 

用来存储查询结果,数据应用层也称为数据集市,对接外部系统,方便前端业务快读查询

 

Logo

为开发者提供学习成长、分享交流、生态实践、资源工具等服务,帮助开发者快速成长。

更多推荐