数据仓库:架构图 

在分层和命名大同小异

1 ETL 

 

 

2 数据积存 -ods

操作数据层(ODS),业务数据库基础上,扩充字段。离线数仓中,业务数据定期ETL流程导入到ods中,导入方式有全量,增量两种

 

3 数据分析 - dwd 

数据明细层对ods层进行数据清洗, 标准化,维度退化(时间,分类,地域) (三张维度表合并到商品表里,变成宽表)

数据扔满足3NF模型(三范式),为分析运算做准备

 

4 数据汇总层(DWS)

按照分析主题进行汇总, 存储类型非3NF,注重数据聚合,复杂查询,处理性能更优的数仓模型,如维度模型。

5 数据应用层 ADS 

用来 存储查询结果,数据应用层也称为数据集市,对接外部系统,方便前端业务快读查询

 

# 大数据
Logo
华为云开发者联盟

为开发者提供学习成长、分享交流、生态实践、资源工具等服务,帮助开发者快速成长。

更多推荐

  • · GaussDB关键技术原理:高性能(一)
  • · 重磅发布!华为开发者空间:让每位开发者拥有一台云主机
  • · 华为发布开发者布道师计划,3年发展超过3000名华为开发者布道师
cover

GaussDB关键技术原理:高性能(一)

cover

重磅发布!华为开发者空间:让每位开发者拥有一台云主机

cover

华为发布开发者布道师计划,3年发展超过3000名华为开发者布道师