大数据面试题-数仓分层(重点)
来源:千锋教育
发布人:qyf
2022-12-08
推荐
在线提问>>
数仓往往分为三层，ods、dw、dm，而dw层又可以根据业务细分为dwd、dws、dwa等多层
ods层
操作型数据层，存放的是从不同来源进入数仓的原始数据，ods层往往只存放少量加工的原始数据，因此这里的数据不是集成的。
dw层
数据仓库的核心，它根据数仓架构可能再次细分多层：
dwd层
数据细节层。将ods层的数据统一整合后，依照各
主题需要将数据拆分存储，常见的星型模型和雪花模型就是在这一层。
dws层
数据服务层。按照范式存储的数据在分析时往往需要进行多表join，这样的分析效率很低，因此需要将dwd层的数据按照分析需求提前进行整合。由于主题之间的重合，该层的设计是反三范式的，存在数据冗余。
除了上述分层以外，dw还有基础数据层、轻度汇总层等等，根据数仓架构而定。
DIM层
维度层。有些数仓会将dwd层中的维度表单独抽离出来维护。
dm层
存放使用DW层数据进行业务统计的结果，它们可能被用于线上可视化的指标分析，也可能用于进一步的数据挖掘使用。
ads层
存放数据指标应用结果数据层，主要用于对接后端业务，进行数据可视化展示及数据查询服务
分层作用
复杂问题简单化、减少重复计算、血缘追踪、架构更清晰
