数据中台和数仓构建
来源:千锋教育
发布人:qyf
2022-12-08
推荐
在线提问>>
数据中台
数据中台是由阿里巴巴在2015年提出的概念。所谓数据中台，即实现数据的分层与水平解耦，沉淀公共的数据能力，可分为三层，数据模型、数据服务与数据开发，通过数据建模实现跨域数据整合和知识沉淀，通过数据服务实现对于数据的封装和开放，快速、灵活满足上层应用的要求，通过数据开发工具满足个性化数据和应用的需要
数仓构建
1). 前期业务**调研** 需求调研 数据调研 技术选型
2). 提炼业务**模型**，总线矩阵，划分主题域;
3). 定制**规范** 命名规范、开发规范、流程规范
4). 数仓架构**分层**：一般分为
操作数据层(ODS)、公共维度模型层(CDM)和应用数据层(ADS),其中公共维度模型层包括明细数据层(DWD和汇总数据层(DWS)
公共维度模型层(CDM)：存放明细事实数据、维表数据及公共指标汇总数据,其中明细事实数据、维表数据一般根据ODS层数据加工生成：公共指标汇总数据一般根据维表数据和明细事实数据加工生成。
CDM层又细分为DWD层和DWS层,分别是明细数据层和汇总数据层,采用维度模型方法作为理论基础,更多地采用一些维度退化手法,将维度退化至事实表中,减少事实表和维表的关联,提高明细数据表的易用性：同时在汇总数据层,加强指标的维度退化,采取更多的宽表化手段构建公共指标数据层,提升公共指标的复用性,减少重复加工。
应用数据层(ADS)：存放数据产品个性化的统计指标数据,根据CDM层与ODS层加工生成。
5).选择合适的数据模型，不同的行业涉选取的模型近不相同，合适的模型，更利于在数据存储，计算，开发，安全，以及数据查询的效率，更能体现数仓的价值。
下一篇传统数仓的程度有哪些
