数据仓库建模之范式建模
推荐
在线提问>>
在数据仓库领域,提起数据建模,范式建模作为一种经典的理论,其地位是不容小觑的。Inmon的范式建模理念,在传统业务的数据仓库建模当中,尤其受到青睐。今天的大数据开发分享,我们就来讲讲数据仓库建模之范式建模。
目前市面上已有的数据仓库模型有范式建模,维度建模,Data Vault 1.0+2.0,Anchor模型等,而使用最广泛的是Inmon的范式建模与Kimball的维度建模。
范式建模
Inmon提出的集线器的自上而下(EDW-DM)的数据仓库架构。操作型或事务型系统的数据源,通过ETL抽取转换和加载到数据仓库的ODS层,然后通过ODS的数据建设原子数据的数据仓库EDW,EDW不是多维格式的,不方便上层应用做数据分析,所以需要通过汇总建设成多维格式的数据集市层。
优势:易于维护,高度集成;
劣势:结构死板,部署周期较长
范式建模分为三个主要的阶段:
高层建模
了解当前所有业务的关联实体,预判业务未来可能产生关系的实体,在企业业务角度对于实体合并主题,产出高度抽象的模型,包括主题的内容,主题的边界与主体之间的关系。
中层模型
在高层模型之下,对于每一主题确定主数据与其业务众多的属性,并确定在各个场景下能够关联的其他实体。
物理模型
在中层模型之下,基于不同的物理存储平台,基于平台特点设计物理属性,构建“a single source of truth”。
范式建模应用在EDW层
Inmon理论下结构就是:ODS、EDW和DM,也就是贴源层、主题模型层、共性加工层以及集市层。
(1)ODS(贴源层):即这里存放的数据与原系统保持一致,将采集公司所有的系统产生的数据以及外部数据(包括合作数据以及爬虫获得的数据),将所采集的数据汇总到一起,供EDW和DM使用;
(2)EDW:这一层分为两个,即ADM(共性加工层)和FDM(主题模型层)。其中FDM将从ODS层不同系统不同表的字段进行分类,同一主题的字段都归为一类,目前流行的十大主题;ADM是加工一些共性的指标,指标从ODS或者FDM的字段加工来,这层主要供集市层使用;
(3)DM:数据集市层,这一层是将业务部门所关注的指标进行汇总,形成的数据,不同的业务部门可以形成不同的集市,具体情况可以视情况而定;集市层的架构可以细分为:基础层、汇总层和分析层。
总体来说,范式建模的缺点很明显,因为要求自顶向下构建,对于设计者要求非常高,同样对于后续管理者也要求很高;完成大量的实体表与大量的关联关系非常耗时,也不能快速的产出业务价值,尤其是在起步的阶段很容易被质疑。
但是范式建模并非一无是处,完整的范式建模数据冗余度非常小,那么意味着有更小的数据更新风险,包括逻辑断层;不论是在业务源变更或需求变更下都更加健壮。如果企业业务发展已经非常稳定,对于数据的稳定性要求非常高,那么可以尝试一下范式建模。
关于大数据开发,数据仓库建模之范式建模,以上就为大家做了简单的介绍了。在大数据学习阶段,数据仓库是需要重点理解和掌握的一部分,而数仓建模更是其中的核心环节之一。
【免责声明】本文部分系转载,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。如涉及作品内容、版权和其它问题,请在30日内与联系我们,我们会予以更改或删除相关文章,以保证您的权益!此页面下方声明无效!