全国旗舰校区

不同学习城市 同样授课品质

北京

深圳

上海

广州

郑州

大连

武汉

成都

西安

杭州

青岛

重庆

长沙

哈尔滨

南京

太原

沈阳

合肥

贵阳

济南

下一个校区
就在你家门口
+
当前位置:首页  >  大数据学习教程  >  详情

数据仓库建模之范式建模

来源:千锋教育
发布人:syq
2022-12-09

推荐

在线提问>>

  在数据仓库领域,提起数据建模,范式建模作为一种经典的理论,其地位是不容小觑的。Inmon的范式建模理念,在传统业务的数据仓库建模当中,尤其受到青睐。今天的大数据开发分享,我们就来讲讲数据仓库建模之范式建模

数据仓库建模

  目前市面上已有的数据仓库模型有范式建模,维度建模,Data Vault 1.0+2.0,Anchor模型等,而使用最广泛的是Inmon的范式建模与Kimball的维度建模。

  范式建模

  Inmon提出的集线器的自上而下(EDW-DM)的数据仓库架构。操作型或事务型系统的数据源,通过ETL抽取转换和加载到数据仓库的ODS层,然后通过ODS的数据建设原子数据的数据仓库EDW,EDW不是多维格式的,不方便上层应用做数据分析,所以需要通过汇总建设成多维格式的数据集市层。

  优势:易于维护,高度集成;

  劣势:结构死板,部署周期较长

  范式建模分为三个主要的阶段:

  高层建模

  了解当前所有业务的关联实体,预判业务未来可能产生关系的实体,在企业业务角度对于实体合并主题,产出高度抽象的模型,包括主题的内容,主题的边界与主体之间的关系。

  中层模型

  在高层模型之下,对于每一主题确定主数据与其业务众多的属性,并确定在各个场景下能够关联的其他实体。

  物理模型

  在中层模型之下,基于不同的物理存储平台,基于平台特点设计物理属性,构建“a single source of truth”。

  范式建模应用在EDW层

  Inmon理论下结构就是:ODS、EDW和DM,也就是贴源层、主题模型层、共性加工层以及集市层。

  (1)ODS(贴源层):即这里存放的数据与原系统保持一致,将采集公司所有的系统产生的数据以及外部数据(包括合作数据以及爬虫获得的数据),将所采集的数据汇总到一起,供EDW和DM使用;

  (2)EDW:这一层分为两个,即ADM(共性加工层)和FDM(主题模型层)。其中FDM将从ODS层不同系统不同表的字段进行分类,同一主题的字段都归为一类,目前流行的十大主题;ADM是加工一些共性的指标,指标从ODS或者FDM的字段加工来,这层主要供集市层使用;

  (3)DM:数据集市层,这一层是将业务部门所关注的指标进行汇总,形成的数据,不同的业务部门可以形成不同的集市,具体情况可以视情况而定;集市层的架构可以细分为:基础层、汇总层和分析层。

  总体来说,范式建模的缺点很明显,因为要求自顶向下构建,对于设计者要求非常高,同样对于后续管理者也要求很高;完成大量的实体表与大量的关联关系非常耗时,也不能快速的产出业务价值,尤其是在起步的阶段很容易被质疑。

  但是范式建模并非一无是处,完整的范式建模数据冗余度非常小,那么意味着有更小的数据更新风险,包括逻辑断层;不论是在业务源变更或需求变更下都更加健壮。如果企业业务发展已经非常稳定,对于数据的稳定性要求非常高,那么可以尝试一下范式建模。

  关于大数据开发,数据仓库建模之范式建模,以上就为大家做了简单的介绍了。在大数据学习阶段,数据仓库是需要重点理解和掌握的一部分,而数仓建模更是其中的核心环节之一。

  【免责声明】本文部分系转载,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。如涉及作品内容、版权和其它问题,请在30日内与联系我们,我们会予以更改或删除相关文章,以保证您的权益!此页面下方声明无效!

相关文章

HDFS文件管理系统简介

2022-12-09

HDFS架构演进之路

2022-12-09

大数据开发:Hive小文件合并

2022-12-09

HDFS的故障恢复和高可用

2022-12-09

大数据开发:Flink on Yarn原理

2022-12-09

大数据开发基础:Java基础数据类型

2022-12-09
在线咨询 免费试学 教程领取