打开APP
userphoto
未登录

开通VIP,畅享免费电子书等14项超值服

开通VIP
数据仓库建设中的数据建模思路整理


1、什么是数据模型

数据模型是抽象描述现实世界的一种工具和方法,是通过抽象的实体及实体之间联系的形式,来表示现实世界中事务的相互关系的一种映射。数据模型体现的是现实世界中各个业务实体及其关系,业务实体及其关系的复杂程度决定了数据模型的抽象复杂度,关系越复杂,数据模型也就越复杂。

2、什么是数据仓库模型

数据仓库模型是针对特定的数据仓库应用系统的一种特定的数据模型。不仅仅表达业务实体直接的关系,还需要满足在真正的技术实现上的逻辑关系。

3、为什么要建设数据模型

数据仓库的发展大致经历了这样的三个过程:

(1)简单报表阶段:解决一些日常的工作中业务人员需要的报表,以及生成一些简单的能够帮助领导进行决策所需要的汇总数据。这个阶段的大部分表现形式为数据库和前端报表工具。

(2)数据集市阶段:根据某个业务部门的需要,进行一定的数据的采集,整理,按照业务人员的需要,进行多维报表的展现,能够提供对特定业务指导的数据,并且能够提供特定的领导决策数据。

(3)数据仓库阶段:按照一定的数据模型,对整个企业的数据进行采集,整理,并且能够按照各个业务部门的需要,提供跨部门的,完全一致的业务报表数据,能够通过数据仓库生成对对业务具有指导性的数据,同时,为领导决策提供全面的数据支持。

通过数据仓库建设的发展阶段,我们能够看出,数据仓库的建设和数据集市的建设的重要区别就在于数据模型的支持。因此,数据模型的建设,对于我们数据仓库的建设,有着决定性的意义。

通过数据模型的建设主要能够帮助我们解决以下的一些问题:

(1)进行全面的业务梳理,改进业务流程。在业务模型建设的阶段,能够帮助我们的企业或者是管理机关对本单位的业务进行全面的梳理。通过业务模型的建设,我们应该能够全面了解该单位的业务架构图和整个业务的运行情况,能够将业务按照特定的规律进行分门别类和程序化,同时,帮助我们进一步的改进业务的流程,提高业务效率,指导我们的业务部门的生产。

(2)建立全方位的数据视角,消灭信息孤岛和数据差异。通过数据模型建设,能够为企业提供一个整体的数据视角,不再是各个部门只是关注自己的数据,而且通过模型的建设,勾勒出了部门之间内在的联系,帮助消灭各个部门之间的信息孤岛的问题,更为重要的是,通过数据模型的建设,能够保证整个企业的数据的一致性,各个部门之间数据的差异将会得到有效解决。

(3)解决业务的变动和数据仓库的灵活性。通过数据模型的建设,能够很好的分离出底层技术的实现和上层业务的展现。当上层业务发生变化时,通过数据模型,底层的技术实现可以非常轻松的完成业务的变动,从而达到整个数据仓库系统的灵活性。

(4)帮助数据仓库系统本身的建设。通过数据仓库的模型建设,开发人员和业务人员能够很容易的达成系统建设范围的界定,以及长期目标的规划,从而能够使整个项目组明确当前的任务,加快整个系统建设的速度。

3、如何进行数据仓库模型建设

建设整个数据仓库得建模过程中,我们需要经历一般四个过程:

(1)业务建模:生成业务模型,主要解决业务层面的分解和程序化。

(2)领域建模,生成领域模型,主要是对业务模型进行抽象处理,生成领域概念模型。

(3)逻辑建模,生成逻辑模型,主要是将领域模型的概念实体以及实体之间的关系进行数据库层次的逻辑化。

(4)物理建模,生成物理模型,主要解决,逻辑模型针对不同关系型数据库的物理化以及性能等一些具体的技术问题。

因此,在整个数据仓库模型的设计和架构中,既涉及到业务知识,也涉及到了具体的技术,我们既需要了解丰富的行业经验,同时,也需要一定的技术来帮助我们实现我们的数据模型,最重要的是,我们还需要一个非常适用的方法论,来指导我们自己针对我们的业务进行抽象,处理,生成各个阶段的模型。

常用的数据建模方法:范式建模法,维度建模法,实体建模法

1、范式建模法(Third Normal Form,3NF):

(1)每个属性值唯一,不具有多义性;

(2)每个非主属性必须完全依赖于整个主键,而非主键的一部分;

(3)每个非主属性不能依赖于其他关系中的属性。

优点:

结合了业务系统的数据模型,能够比较方便的实现数据仓库的建模。

缺点:

由于建模方法限定在关系型数据库之上,在某些时候反而限制了整个数据仓库模型的灵活性,性能等,特别是考虑到数据仓库的底层数据向数据集市的数据进行汇总时,需要进行一定的变通才能满足相应的需求

2、维度建模法(星型模式 Star-schema):

星型模式之所以广泛被使用,在于针对各个维作了大量的预处理,如按照维进行预先的统计、分类、排序等。通过这些预处理,能够极大的提升数据仓库的处理能力。维度建模的领域主要适用与数据集市层,它的最大的作用其实是为了解决数据仓库建模中的性能问题

优点:

通过预先的统计、分类、排序,能够极大的提升数据仓库的处理能力

缺点:

由于在构建星型模式之前需要进行大量的数据预处理,因此会导致大量的数据处理工作;当业务发生变化,需要重新进行维度的定义时,往往需要重新进行维度数据的预处理。而在这些与处理过程中,往往会导致大量的数据冗余

3、实体建模法:

就是把业务归结为三个部分:实体、事件、时间

(1)实体:主要指领域模型中特定的概念主体,指发生业务关系的对象

(2)事件:主要指概念主体之间完成一次业务流程的过程,特指特定的业务过程

(3)说明:主要是针对实体和事件的特殊说明

优点:

能够很轻松的实现业务模型的划分

缺点:

由于实体说明法只是一种抽象客观世界的方法,因此,注定了该建模方法只能局限在业务建模和领域概念建模阶段

本站仅提供存储服务,所有内容均由用户发布,如发现有害或侵权内容,请点击举报
打开APP,阅读全文并永久保存 查看更多类似文章
猜你喜欢
类似文章
【热】打开小程序,算一算2024你的财运
数据仓库的模型设计
浅谈数据仓库建设中的数据建模方法
美团点评酒旅数据仓库建设实践
集成化企业级建模工具—PowerDesigner12.0
数据仓库建模全解
系列 | 漫谈数仓第二篇NO.2 数据模型(维度建模)
更多类似文章 >>
生活服务
热点新闻
分享 收藏 导长图 关注 下载文章
绑定账号成功
后续可登录账号畅享VIP特权!
如果VIP功能使用有故障,
可点击这里联系客服!

联系客服