数据分析师

手机号

验证码

30天自动登录

数据分析师

数据虚拟化和逻辑数据仓库

来源:CPDA数据分析师网 / 时间:2021-03-31

简而言之,逻辑数据仓库架构
所述逻辑数据仓库架构是用于开发BI系统的敏捷体系结构,在该体系结构中,数据使用者和数据存储相互分离,逻辑数据仓库体系结构将存储在异构数据集中的所有数据显示为单个逻辑数据库,在这种体系结构中,数据使用者不必知道数据的存储位置和存储方式,数据存储的所有详细信息都被隐藏了,他们不必知道或不在乎他们使用的数据是来自数据集市,数据仓库乃至生产数据库,他们既不必知道必须将来自多个数据存储的数据进行合并,也不必知道自己是在访问SQL数据库,Hadoop集群,NoSQL数据库,Web服务还是仅访问一个或多个平面文件,数据存储的结构也被隐藏,数据使用者仅以对其方便的方式查看数据,并且他们仅看到与其任务相关的数据,所有这些都是通过将数据使用者与数据存储区分离来实现的。

数据虚拟化来了
现在没有一种超自然的工具可以完成上述所有任务,并且可以将现有的数据仓库体系结构神奇地转变为逻辑数据仓库体系结构,没有银弹,需要一些工具来完成此任务,例如数据库服务器,主数据管理系统和数据清理工具,但是重要的组件是数据虚拟化服务器,这是整个架构的驱动技术,数据虚拟化服务器支持所有正确的功能来开发逻辑数据仓库,它为数据安全性,可伸缩性,查询性能,敏捷开发,元数据重用,规范的发现和搜索,大数据访问等提供了正确的功能,但重要的是,它提供了一个全面的抽象层,可将数据使用者与数据存储区分开。

数据虚拟化服务器的功能以下功能使数据虚拟化成为正确的技术:
按需数据转换
按需数据集成
按需数据联合
按需数据清理
数据源感知查询优化
网络感知查询优化
快取
安排工作

“逻辑”是正确的术语吗?
一个重要的旁注,由于术语逻辑数据仓库,一些人给人的印象是,这种体系结构根本不需要物理数据存储。他们假设每次查询数据时都访问生产系统,不是这种情况。由于各种原因,仍然需要数据存储,例如如果生产系统无法跟踪历史数据,则必须将其存储在其他位置,这意味着逻辑数据仓库体系结构需要单独的数据存储,或者生产系统无法处理由数据仓库产生的额外工作量,在这种情况下,必须将数据物理复制到单独的数据存储中,可以在此处使用数据虚拟化服务器的缓存机制。

这个词的逻辑在名称逻辑数据仓库并不意味着没有物理数据存储
这意味着我们要尽量减少物理数据存储量,如果确实不需要它们,则不会开发它们,创建的物理数据存储区越少,重复数据越少,那么体系结构就越灵活。

为什么逻辑数据仓库是敏捷的?
用于开发经典数据仓库体系结构的技术要求一切都在时间构建,此后更改规格可能既耗时又昂贵,数据虚拟化服务器不是这种情况,更改虚拟表的数据结构或转换逻辑仅涉及更改规范,例如无需卸载和重新加载表,几乎所有要做的工作就是简单地定义新规范或更改现有规范,没有大型的数据库链。

逻辑数据仓库体系结构适用于我们所有新的数据使用形式

例如自助服务BI,数据科学和基于客户的应用程序,并且能够轻松处理各种形式的大数据,这是企业一直在寻找的现代体系结构。该体系结构的核心是由数据虚拟化服务器构成的,使其成为该技术非常占优势的用例。


返回列表