数据分析师

手机号

验证码

30天自动登录

数据分析师

用于现代数据挑战的不同类型的数据库

来源:CPDA数据分析师网 / 时间:2021-02-20

应对大数据挑战的现代数据库类型多种多样
每种形式都适用于不同类型的数据和任务,无论您的公司做什么,选择合适的数据库来构建您的产品或服务都是至关重要的决定,探讨您可能面临的独特挑战所考虑的不同类型的数据库选项,以及您应该熟悉的基础数据库技术,专注于关系数据库管理系统,NoSQL DBMS,列存储和云解决方案。

关系数据库管理系统
首先建立可靠的关系数据库管理系统,这种广泛的多样性以关注原子性(保持任务不可分割和不可还原),一致性(数据库采取的操作服从某些约束),隔离(事务的即时状态对于其他事务是不可见的)的核心数据库属性而闻名, (数据更改可靠地持续存在)数据存储在表中,能够处理大量数据和复杂的查询,而平面文件则需要占用更多的内存并且效率较低,通常由表的集合组成,每个表都有列(字段)和记录(行),系统的流行示例包括Microsoft SQL,Oracle,MySQL和Postgres。

云原生
优势包括灵活性和可伸缩性,鉴于现代企业需要处理的大量信息,这些是在调查不同类型的数据库时要考虑的重要因素。易于管理是另一优势,因为每个组成表都可以更改而不会影响其他表,此外管理员可以选择与某些用户而不是其他用户共享不同的表(如果要使用机密信息,则可能不希望与所有用户共享,这是理想选择),更新数据和扩展数据库很容易,并且由于每条数据都存储在一个点上,因此也很容易使系统免受错误的影响。

但是没有任何系统是的
构建在单个服务器上,因此一旦达到所拥有机器的极限,就需要购买一台新,迅速变化的数据也会挑战这些系统,因为数量,种类,速度和复杂性的增加会导致难以跟上的复杂关系,尽管名称中带有“关系”,但关系数据库管理系统并未存储元素之间的关系,这意味着该系统实际上并不了解与您可能使用的各种联接有关的数据之间的连接。

NoSQL数据库管理系统
随着Web应用程序变得越来越复杂,NoSQL(初是“非关系”或“非SQL”)出现了,这些类型的数据库旨在处理异构数据,这些数据很难保留在规范化架构中。尽管它们可以采用多种形式,但是NoSQL重要区别是,尽管关系数据库严格定义了必须如何排列其中包含的所有数据,但NoSQL数据库可以是模式无关的。这意味着,如果您拥有非结构化和半结构化的数据,则可以轻松地存储和操作它,而可能根本无法处理它。

因此,难怪NoSQL数据库在大数据和实时Web应用程序中得到了广泛使用。这些数据库技术的示例包括MongoDB,Riak,Amazon S3,Cassandra和Hbase。但是,NoSQL数据库的一个缺点是它们具有“终一致性”,这意味着所有节点终都将具有相同的数据。但是,由于所有节点更新时都存在滞后,因此有可能获取不同步的数据,具体取决于您在更新窗口期间终查询的节点。由于NoSQL不执行ACID事务,因此数据一致性是一个挑战。

列式存储数据库
列存储数据库的定义特征是它按列而不是按行存储数据表。这种配置的主要好处是,由于系统只需要读取查询感兴趣的位置,并且所有这些都在一个列中,因此它可以加快分析速度。同样,这些系统压缩存储中的重复卷,从而实现更好的压缩,因为一个特定列中的数据在所有列中都是同质的(或者,列都是相同的类型:整数,字符串等,以便可以对其进行更好地压缩),但是由于此功能,列式存储数据库通常不用于构建事务数据库。这些类型的数据库的缺点之一是在整个行上进行插入和更新(例如,对于ERP和CRM这样的应用程序是必需的)可能会很昂贵。这些类型的应用程序的运行速度也较慢。例如在CRM中打开帐户页面时,应用程序需要读取整行(名称,地址,电子邮件,帐户ID等)以填充页面并全部写回。在此示例中,关系数据库将更加高效。

云解决方案
尽管从技术上讲不是数据库本身,就不会完成对现代数据库解决方案的讨论,在大数据和快速移动的数据源时代,数据工程师越来越多地转向使用云解决方案来存储,访问和分析其数据。云选项的优势之一是,您不必为与数据库关联的物理空间或物理机器或其维护,紧急备份等付费,此外您只需要为使用的产品付费,随着内存和处理能力需求的增长,您需要为所需的服务水平付费,但您不必预先购买这些功能。

使用云解决方案存在一些缺点
首先由于您要连接到远程资源,因此带宽限制可能是一个因素,此外即使云计算确实可以节省成本,尤其是从头开始创建公司时,支付服务器费用的终生成本可能超过您购买自己的设备所应支付的费用,根据您要处理的数据类型,合规性和安全性可能会成为问题,因为管理数据及其安全性的责任不再由您,数据所有者,而是由第三方提供商来处理,例如可以更容易地利用不安全的API和接口,可以提高数据泄露,数据丢失或泄漏的风险,

决定时间大数据时代正在改变公司处理数据的方式

这意味着选择新的数据库模型,并找到合适的分析和BI工具,以帮助您的团队充分利用数据并构建将改变世界的应用程序,产品和服务,无论您要创建什么,为您选择合适的数据库类型,然后大胆地构建。



返回列表