数据分析师

手机号

验证码

30天自动登录

数据分析师

只需看一下对人工智能(AI)和机器学习(ML)的所有兴奋

来源:CPDA数据分析师网 / 时间:2021-02-18

在没有明确终目标的情况下实施数据分析项目或投资于数据的聚合和规范化的组织通常会遇到重大的组织和数据风险与挑战
在没有明确定义终目标的情况下着手进行数据分析项目时,重要的问题之一就是浪费时间,精力和费用–大多数医疗保健IT部门缺少三种商品–花在数据项目上,尤其是当您考虑管理这些数据资产所需的持续存储,维护和治理。仅位于仓库中的数据不能提供真正的业务价值。

在没有长期视野的情况下着手进行数据项目的另一个问题是,如果您获得了一种要求数据采用不同格式的新分析技术(任何人都是AI),会发生什么?或者,如果您突然需要查看过去特定时间的数据,该怎么办?

在提取过程中过早地转换数据
而不是将其保持原始格式,直到知道其用例为止,会导致原始格式的原始细节和架构丢失。这可能会限制将来的用途和数据价值,避免延迟数据的方法很简单,但不一定很容易,充分利用您的数据!确保数据具有目的并支持组织的战略目标,当满足这些要求并要使用数据时,您需要建立实践来管理数据处理方式,包括:

1、通过有限的初始转换将源数据摄取到您的仓库或湖泊中
2、集中您的数据管理团队,工具和治理
3、采用以ELT(提取,加载,转换)为重点的方法–将数据保持在原始状态
4、在需要/查询时改进原始数据
5、在整个转换过程中存储数据副本

这些策略具有几个优点,明显的方法之一就是消除对项目,存储,维护和非关键数据及用例管理的浪费,另一个优势是,随着未来情况的变化,灵活性也得到了提高,基于价值的合同和质量报告的要求经常在付款人之间和每年之间变化,如果在没有适当计划的情况下转换数据,则可能会随着情况的变化而进行重新处理,如果以原始格式存储,则可以按需要进行任何形式的转换,以实现收入和报销,提供方报酬,星级评级或其他任何需要的报告。

等待转换数据直到需要时,可以帮助企业适应未来需求
如果在管理数据时考虑到了未来的需求,则不会限制组织将来对数据的使用,另一个关键问题是控制,如果未在整个转换过程中备份数据,则对应用于数据的业务逻辑或指标的任何更改都可能会抹去历史业务规则,换句话说,对数据进行纵向或时间点分析更具挑战性,因为应用于历史记录的规则将消失。如果转换得太早,它也会导致歪斜;每次使用它时,它都会远离原始来源,直到没有剩余的真理来源,将数据保留为原始格式,然后在需要时进行转换,以确保组织始终可以根据需要恢复原始数据,以解决差异。

我过去与之合作过的组织在整个组织中由不同团队管理的不同仓库中存储了不同但重叠的临床和财务数据集
他们存储了一些原始数据,并在存储之前将其发送给第三方分析公司以供操作,然后由他们的BI团队将所有数据结合在一起,以复杂的查询来提供分析数据,这是一项复杂的工作,每月都要重复一次,该网络终可以运行,但效率低下,价格昂贵,并且当付款人不可避免地对数据进行更改时会导致不断的消防演习。

通过周密的计划和数据源的优先级划分
勤奋的流程改进以及大量的艰苦工作,他们的数据管理流程得到了简化,这始于文件传输的组织和自动化,这使我们能够以编程方式加载和存储所有原始数据到一个通用数据模型中,我们建立了跨源索引(包括具有97%以上的匹配率的患者索引),如今,查询和仪表板运行速度更快,并且前期工作或维护量大大减少。该用例充当了客户端现在在其数据团队之间复制的模型,并充当了未来成功的指南。

正如我们的客户所展示的那样,现代化您的数据管理和治理方法不是“全有还是全无”的方法。如果您的组织具有强大的基础结构和工具,则可以逐步引入这些方法,甚至可以运行混合方法,直到准备好做出全面承诺为止。



返回列表