弥合数字鸿沟

来源：CPDA数据分析师网　/　时间：2021-05-18

对于我们这个行业的人来说实际上只有两种类型的数据
您拥有的数据和您没有的数据，令人困惑的是，两者之间的界线并不总是很清楚，顾名思义开放数据和公共数据应该易于访问，甚至企业内的数据（本质上属于您的数据）也可以被锁定在操作孤岛或内部限制之下，人们热衷于开发AI产品，但是如果没有大量的训练数据就无法构建它们，这通常必须综合生成，这意味着您必须在打接球之前先建立好球场。

每个新业务都可以利用数据来获得竞争优势
但事实是有很多专业人员在使用数据方面接受过培训，他们花了大部分时间在寻找数据上，因此难以量化数据的“重要性”，像Internet一样，只有当每个人（企业，政府和个人）都可以使用时，才能充分理解数据的无限使用。

数字鸿沟
有数据的人和想要数据的人之间有一个峡谷，开放数据运动的头五年涉及各种规模的政府，他们在可能的地方发布了任何可能的数据，结果是一团糟，缺乏标准，访问很困难，即使获得了数据，数据也经常是开放数据的三个P中的一个或多个部分，由于这些限制，使用公共数据成为少数人的一项技能，这与它的目的和开放数据运动所基于的透明性原则直接背道而驰，结果是一团糟，缺乏标准，访问困难，即使您掌握了数据，数据也经常是开放数据的三个P值中的一个或多个：部分PDF。

在过去的几年中，情况有所改善
各国政府加大了政策力度，重新设计了开放数据门户网站，以简化访问并向消费者提供更多用例，这是一件好事，致力于发布数据的政府和组织应进行迭代，以简化流程。但是，架起跨越鸿沟的桥梁不是他们的角色，陷入将数据交付给一系列用户和用例的高度特殊的技术细节中，同时弄清楚如何访问数据不是用户的工作，一般公民应该具有数据知识，但这并不意味着他们都必须学习如何运行Python脚本，没有能力检验他们的想法，大多数消费者就不愿意花费时间，精力和金钱来寻找获取感兴趣的数据的方法。

数据生产者和数据用户都停留在数字峡谷的任何一侧
并从理论上探讨了一个人可以访问另一个人所能提供的优势，有人预测在未来十年中，数据几乎会破坏每个行业，从企业和政府到食品生产和医学研究，但这种预测是基于这样的假设，即数据在根本上很容易获得或将很容易获得。现实情况是，当前情况并非如此，只有在拥有数据的人和可以使用数据的人之间架起桥梁之后，情况才会如此，简而言之数据直到可用才有用。

可用性的神话
我和很多人谈到了数据，尽管每个人都认为数据很重要，但是有两个截然不同的群体，理想主义者和现实主义者，理想主义者希望以数百种不同的方式使用数据，他们想开发应用程序，构建可视化并将新的提要插入他们的BI工具中，他们现在想要AI，他们与现实主义者之间的区别（顺便说一句，他们想要同样的事情）是知道这将是多么困难，在这一点上，对于数据的总体价值几乎没有疑问，但是对此值的任何置信度都假定已准备好使用它，事实是无论我们是在谈论组织内部存在的数据还是在组织外部生成的数据，在开始看到每个人都兴奋的那种改变游戏规则的见解之前，需要克服一些运营障碍。

以采购数据为例
将采购数据作为“开放”信息发布，可供一般消费和使用，值得花一点时间考虑一下这有多有价值，每天公司都会（市场上，受信任的买家）签订合同，并将这些合同提供给公众使用，在理想情况下，公民将能够使用此数据来查看其税金的支出方式，并询问有关其购买程序的重要问题，跨国公司赢得了多少合同？教育？环境如何？业务用例也很强大。

数据与人们想要使用它们的方式不兼容
当前为了查询数据或将其注入模型，您必须执行以下一项或全部操作：

直接连接到提要并监视它的更新；
将标准化为标准格式；
将子公司组织汇总到母公司；
对数据运行复杂的实体解析脚本，以提供组织及其赢得的合同的主记录，使用一些分析工具使数百万条记录易于阅读。
我不了解您，但这不是大多数人可以使用的技术。

尽管在改善采购数据质量方面取得了长足进步
但政府仍无法将上述所有内容叠加到供稿上，将数据发布出去是他们的工作，但是出于同样的原因，企业和个人都不必开发基础架构，在这两种情况下，所需的时间，精力和技术专长都是令人望而却步的，使像这样的数据与终用户兼容所必需的工作不能由提供者或消费者来完成，而是需要一套可以使该过程自动化的中间工具，产品和过程。

尽管越来越渴望透明但是并没有真正指导他们如何地公开其记录
虽然他们被告知他们的数据很有价值，但他们不知道哪些数据集代表了价值，或者该价值将如何向下游流动。通常必须使用小型的，松散的开放数据部门来弄清楚他们的流程和政策，这些部门必须弄清楚要发布什么以及如何发布它们。这是一个艰巨的任务，它还确保了发布的数据的特质不会很快得到修复，如果您可以将该数据与类似数据集进行基准比较，则可以使用市场指标来模拟经济健康状况，当每个城市都这样做时，您将完全拥有其他东西。关键是更多的数据提供了更大的机会，与其考虑公共数据提供的个人机会，不如将开放数据视为一个全球难题，这将是一个有益的难题，每个市镇和县都可以为此做出贡献。

我们可以访问应提供的大量数据
但要他们同时担任策展人和催生数字实践的催化剂也实在令人难以置信。

弥合鸿沟
尽管获取数据有多么困难，但是在过去几年中，已经看到了新产品和解决方案的开发，这些产品和解决方案可以帮助个人和组织以更少的精力访问更多的数据，DataOps框架变得司空见惯，并且数据科学作为一门学科继续发展，政府战略也已经发展，帮助公民和企业直接从数据经济中受益，开放数据政策一起工作并将帮助教育和定义实践，以使人们能够有效地使用数据。

为什么断开连接？

这是同样的问题，数据提供者将更多的数据推向市场，而消费者则试图弄清楚如何使用它们，数据科学家处于准备和处理阶段，而业务部门则需要结果，拥有数据的人与可以使用数据的人之间存在鸿沟，除非找到在两者之间架起桥梁的方式，否则我们永远都不会发现数据驱动世界的好处。

开班信息

【武汉28期】CPDA数据分析师线下培训开班公告

https://www.chinacpda.com/openclass/detail/?id=2681

【北京108期】CPDA数据分析师线下培训开班公告

https://www.chinacpda.com/openclass/detail/?id=2645

【上海60期】CPDA数据分析师线下培训开班公告

https://www.chinacpda.com/openclass/detail/?id=2706

CPDA企业内训

https://www.cpda.cn/trainning/

大数据人才培养优秀合作机构受邀参会交流经验

https://www.chinacpda.com/data/detail/?id=2729