为什么数据管道迫切需要编排

来源：CPDA数据分析师网　/　时间：2020-05-13

某些基本的技术正在控制和组织数据管理领域强大的系统

数据的移动和转换方式仍然由手动，硬编码的触发器和规则决定，从而导致开发周期缓慢和流水线脆弱。通过在流水线开发中使用命令式模型，数据工程师将成为任务编译器的依赖者，他们花费不成比例的时间来遍历代码和日志，并不断调整参数以保持运行状态。随着数据的变化，依赖性的增加以及系统之间的互连性变得越来越复杂，即使是考虑深的管道实施也可能会失败。

从强制性的，基于任务的设计过渡到声明性的，以数据为中心的自动化，对于创建高性能，自动化管道以加速从代码到生产的软件交付至关重要。基于声明的系统降低了设计和维护成本，同时还改善了所得数据管道的质量和可靠性。使用更少的代码，可以减少脆弱性和潜在错误的数量，并使管道随着时间的推移更易于管理。这种方法还为企业提供了更多的管道，使更多的数据可以流经系统，从而缩短了实现价值的时间。

将声明性配置和自动化相结合以支持智能编排

数据工程团队可以将更多的精力放在架构设计上，而不仅仅是管道。如果没有智能编排，数据工程师将无法修复故障，通过添加或删除字段来更新系统，或者根据业务的不断变化的需求来调整架构。这种方法消除了对那些繁琐，耗时且容易出错的手动任务的需求，从而使数据工程师在数据管道的开发，部署和持续运行中更具生产力。

在诸如BI、数据处理和数据仓库之类的数据驱动型应用程序中进行了巨大的创新

但是编排被很大程度上忽略了，尤其是在数据管道中。这些管道已成为现代数据系统的骨干，但是当前的开发和手动编排标准却无法满足企业的需求。通过从声明式编排模型转变为使用声明式系统的以数据为中心的方法，数据工程团队现在可以以业务所需的速度，便捷性和灵活性来构建复杂的数据管道。

数据分析都做不好，怎么好意思谈了解客户？

https://www.chinacpda.com/jishu/20944.html

更简单直接的了解下数据科学家

https://www.chinacpda.com/wenti/20809.html

数据分析师的职业规划：

https://www.chinacpda.com/career/

CPDA数据分析师考核时间：

https://www.chinacpda.com/examine/