利用流数据：以生命的速度洞察

来源：CPDA数据分析师网　/　时间：2021-02-01

行业如何从流数据中受益
销售，营销，广告技术：制定更快的营销决策，优化广告支出
安全，欺诈检测：减少检测和响应恶意威胁所需的时间
制造，供应链管理：提高库存准确性，避免生产线停机，监控当前物联网和机器对机器数据
能源，公用事业：分析IoT数据以警告和解决设备问题，提前解决潜在问题，帮助降低维护成本
金融业，金融科技业：跟踪客户行为，分析帐户活动，在参与过程中立即主动地应对欺诈和客户需求。
汽车：实时监控连接的自动驾驶汽车，以优化路线，避免交通拥堵并诊断机械故障
随着实时分析和机器学习流处理的迅速发展，它们带来了一系列新的技术和概念挑战。在本篇文章中，我们将深入探讨这些挑战以及Upsolver和Sisense如何帮助应对这些挑战。

处理流数据的技术挑战
有状态的转变，处理流数据时的主要挑战之一是对单个事件执行有状态转换，与批处理作业在隔离的批中以清晰的开始和结束时间运行不同，流处理作业分别在每个事件上连续运行，过去每隔几分钟/小时运行一次的API调用，联接和聚合之类的操作现在需要每秒运行多次。为了应对这一挑战，需要使用诸如滑动时间窗口之类的技术在处理实例（状态管理）上缓存相关上下文。

优化对象存储
处理流数据的团队可能拥有的另一个目标是管理和优化对象存储上的文件系统，流数据往往非常庞大，因此存储成本很高，但是默认情况下会在本地存储上创建三个副本，这样的云对象存储是一种非常经济高效的解决方案，那会存储很多数据！，对象存储面临的挑战是通过组合正确的文件格式，压缩和大小来优化其文件系统的复杂性，例如小文件是对象存储的性能反模式（影响50倍），但是使用流数据会迫使我们创建此类文件。

清理脏数据
每个数据专业人员都知道，确保数据质量对于产生可用的查询结果至关重要，在这方面，流数据可能更具挑战性，因为它往往是“脏”的，添加了新字段而没有警告，并且在数据收集过程中经常出错，为了弥合与分析就绪数据之间的差距，开发人员必须能够快速解决数据质量问题，的架构称为“事件源”，要实现此功能，需要所有原始事件的存储库，读取时的模式以及将原始事件转换为表的执行引擎，每次需要调整分析数据时，开发人员都会从原始数据存储库运行处理作业（时间旅行/重放/重新处理）。

更广泛的考虑
这些只是团队在尝试使用实时数据时需要解决的一些技术注意事项，他们还必须编排大量的工作，以处理快速变化的数据，并通过一次精确的处理来确保数据的一致性，并处理来自各种用户的并发请求，这些用户都试图同时从相同数据中获取见解，诸如业务流程编排，一次数据一致性和文件系统管理之类的挑战是严峻的工程挑战，解决这些问题是一项复杂的挑战，导致数据工程瓶颈，从而拖慢了分析过程。

通过赋予每个技术用户（数据工程师，DBA，分析师，科学家，开发人员）授权来摄取
发现和准备用于分析的流数据来封装流工程的复杂性，这些专家可以定义从流到表的转换，并使用基于SQL的可视界面来控制处理进度，通过执行引擎从用户那里提取工程复杂性，该引擎将多个数据源（流和批处理）转换为各种数据库中的表。

让您的流数据为您服务

流数据分析对于企业实时做出关键决策至关重要，为此必须解决流引入的一些工程复杂性，而批处理技术堆栈无法解决这些复杂性，以提供用于流数据分析的端到端解决方案，该解决方案可以快速设置，无需编码即可轻松操作，并且可以使用云计算/存储。

CPDA企业内训

https://www.cpda.cn/trainning/

CPDA项目数据分析师为什么要更名？

https://www.chinacpda.com/question/4504.html

海南智企数据分析师事务所

https://www.chinacpda.com/shiwusuo/14202.html

王兴海老师高级经济师

https://www.chinacpda.com/shizi/9433.html

用数据改变人生，获得CPDA证书仅是一个开始

https://www.chinacpda.com/shouquanzhongxin/14854.html

大数据专业就业前景及就业方向如何？