将大数据分析应用于点击流数据

来源：CPDA数据分析师网　/　时间：2020-07-31

什么是点击流数据？

点击流数据并不是什么新鲜事物，它已经被记录和分析多年，以跟踪和理解个人的在线行为，近点击流数据的分析在在线零售领域变得越来越流行，但是许多公司在点击流分析方面面临的普遍问题是庞大的数据量，几乎无法及时通过标准ETL方法进行处理，在几分钟之内分析这些庞大的数据集，并生成令人印象深刻的图形仪表板，以呈现给正在制定关键业务决策的执行团队成员推动公司的成功。

数据驱动零售

可以简化向大数据分析的过渡，您可能会认为您负担不起这种类型的分析，但是在当今数据驱动的零售经济中，我建议您不能没有它。

手动编码与工具我们的看法

投入了大量时间说服IT经理，使他们应该从手工编码转换为基于工具的方法，如果您是使用新的云和大数据技术的客户，在启动任何自定义编码项目之前，还应考虑其他问题，主要摘录来自“自定义编码的数据集成是否可以集成到工具？”确保同时考虑短期和长期成本：尽管使用自定义编码方法可以将部署成本降低20％，但维护成本将增加200％，手工编码有一个时间和地点，但仅在非常特殊的情况下：自定义编码对于目标明确，简单的项目很有意义，不需要大量维护。在没有工具能够完成所需工作的情况下，也可能有必要。

需要多个开发人员的数据集成项目将从工具提供的视觉设计环境中受益

这将使重用先前的开发元素变得更加容易，并且可以导致更有效的数据集成流程。这是因为单个作业可以提供多个目标，而不是让一系列数据集成流一次又一次地执行大致相同的操作，了解与任何项目一起的维护和支持成本非常重要，如果不同的人在代码投入生产后就维护并支持代码，那么他们使用手工编码方法的学习曲线将会很高，并且如果代码已经投入生产多年，从长远来看，营业额将导致更高的成本。

手工编码清单：

1.我的开发团队是否具有使用手动编码进行此操作的专业知识？

如果您正在使用像Hadoop或云平台这样的新技术，谁来做这项工作，他们将需要多少时间？

2.这是我希望我的手工编码专家花时间吗？

手工编码专家通常约占整个开发团队的四分之一，这使他们成为稀缺资源。如果非专家可以使用一种工具来完成相同的工作，并且节省了数小时的时间，那么您是否愿意让专家来做一些需要他们独特技能的事情？

3.我可以使用比我的团队可以手工编码的工具更便宜，更快捷的工具来完成相同的工作吗？

经常要求大多数IT团队事半功倍。基于工具的方法通常可以使每个开发人员以较低的成本完成工作并快速完成工作。

4.这是一个一次性的独立项目，还是我计划随着时间的推移继续进行越来越多的开发的领域？

如果您打算使用大数据或云平台开展一项计划，那么随着时间的推移，您可能会希望在该平台上做更多的事情。如果是这样的话，鉴于这些资源的稀缺性，依靠专家级的手工编码器将是很难扩展的方法。

5.如果要将代码重新用于Spark或Flink等新技术平台，该代码的可移植性如何？

可移植性是一个容易被忽视的观点，生态系统正在迅速发展。

6.是否会有多个开发人员在此项目上进行协作？