当进入新的智能领域时我们激动不已，对支持AI的基础架构的投资通常集中在高性能计算和主存储层

但这还不够吗？如果您要进行认真的大规模AI / ML，则不是问题在于：从深度学习中获得更好的洞察力需要大量数据集，换句话说数据越多，您的AI将越有洞察力和准确性。挑战在于，终您的强大服务器会因这些大规模数据集而变得超负荷，此外尽管所有这些数据都很重要，但并非所有数据都需要始终存储在您的主存储层上。

 

问问自己您将在项目中捕获并生成多少数据

是否有法律或法规要求保留数据？特定的数据子集对保持很长时间至关重要吗？例如在生命科学领域一个AI项目每周生成5000万个文件，每月消耗20 TB的存储空间以及至少十年的数据保留要求并不罕见，如果您要在AI项目中大展拳脚，那么支持AI的基础架构还需要支持长期数据保留，这可能意味着可扩展的辅助存储，数据管理软件和基于软件的云存储。

 

这些领域的监督将导致AI工作流程后期的复杂性和局限性

捷径和仓促的决策可能使您的组织以多种方式暴露，并给项目带来更多的复杂性，您要问“二级存储”？终您没有预算将所有数据保留在主存储层中进行深度学习，为了使您的性能计算和存储层保持状态以便进行分析，需要将您的长尾数据存储智能地管理到二级甚至三级存储层。

 

充分利用人工智能的力量的企业将可以随时访问数据无论他们拥有多少

要成为这些AI数据管理超级巨星之一，您知道您必须避免遗留下来的传统IT基础架构，而且您知道任何大型数据管理解决方案都必须避免新的复杂性，面临的挑战是，当今市场上的许多选择都是旧解决方案，它们已经重新命名为云时代，从根本上可以充当新的基础架构。

 

执行人工智能的主要障碍之一是管理大量的非结构化数据

诀窍是在不增加孤岛和复杂性的情况下，将这些数据保持在您的AI / ML基础结构中。辅助，横向扩展和云存储组件对于大规模AI项目至关重要，但它们不应是独立的孤岛，这会给按需分层和调用数据集带来挑战。

 

您有数据，您如何看待它？

互联网不再是达成一项关键交易的幻想式营销术语，而是我们周围的一切，在数字时代，每个人都拥有智能的，互联的机器，这些机器可以通过卡车不断愉快地获取其数据，问题是，您如何处理所有这些数据？当然，在当今时代，每个自尊，敏捷和竞争的组织都已经意识到收集数据的重要性，他们还知道他们需要分析上述数据以识别异常或我们称为异常的内容，太好了 但是，如何选择适合您的异常检测技术呢？让我们先退后一步，逐一探究它们，以获得更好的理解。

 

不是你做什么，而是你怎么做

如今广泛采用三种技术来检测异常-有监督，半监督和无监督，有监督的异常检测：这项技术取决于将数据预先标记为“正常”或“异常”，使用现有的当前或历史数据对算法进行训练，然后将其部署以预测新数据的结果，尽管此技术在银行/金融科技领域的欺诈检测中得到了应用，但它只能用于预测已知异常，例如先前识别的欺诈/盗用。

 

半监督异常检测：这种技术本质上是棘手的

在这种情况下，该算法仅具有一组“正常”数据点以供参考-超出此参考范围的任何数据点均被归类为异常，该技术的缺点是它倾向于标记“误报”或实际上不是异常的异常，因此，这终会适得其反–因为您可能会浪费大量时间，精力和资源。

 

无监督的异常检测（也称为自动异常检测）：在这种完全自动化的技术中，可以通过假设大多数数据点正常来从未标记的数据中识别异常，在已建立法线的两侧具有统计学意义的偏差实例（分类为“ 2 *标准偏差”或“ 3 *标准偏差”）被视为异常，算法功能越强大，异常检测的准确性就越高，该方法可以用于检测时间序列数据中的异常，并且还可以预测和标记将来的异常。

 

您需要的是一种足够强大的算法来分析原始数据

虽然上述每种技术显然都有优缺点，但只有在未标记时间序列原始数据的情况下，无监督异常检测才是可行的-这是您从现代数字化中几乎从任何在线资产中获得的公司，时间序列数据中的异常检测在整个行业中都有广泛的应用-从识别ECG数据中的异常到发现飞机传感器数据中的故障，而且您通常只知道可以预期的异常的20％，其余80％是新的/不可预测的，无监督的异常检测是能够识别这些隐藏信号或异常的技术-尽早对其进行标记以在它们发生之前进行修复。

 

运营和分析数据系统之间的差异

https://www.chinacpda.com/jishu/19027.html

 

大数据时代，技术和分析哪个更重要

https://www.chinacpda.com/wenti/6141.html

 

智能数据时代，数据分析到底要分析啥？

https://www.chinacpda.com/jishu/12536.html

 

查找您周边省份授权培训中心：

https://www.chinacpda.com/train/

 

2020年CPDA数据分析师线上报名：

https://www.chinacpda.com/baoming.php

 

数据分析师的职业规划：

https://www.chinacpda.com/career/

 

CPDA数据分析师考核时间：

https://www.chinacpda.com/examine/

 

免费客服热线：400-050-6600

商业联合会数据分析专业委员会

 

 

 

• 大数据性能问题是零售商的利润损失该怎么办？
• 为什么您的企业需要针对Web服务器日志的异常检测解决方案的原因

返回列表