数据虚拟化和数据库迁移与加速
来源：CPDA数据分析师网 / 时间：2021-03-31
对于许多企业来说，获得正确的性能是一项真正的斗争，他们的数据库管理员不断努力改善查询和加载性能，有时很难找到一种方法来加速查询或加载过程，有时如果他们找到改善方法的方法，那么保护苦难的法则就会发挥作用，如果加快速度，就很可能会减慢其他速度，几乎从来没有双赢的局面。
需要更快的数据库平台
那么为什么企业不切换到另一个更快的数据库平台呢？为什么不迁移到近几年推出的众多真正快速的数据库平台之一，基于GPU的平台上Hadoop集群上的Impala？所有这些都经过专门优化和调整，以支持数据仓库工作负载，遗憾的是，生活并不那么轻松。有几个方面使迁移到另一个数据库服务器变得复杂，不同的SQL方言：供应商在其SQL数据库服务器中实现的SQL方言是不同的，有些支持SQL窗口功能，有些则不支持，有些支持高级分析功能，而另一些则不支持，有些支持递归查询，有些则不支持，因此无法始终在不重写查询的情况下迁移查询。
不同的内部体系结构
尽管SQL数据库服务器在外观上非常相似，但在内部却可以非常不同，例如基于GPU的SQL数据库服务器的内部体系结构与经典SQL产品有很大不同，而经典SQL产品又与Hadoop上的SQL引擎有很大不同，因此必须重新构造查询以充分利用这些产品，不同的数据结构，某些数据库服务器擅长在规范化表结构上运行查询，而其他一些则更喜欢星型模式或非规范化数据结构，这意味着即使我们可以在新平台上不变地运行查询，也可能不得不重写它们，因为数据结构已被更改以利用此平台。
数据虚拟化和数据库迁移
迁移到另一个数据库时，数据虚拟化可以解决问题，在报表和数据库服务器之间放置一个数据虚拟化服务器可以轻松切换到另一个数据库服务器，如果将数据迁移到另一台数据库服务器，则数据虚拟化服务器将掩盖该新产品支持（略有不同）SQL方言，这些报告使用数据虚拟化服务器的SQL方言，而后者则尝试将大部分SQL查询下推到基础数据库服务器，对于每个数据库服务器，下推的内容有所不同。
数据虚拟化服务器还允许逐步逐步迁移
无需一次性迁移所有表，取而代之的是，表可以一个一个迁移，也可以一个组一个迁移，数据虚拟化服务器将使用其数据联合功能来隐藏数据在新旧数据库之间的分布，数据虚拟化服务器支持缓存，通过缓存可以确定虚拟表的虚拟内容并将其存储在某些数据库中，此功能可用于加速查询处理，例如如果对数据集市中的一组特定物理表的访问一直很慢，则指向这些物理表的虚拟表可以缓存到另一个更快的数据库平台中，缓存虚拟表时，此新平台将决定查询性能，部署缓存后，无需修改报表。
数据库迁移的长远眼光
如果我们从更长远的角度来看数据迁移，那么另一个优势将变得显而易见，当使用数据虚拟化服务器将数据使用者与数据存储区分开时，可以从近推出的所有新数据库平台中受益，并且可能会在未来几年内推出，有了数据虚拟化层，组织就不会停留在很久以前选择的数据库技术上，值得注意的是，近几年我们看到了大量的新数据库技术，只需考虑所有与Hadoop相关的技术，基于GPU的数据库产品，NoSQL产品，内存产品以及跨数据库服务器。
数据虚拟化服务器可以用于开发整个数据仓库项目
例如逻辑数据仓库体系结构，也可以用于更实际的使用案例，例如数据库迁移，数据仓库越来越大，报告和分析工作量也在不断扩大，终对于许多企业而言，其现有数据库服务器的性能将不再足够，数据虚拟化服务器可能是通过规避风险的逐步方法平稳，无缝迁移的解决方案，我们关注一个流行的话题，数据湖数据虚拟化支持更实用的数据湖架构的开发。