文 | AI国际站 唐恩
编 | 艾娃
本文由AI国际站 原创出品，未经许可，任何渠道、平台请勿转载，违者必究。
在瞬息万变的信息时代，最有可能成功的公司比他们的竞争对手更快，更灵活地从数据中收集最有利可图的见解。对于当今以数据为驱动力的企业，您可能会对整个企业和隐藏在海量数据中的客户具有改变游戏规则的见解。这就是为什么智能虚拟化技术将永远消除数据孤岛的原因。
数据虚拟化应该提供什么。
但是，要发现这些见解，必须将您的数据消费化。累积意味着数据必须易于获得并可供组织中的所有利益相关者读取，同时确保可靠性和安全性。
数据湖正在发展吗？
数据只会继续变得更加多样化，动态和分散。许多组织试图通过将所有数据扔到数据湖中来收集所有数据并使其可访问，该数据湖可以原始格式保存原始数据，直到需要分析为止。
直到最近，这种做法或多或少都足够引人注目。公司有能力等待数据科学家收集，翻译和分析数据湖中包含的无数不同数据类型。
立即访问数据的需求已大大增加。
组织竞相收集和分析尽可能多的数据，以获得与同行相比甚至最细微的竞争优势。传统的数据湖无法处理数量不断增长的新兴数据源和正在创建的新本地数据库。
查询必须与您正在使用的特定数据库相匹配，因此拥有的数据库越多，将被迫使用更多的查询语言。最重要的是，将不同的数据集成到数据湖中以使其可访问并且易于识别仍然需要手动数据工程，这对于数据工程师和数据科学家而言非常耗时。
数据湖缺乏敏捷性意味着它们在数据驱动的经济中将不再足够。
因此，许多组织正在转向数据虚拟化来优化其分析和BI。BI和数据正在连接其所有数据，并使其可从一个地方读取和访问。
并非所有数据虚拟化都是一样的。
数据虚拟化创建一个软件虚拟化层，该层将整个企业中的所有数据集成在一起。无论数据采用哪种格式，或者数据驻留在哪个筒仓，服务器或云中，它都将转换为通用的业务语言，并且可以从单个门户进行访问。
从理论上讲，这为组织提供了共享的数据智能，所有不同的业务部门和业务用户都可以立即访问他们所需的数据-快速访问使企业能够为共享目的做出数据驱动的决策。
但是，许多数据虚拟化解决方案都无法满足分析承诺。有几个关键原因。
专有格式。
许多数据虚拟化提供商将其合并，然后将组织的所有数据转换为专有格式。虽然合并允许将数据集成到单个视图的单个位置，但是供应商的专有格式通常会将数据缩减为最低公分母状态。
共母状态可能导致某些数据偏斜，丢失专用功能，甚至丢失转换结果。某些数据可能还要求其原始数据库的上下文可靠。因此，您的公司可能会从错误的数据中汲取见解并做出适得其反的业务决策。
BI工具不兼容。
BI工具对于组织来说是一笔可观的投资。大多数企业级公司已经在各个部门中使用了几种不同类型的BI工具。例如，一个部门可能使用Tableau，而另一个部门则使用Microsoft Power BI或Excel。为了使大数据分析服务于企业，无论用户喜欢使用哪种工具，数据都必须易于发现并且可以为所有用户普遍访问。
许多供应商使用的专有数据格式可能无法与公司已投资的技术互操作。 不同的工具使用许多不同的查询语言，并且显示数据的方式也有所不同。集成定义不一致的数据时，可能会发生分析中代价高昂的错误。使用所选BI工具的能力对于最大程度地减少业务中断和最大化用户生产力至关重要。
查询限制。
您的数据增长和发展越多；您的查询将变得更加复杂-对于分析工作负载和大规模处理数据而言并不理想。您必须管理的数据源越分散，运行快速的交互式查询所需要的数据工程就越多。
在查询时针对分布式联接移动大量数据不适用于交互式查询。它给企业基础架构带来了无法预料和无法接受的压力，而简单的数据缓存不足以支持动态查询环境和当今的数据大小。
当您将BI和AI工作负载添加到混合中时，性能会迅速下降，从而导致最终用户寻找到数据的其他直接路径，这破坏了数据虚拟化的优势。
除了这些扩展陷阱之外，传统的虚拟化产品在解决分析用例方面也做得很差。
扩展大型而复杂的数据服务需要对细节有深入的了解：数据统计，所涉及的数据库，这些共享资源的负载，用例和数据使用者的意图，安全性约束。虚拟化解决方案需要向用户提供其数据的业务上下文视图，其中包括层次结构，度量，维度，属性和时间序列。
应该提供什么数据虚拟化。
大多数数据虚拟化解决方案的发展速度与当今的数据集和数据科学实践不同，仍然依靠传统的数据联合方法和简单的缓存技术。但是，存在一种针对当今复杂且对时间敏感的BI需求而设计的下一代，更智能的数据虚拟化类型。如果您的数据虚拟化解决方案没有为您提供以下功能，那么它根本就不够智能。
自主数据工程。
人类永远不可能是完美的。幸运的是，计算机可以。人们根本无法管理现代数据架构的复杂性，至少不能以企业现在保持竞争力所需的速度。这就是为什么您的数据虚拟化解决方案需要提供自主数据工程的原因。
自主数据工程可以基于人脑无法想象的无数次连接和计算，自动推断出优化。机器学习（ML）被用于剖析所有公司数据，并检查如何查询和将其集成到组织中所有用户正在构建的数据模型中。
尽可能多地进行数据工程自动化可以节省大量金钱和资源，同时可以释放数据工程师执行对组织更有价值的更复杂任务的能力。
加速结构。
智能数据虚拟化还可以自动将数据放入特定的数据库中，以实现最佳性能。
有许多类型的专用数据和最适合该数据的不同格式。
智能数据虚拟化可以根据数据生成最佳性能的位置自动决定在哪个平台上放置数据。不同的数据平台具有明显的优势和优势。例如，如果您的数据模型和查询正在使用时序数据，则智能数据虚拟化会将加速结构放置在针对时序数据进行了优化的数据库中。
自动知道哪个数据库具有哪个优势，然后加以利用将成为传统的责任-您所有不同数据库类型的可变性-并将其转化为优势。
加速结构可显着节省云运营成本。根据您使用的平台，您可能需要支付数据库的存储大小，运行的查询数，查询中要移动的数据，问题中的行数，查询的复杂度，或其他几个变量。
例如，使用Google BigQuery，您要支付的金额与数据库的大小以及查询的复杂性成正比。
当您自动将加速结构用于性能和成本优化时，您只需要为加速汇总中使用的查询数据付费，而不是整个数据库的大小。
自动数据建模。
下一代数据虚拟化不仅会转换并提供对数据的访问；智能数据虚拟化可以自动了解每个数据平台的功能和局限性。它会在建立模型时自动发现可用的信息以及如何将其与其他数据合并和集成。
智能数据虚拟化可以对用于创建旧版报表的数据模型和查询进行逆向工程，因此您可以继续使用同一报表，而不必重建数据模型或查询。例如，如果您在旧系统中创建了TPS报告，则仍然可以在新系统中检索它。过去的查询可能已经在旧数据上运行，但是它们仍可以翻译并在新系统上运行，而无需任何重写。
自助服务启用。
近年来，IT的许多方面已“民主化”，也就是说，技术的进步（尤其是云技术）使外行无需广泛的技术敏锐度就可以访问它们。尽管分析和商业智能已落后于民主化趋势，但BI工具现在正变得越来越对普通工人可用。
BI的使用导致了新的“自助”分析文化的发展，在这种文化中，业务用户可以使用自己喜欢的BI工具直接访问和分析数据，而不必依赖数据工程师或数据分析师。
自助服务分析正迅速成为优化组织中大数据分析的必要条件。
例如，假设销售部门拥有有关上一年支出的数据，但希望通过有关多个领域的客户行为模式的数据来进行补充。或者，营销部门需要发起一个基于帐户的营销活动，该活动针对的是最有可能转换供应商的公司。
通过自助服务分析，销售或市场部门的业务用户可以访问此数据，并通过自己的工具自行使用。使用自助服务分析，而不必依靠训练有素的数据工程师来为BI工具获取数据，以及依靠数据科学家来建模和预测结果。
借助自助服务动态功能，组织中的每个部门都可以将自己的经验和专业知识应用于BI，从而实现全新的敏捷性。
智能数据虚拟化提供了一个业务逻辑层，该逻辑层实际上将所有数据转换为一种通用的业务语言，该语言既与资源无关，又与工具无关。有了逻辑层，这意味着业务用户可以使用他们喜欢的任何BI工具，而无需用户屈从于BI软件的单一标准。
无论您使用什么工具或使用多少工具，都可以访问所有数据，并且所有查询都将返回一致的答案。标准和逻辑的解释使您的组织拥有共享的数据知识和自助服务文化，而在当今数据驱动的业务环境中，自助文化正在变得越来越必要。
安全无忧。
在追求数据消费化的过程中，无论敏捷性和成本效益如何，您都不能牺牲安全性和合规性。已知虚拟化层会带来安全风险。但是，使用下一代智能数据虚拟化，您的数据将继承其所在数据库的所有安全性和治理策略。标准的管理程序意味着您的权限和策略保持不变。
通过跟踪数据的沿袭和用户身份，所有现有的安全和隐私信息都保留给各个用户。
即使在使用具有不同安全策略的多个数据库时，这些策略也可以无缝合并，并且所有全局安全性和合规性协议都会自动应用。采用智能数据虚拟化后，无需其他步骤即可确保安全性和合规性。
您的数据虚拟化必须与IT的其余部分一起发展。
具有可读性，可访问性和可靠性的企业范围的，消费者化的数据同等重要，但如今，许多公司都被海量数据所淹没。具有动态且多样化的格式和用例的日益分散的模型将添加到数据中。当用户无法快速找到并分析所需的数据并确信其准确性和最新性时，BI质量会下降，从而导致基于决策不够理想，甚至更糟。
因此，数据虚拟化需要发展以应对这些新的挑战和复杂性，以便它可以真正地用于大数据分析。
如果您的数据虚拟化解决方案未提供自主数据工程，加速结构（例如自动数据建模，自助服务分析支持），那么您将遇到问题。您需要无忧的安全性和合规性，或者说平台语言的多维语义层。如果您没有这些流程-那么您的数据虚拟化解决方案-根本就不够智能。
閱讀更多 AI國際站 的文章
