Data Fabric：它是什么、提示和最佳实践

已发表: 2022-11-05

Gartner将数据结构命名为帮助企业监控和管理其数据和应用程序。 随着企业使用广泛的应用程序并且数据变得更加动态，收集数据并成为数据驱动的组织比以往任何时候都更具挑战性。

公司需要在十大数据和分析技术发展中制定综合战略来解决此类问题。 来自多个来源和种类的数据被整合形成一个统一的虚拟来源。 这种跨分布式基础架构的无缝访问和数据交换是通过这种集成架构实现的，无论应用程序、平台或存储位置如何。

在本博客中，我们将讨论什么是 Data Fabric、它的重要性、提示和最佳实践。

内容索引：

  1. 什么是数据结构？
  2. 数据结构的重要性。
  3. 提示和最佳实践
  4. 结论

什么是数据结构？

数据结构是一种集成架构，它使用数据为混合多云环境中的端点提供一致的功能。 这种集成架构通过建立一致的数据管理方法来提高可见性、访问和控制。 最重要的是，它在整个环境中创建一致性，允许在任何地方使用和共享数据。

这种集成架构是许多公司将原始数据转换为可操作的商业智能的主要工具。 它使分析更容易获得，特别是对于人工智能和机器学习的使用。 鉴于它可以将数据管理工作量减少多达 70%，Gartner 将其选为 2022 年的首要战略技术趋势。

公司经常复制他们的数据以将其整合到一个位置，这不仅成本高昂，而且可能导致整个数据生命周期的合规性和数据安全问题。 但仍有充分的理由将这些数据结合起来。 许多企业可能会选择采用数据结构作为架构解决方案，以使他们能够：

  • 访问现有数据
  • 控制数据生命周期。
  • 自动化数据移动过程。

数据结构的重要性

由于数据访问受限（即需要数据的人无法访问数据）和数据集成的复杂性等问题，组织无法完全利用和最大化其数据的价值。

传统的数据集成不再足以满足通用转换、实时连接等业务需求。许多公司需要帮助来组合、集成和转换来自各种来源的组织数据。

Data Fabric 让用户可以立即访问各种数据，并且无论用户身在何处都可以实现可视化。 通过使用数据结构，用户可以简化多云数据环境中的数据治理和管理。

提示和最佳实践

如果数据结构管理良好，则应积极管理业务、运营和技术元数据。 必须为所有公司员工提供数据目录和业务词典才能做到这一点。

组织内的每个人都可以在使用数据时分享他们的数据知识。 必须为所有来源保留一个时间表，以便以允许合理数量的数据漂移的速率摄取其元数据。

以下是提示和最佳实践：

  1. 利用 DataOps 流程模型。

尽管 dataOps 和 Data Fabric 的概念不同，但 dataOps 可以成为关键的推动者。 根据 DataOps 流程的模型，数据流程、工具和使用洞察力的人都紧密相连。

用户可以持续依赖数据，有意义地使用他们可以使用的工具，并应用洞察力来改进运营。 该模型和数据结构的架构设计和谐地协同工作。 用户将需要一个 DataOps 流程模型和一个 DataOps 态度来充分利用它。

  1. 避免创建另一个数据湖。

在构建数据结构时，典型的问题是它可能只是另一个数据湖。 如果架构组件到位——数据源、分析、BI 技术、数据传输和数据消费——但缺少 API 和 SDK，则结果不是真正的数据结构。

术语“数据结构”是指架构设计，而不是特定技术。 该设计的显着特点包括组件互操作性和集成就绪性。 因此，组织必须优先考虑连接层、无缝数据传输和自动洞察交付到新连接的前端接口。

  1. 认识到您的监管和合规义务。

由于数据运行广泛，数据结构设计有助于安全、治理和合规性。 数据不会分散在多个系统中。 因此，敏感数据泄露的可能性较小。

在实施之前，了解适用于您的数据的合规性和监管规定至关重要。 各种数据可能受监管框架和立法的约束。 您可以通过实施自动化合规程序来处理此问题，该程序根据法律要求强制进行数据转换。

  1. 使用图形分析来寻找互连。

通过使用知识图来说明元数据和数据关系，图分析为关系数据库提供了一种更智能的替代方案。 它不仅使用文本字符串，还使用语义上下文填充数据以理解信息指示的内容。

知识图可以通过检查数据源之间的连接来提供运营和业务洞察力。 与关系数据库方法相比，它更善于整合各种数据，发现的见解也对业务用户更有帮助。 由于这种集成架构的主要目标是在不重复的情况下广泛使用各种数据源，因此由图分析支持的知识图非常适合数据纺织。

  1. 为公民开发者创建一个数据市场。

通常，这种集成架构将产生洞察力并将其直接传输到业务应用程序，或产生碎片化的数据存储库以供 IT 或您的数据团队检查。 使公民开发人员的访问民主化的数据市场是利用其可能性的另一种方式。

对数据分析有基本了解和多年业务分析经验的业务用户可以使用来自该市场的数据为新兴用例构建新模型。 除了开发特定于用例的 BI 之外，企业还可以让公民开发人员以新颖灵活的方式使用它。

  1. 利用开源技术。

在创建数据制造时，开源可以改变游戏规则。 由于它旨在可扩展和集成，因此开源技术最适合其架构。

由于它可能需要大量投资，并且即使您后来决定转移供应商，您也希望保护该投资，开源组件也可能帮助您减少对单一供应商的依赖。 请务必查看最近发布的 Open Data Fabric 项目，该项目支持使用大数据和区块链的去中心化流数据处理管道。

  1. 启用本机代码的生产。

Data Fabric 解决方案的一个基本功能是本机代码生成，这使它能够自动生成可用于集成的代码。 即使在分析传入数据时，也可以用几种不同的语言（包括 Spark、SQL 和 Java）本地生成最佳代码。

然后，IT 专业人员可以使用此代码来集成可能仍需要提供 API 和 SDK 的新系统。 这种方法将允许您快速轻松地整合新的数据系统，而无需担心高昂的整合成本或投资。 它还将帮助您加速数字化转型。 请记住，本机代码生成需要与现成的连接器一起使用，以使其对用户友好。

  1. 增强边缘计算的数据结构

企业可以通过使数据制造适应边缘计算来最大限度地利用其物联网设备。 边缘数据结构，通常称为边缘到云数据结构，是专门为协助物联网部署而创建的。 它将重要的数据相关任务从集中式应用程序转移到不同的分布式但紧密联系的边缘层。

例如，智能工厂可以使用边缘数据结构来自动确定货物集装箱的重量（无需联系集中式云）并开始选择程序。 它促进了自动操作并加快了传统的集中式数据湖范式不可行的决策。

结论

可以根据需要在组件之间传输数据。 数据结构用于从单个位置跨各种物理和虚拟资源管理资源和设置，从而减少必要的数据管理量。

数据结构提供了数据的全面视角，包括实时数据，从而减少了查找、查询和使用创造性策略所需的时间。 它们还提供更深入的数据分析，从而提高企业智能。

QuestionPro 为每个主题和行业提供解决方案，不仅仅是调查软件。 他们还提供数据管理服务，包括 InsightsHub 研究图书馆。 如果您在数据制作方面需要任何帮助，请与 QuestionPro 团队联系。