Data Fabric：它是什麼、提示和最佳實踐

已發表: 2022-11-05

Gartner將數據結構命名為幫助企業監控和管理其數據和應用程序。 隨著企業使用廣泛的應用程序並且數據變得更加動態，收集數據並成為數據驅動的組織比以往任何時候都更具挑戰性。

公司需要在十大數據和分析技術發展中製定綜合戰略來解決此類問題。 來自多個來源和種類的數據被整合形成一個統一的虛擬來源。 這種跨分佈式基礎架構的無縫訪問和數據交換是通過這種集成架構實現的，無論應用程序、平台或存儲位置如何。

在本博客中，我們將討論什麼是 Data Fabric、它的重要性、提示和最佳實踐。

內容索引：

  1. 什麼是數據結構？
  2. 數據結構的重要性。
  3. 提示和最佳實踐
  4. 結論

什麼是數據結構？

數據結構是一種集成架構，它使用數據為混合多雲環境中的端點提供一致的功能。 這種集成架構通過建立一致的數據管理方法來提高可見性、訪問和控制。 最重要的是，它在整個環境中創建一致性，允許在任何地方使用和共享數據。

這種集成架構是許多公司將原始數據轉換為可操作的商業智能的主要工具。 它使分析更容易獲得，特別是對於人工智能和機器學習的使用。 鑑於它可以將數據管理工作量減少多達 70%，Gartner 將其選為 2022 年的首要戰略技術趨勢。

公司經常複製他們的數據以將其整合到一個位置，這不僅成本高昂，而且可能導致整個數據生命週期的合規性和數據安全問題。 但仍有充分的理由將這些數據結合起來。 許多企業可能會選擇採用數據結構作為架構解決方案，以使他們能夠：

  • 訪問現有數據
  • 控制數據生命週期。
  • 自動化數據移動過程。

數據結構的重要性

由於數據訪問受限（即需要數據的人無法訪問數據）和數據集成的複雜性等問題，組織無法完全利用和最大化其數據的價值。

傳統的數據集成不再足以滿足通用轉換、實時連接等業務需求。許多公司需要幫助來組合、集成和轉換來自各種來源的組織數據。

Data Fabric 讓用戶可以立即訪問各種數據，並且無論用戶身在何處都可以實現可視化。 通過使用數據結構，用戶可以簡化多雲數據環境中的數據治理和管理。

提示和最佳實踐

如果數據結構管理良好，則應積極管理業務、運營和技術元數據。 必須為所有公司員工提供數據目錄和業務詞典才能做到這一點。

組織內的每個人都可以在使用數據時分享他們的數據知識。 必須為所有來源保留一個時間表，以便以允許合理數量的數據漂移的速率攝取其元數據。

以下是提示和最佳實踐：

  1. 利用 DataOps 流程模型。

儘管 dataOps 和 Data Fabric 的概念不同，但 dataOps 可以成為關鍵的推動者。 根據 DataOps 流程的模型，數據流程、工具和使用洞察力的人都緊密相連。

用戶可以持續依賴數據，有意義地使用他們可以使用的工具，並應用洞察力來改進運營。 該模型和數據結構的架構設計和諧地協同工作。 用戶將需要一個 DataOps 流程模型和一個 DataOps 態度來充分利用它。

  1. 避免創建另一個數據湖。

在構建數據結構時，典型的問題是它可能只是另一個數據湖。 如果架構組件到位——數據源、分析、BI 技術、數據傳輸和數據消費——但缺少 API 和 SDK，則結果不是真正的數據結構。

術語“數據結構”是指架構設計，而不是特定技術。 該設計的顯著特點包括組件互操作性和集成就緒性。 因此，組織必須優先考慮連接層、無縫數據傳輸和自動洞察交付到新連接的前端接口。

  1. 認識到您的監管和合規義務。

由於數據運行廣泛，數據結構設計有助於安全、治理和合規性。 數據不會分散在多個系統中。 因此，敏感數據洩露的可能性較小。

在實施之前，了解適用於您的數據的合規性和監管規定至關重要。 各種數據可能受監管框架和立法的約束。 您可以通過實施自動化合規程序來處理此問題，該程序根據法律要求強制進行數據轉換。

  1. 使用圖形分析來尋找互連。

通過使用知識圖來說明元數據和數據關係，圖分析為關係數據庫提供了一種更智能的替代方案。 它不僅使用文本字符串，還使用語義上下文填充數據以理解信息指示的內容。

知識圖可以通過檢查數據源之間的連接來提供運營和業務洞察力。 與關係數據庫方法相比，它更善於整合各種數據，發現的見解也對業務用戶更有幫助。 由於這種集成架構的主要目標是在不重複的情況下廣泛使用各種數據源，因此由圖分析支持的知識圖非常適合數據紡織。

  1. 為公民開發者創建一個數據市場。

通常，這種集成架構將產生洞察力並將其直接傳輸到業務應用程序，或產生碎片化的數據存儲庫以供 IT 或您的數據團隊檢查。 使公民開發人員的訪問民主化的數據市場是利用其可能性的另一種方式。

對數據分析有基本了解和多年業務分析經驗的業務用戶可以使用來自該市場的數據為新興用例構建新模型。 除了開發特定於用例的 BI 之外，企業還可以讓公民開發人員以新穎靈活的方式使用它。

  1. 利用開源技術。

在創建數據製造時，開源可以改變遊戲規則。 由於它旨在可擴展和集成，因此開源技術最適合其架構。

由於它可能需要大量投資，並且即使您後來決定轉移供應商，您也希望保護該投資，開源組件也可能幫助您減少對單一供應商的依賴。 請務必查看最近發布的 Open Data Fabric 項目，該項目支持使用大數據和區塊鏈的去中心化流數據處理管道。

  1. 啟用本機代碼的生產。

Data Fabric 解決方案的一個基本功能是本機代碼生成，這使它能夠自動生成可用於集成的代碼。 即使在分析傳入數據時，也可以用幾種不同的語言（包括 Spark、SQL 和 Java）本地生成最佳代碼。

然後，IT 專業人員可以使用此代碼來集成可能仍需要提供 API 和 SDK 的新系統。 這種方法將允許您快速輕鬆地整合新的數據系統，而無需擔心高昂的整合成本或投資。 它還將幫助您加速數字化轉型。 請記住，本機代碼生成需要與現成的連接器一起使用，以使其對用戶友好。

  1. 增強邊緣計算的數據結構

企業可以通過使數據製造適應邊緣計算來最大限度地利用其物聯網設備。 邊緣數據結構，通常稱為邊緣到雲數據結構，是專門為協助物聯網部署而創建的。 它將重要的數據相關任務從集中式應用程序轉移到不同的分佈式但緊密聯繫的邊緣層。

例如，智能工廠可以使用邊緣數據結構來自動確定貨物集裝箱的重量（無需聯繫集中式雲）並開始選擇程序。 它促進了自動操作並加快了傳統的集中式數據湖範式不可行的決策。

結論

可以根據需要在組件之間傳輸數據。 數據結構用於從單個位置跨各種物理和虛擬資源管理資源和設置，從而減少必要的數據管理量。

數據結構提供了數據的全面視角，包括實時數據，從而減少了查找、查詢和使用創造性策略所需的時間。 它們還提供更深入的數據分析，從而提高企業智能。

QuestionPro 為每個主題和行業提供解決方案，不僅僅是調查軟件。 他們還提供數據管理服務，包括 InsightsHub 研究圖書館。 如果您在數據製作方面需要任何幫助，請與 QuestionPro 團隊聯繫。