Data Fabric: Was es ist, Tipps und Best Practices

Veröffentlicht: 2022-11-05

Gartner hat die Data Fabric benannt, um Unternehmen bei der Überwachung und Verwaltung ihrer Daten und Anwendungen zu unterstützen. Daten zu sammeln und ein datengesteuertes Unternehmen zu werden, ist schwieriger denn je, da Unternehmen eine breite Palette von Apps nutzen und Daten dynamischer werden.

Um solche Probleme zu lösen, benötigen Unternehmen eine umfassende Strategie unter den Top-Ten-Entwicklungen von Daten- und Analysetechnologien. Daten aus mehreren Quellen und Arten werden integriert, um eine einheitliche virtuelle Quelle zu bilden. Dieser nahtlose Zugriff und Datenaustausch über eine verteilte Infrastruktur wird durch diese integrierte Architektur ermöglicht, unabhängig von Anwendung, Plattform oder Speicherort.

In diesem Blog besprechen wir, was Data Fabric ist, ihre Bedeutung, Tipps und Best Practices.

Inhaltsindex:

  1. Was ist eine Datenstruktur?
  2. Bedeutung der Datenstruktur.
  3. Tipps und Best Practices
  4. Fazit

Was ist eine Datenstruktur?

Eine Data Fabric ist eine integrierte Architektur, die Daten verwendet, um Endpunkten in einer hybriden Multi-Cloud-Umgebung eine konsistente Funktion zu bieten. Diese integrierte Architektur erhöht die Sichtbarkeit, den Zugriff und die Kontrolle, indem konsistente Methoden für das Datenmanagement eingerichtet werden. Am wichtigsten ist, dass es Konsistenz in Ihrer gesamten Umgebung schafft, sodass Daten überall verwendet und geteilt werden können.

Diese integrierte Architektur ist für viele Unternehmen das primäre Werkzeug, um Rohdaten in verwertbare Business Intelligence umzuwandeln. Es macht die Analyse zugänglicher, insbesondere für die Nutzung von KI und maschinellem Lernen. Da es den Datenverwaltungsaufwand um bis zu 70 % reduzieren kann, hat Gartner es als seinen wichtigsten strategischen Technologietrend für 2022 ausgewählt.

Unternehmen kopieren ihre Daten häufig, um sie an einem Ort zu konsolidieren, was kostspielig ist und während des gesamten Datenlebenszyklus Probleme mit Compliance und Datensicherheit verursachen kann. Aber es gibt immer noch gute Gründe, diese Daten zu kombinieren. Zahlreiche Unternehmen entscheiden sich möglicherweise dafür, eine Datenstruktur als architektonische Lösung einzusetzen, um ihnen Folgendes zu ermöglichen:

  • Greifen Sie auf die vorhandenen Daten zu
  • Kontrollieren Sie den Datenlebenszyklus.
  • Automatisieren Sie den Datenverschiebungsprozess.

Bedeutung der Datenstruktur

Organisationen können den Wert ihrer Daten aufgrund von Problemen wie eingeschränktem Datenzugriff (dh Daten sind nicht für diejenigen zugänglich, die sie benötigen) und der Komplexität der Datenintegration nicht vollständig nutzen und maximieren.

Die herkömmliche Datenintegration ist für Geschäftsanforderungen wie universelle Transformationen, Echtzeit-Konnektivität usw. nicht mehr ausreichend. Viele Unternehmen benötigen Hilfe, um Unternehmensdaten aus verschiedenen Quellen zu kombinieren, zu integrieren und zu transformieren.

Data Fabric bietet Benutzern sofortigen Zugriff auf eine Vielzahl von Daten und ermöglicht die Visualisierung, unabhängig davon, wo sich die Benutzer befinden. Data Governance und Management in Multi-Cloud-Datenlandschaften können für Benutzer durch die Verwendung von Data Fabric vereinfacht werden.

Tipps und Best Practices

Geschäftliche, betriebliche und technische Metadaten sollten aktiv verwaltet werden, wenn eine Datenstruktur gut verwaltet wird. Dazu müssen ein Datenkatalog und ein Wirtschaftslexikon allen Mitarbeitern des Unternehmens zur Verfügung stehen.

Jeder innerhalb der Organisation kann sein Wissen über Daten teilen, während er sie verwendet. Es muss ein Zeitplan für alle Ursprungsquellen eingehalten werden, damit ihre Metadaten mit einer Rate aufgenommen werden, die eine angemessene Datendrift zulässt.

Hier sind die Tipps und Best Practices:

  1. Verwenden Sie ein DataOps-Prozessmodell.

Obwohl die Konzepte von DataOps und Data Fabric unterschiedlich sind, können DataOps ein entscheidender Faktor sein. Datenprozesse, Tools und die Personen, die die Erkenntnisse nutzen, sind gemäß einem Modell des DataOps-Prozesses eng miteinander verbunden.

Benutzer sind in der Lage, sich kontinuierlich auf Daten zu verlassen, die ihnen zur Verfügung stehenden Tools sinnvoll zu nutzen und Erkenntnisse zur Verbesserung des Betriebs zu nutzen. Dieses Modell und das architektonische Design der Data Fabric arbeiten harmonisch zusammen. Benutzer benötigen ein DataOps-Prozessmodell und eine DataOps-Einstellung, um das Beste daraus zu machen.

  1. Vermeiden Sie die Schaffung eines weiteren Data Lake.

Beim Aufbau von Data Fabrics besteht das typische Problem darin, dass es zu einem weiteren Data Lake werden kann . Wenn die Architekturkomponenten vorhanden sind – Datenquellen, Analysen, BI-Techniken, Datenübertragung und Datennutzung –, aber die APIs und SDKs fehlen, ist das Ergebnis keine echte Datenstruktur.

Der Begriff „Datenstruktur“ bezieht sich eher auf ein architektonisches Design als auf eine bestimmte Technologie. Zu den Unterscheidungsmerkmalen dieses Designs gehören die Interoperabilität der Komponenten und die Integrationsbereitschaft. Infolgedessen müssen Unternehmen der Verbindungsschicht, der nahtlosen Datenübertragung und der automatisierten Übermittlung von Erkenntnissen an neu verbundene Front-End-Schnittstellen Priorität einräumen.

  1. Erkennen Sie Ihre regulatorischen und Compliance-Verpflichtungen.

Da die Daten breit gefächert sind, kann das Data-Fabric-Design bei der Sicherheit, Governance und der Einhaltung gesetzlicher Vorschriften helfen. Daten sind nicht über mehrere Systeme verteilt. Daher besteht eine geringere Wahrscheinlichkeit, dass vertrauliche Daten offengelegt werden.

Bevor Sie es einrichten, ist es wichtig, die Compliance- und Regulierungsvorschriften zu verstehen, die für Ihre Daten gelten. Verschiedene Arten von Daten können regulatorischen Rahmenbedingungen und Gesetzen unterliegen. Sie können damit umgehen, indem Sie automatisierte Compliance-Verfahren implementieren, die Datentransformationen erzwingen, die zur Einhaltung gesetzlicher Anforderungen erforderlich sind.

  1. Verwenden Sie Graph Analytics, um nach Verbindungen zu suchen.

Durch den Einsatz von Wissensgraphen zur Veranschaulichung von Metadaten und Datenbeziehungen bietet Graph Analytics eine intelligentere Alternative zu relationalen Datenbanken. Anstatt nur Textzeichenfolgen zu verwenden, füllt es die Daten mit einem semantischen Kontext, um zu verstehen, was die Informationen anzeigen.

Ein Wissensgraph kann betriebliche und geschäftliche Einblicke bieten, indem er die Verbindungen zwischen Datenquellen untersucht. Im Vergleich zur relationalen Datenbankmethode ist es besser, verschiedene Daten zu integrieren, und die gewonnenen Erkenntnisse sind auch für Geschäftsanwender hilfreicher. Da das primäre Ziel dieser integrierten Architektur darin besteht, die umfassende Nutzung verschiedener Datenquellen ohne Duplizierung zu ermöglichen, eignen sich Knowledge Graphs powered by Graph Analytics perfekt für Datentextilien.

  1. Erstellen Sie einen Datenmarktplatz für Bürgerentwickler.

Normalerweise produziert und überträgt diese integrierte Architektur Erkenntnisse direkt an Geschäftsanwendungen oder erstellt fragmentierte Datenrepositorys zur Untersuchung durch die IT oder Ihr Datenteam. Ein Datenmarktplatz, der den Zugang für Bürgerentwickler demokratisiert, ist eine weitere Möglichkeit, seine Möglichkeiten zu nutzen.

Daten aus diesem Markt können verwendet werden, um neue Modelle für neue Anwendungsfälle durch Geschäftsanwender mit einem grundlegenden Verständnis der Datenanalyse und jahrelanger Erfahrung in der Geschäftsanalyse zu konstruieren. Unternehmen können es Bürgerentwicklern ermöglichen, es auf neuartige und flexible Weise zu nutzen, zusätzlich zur Entwicklung von anwendungsfallspezifischer BI.

  1. Nutzen Sie Open-Source-Technologie.

Beim Erstellen einer Datenfabrikation kann Open Source ein Wendepunkt sein. Da es erweiterbar und integrierbar sein soll, sind Open-Source-Technologien für seine Architektur am besten geeignet.

Da möglicherweise erhebliche Investitionen erforderlich sind und Sie diese Investition auch dann schützen möchten, wenn Sie sich später für einen Anbieterwechsel entscheiden, können Open-Source-Komponenten Ihnen auch dabei helfen, die Abhängigkeit von einem einzelnen Anbieter zu verringern. Schauen Sie sich unbedingt das kürzlich veröffentlichte Open Data Fabric-Projekt an, das eine dezentrale Streaming-Datenverarbeitungspipeline mit Big Data und Blockchain ermöglicht.

  1. Aktivieren Sie die Produktion von nativem Code.

Eine wesentliche Funktion Ihrer Data-Fabric-Lösung ist die native Codegenerierung, die es ihr ermöglicht, automatisch Code zu erzeugen, der für die Integration verwendet werden kann. Es kann möglich sein, optimalen Code nativ in mehreren verschiedenen Sprachen zu generieren, einschließlich Spark, SQL und Java, selbst während eingehende Daten analysiert werden.

IT-Experten können diesen Code dann verwenden, um neue Systeme zu integrieren, für die möglicherweise noch APIs und SDKs verfügbar sein müssen. Auf diese Weise können Sie schnell und einfach neue Datensysteme einbinden, ohne sich Gedanken über hohe Integrationskosten oder Investitionen machen zu müssen. Es wird Ihnen auch dabei helfen, Ihre digitale Transformation zu beschleunigen. Denken Sie daran, dass die native Codegenerierung mit vorgefertigten Konnektoren funktionieren muss, um sie benutzerfreundlich zu gestalten.

  1. Verbessern Sie die Datenstruktur für Edge-Computing

Unternehmen können die Nutzung ihrer IoT-Geräte maximieren, indem sie die Datenherstellung an Edge-Computing anpassen. Die Edge Data Fabric, oft als Edge-to-Cloud Data Fabric bezeichnet, wurde speziell zur Unterstützung von IoT-Bereitstellungen erstellt. Es verlagert wichtige datenbezogene Aufgaben aus der zentralisierten Anwendung in eine andere Randschicht, die verteilt, aber eng miteinander verbunden ist.

Beispielsweise kann eine intelligente Fabrik eine Edge Data Fabric verwenden, um automatisch das Gewicht eines Frachtcontainers zu bestimmen (ohne die zentralisierte Cloud zu kontaktieren) und Auswahlverfahren zu starten. Es erleichtert automatische Aktionen und beschleunigt die Entscheidungsfindung, die mit einem herkömmlichen, zentralisierten Data-Lake- Paradigma nicht durchführbar ist.

Fazit

Daten können nach Bedarf zwischen Komponenten übertragen werden. Eine Datenstruktur wird verwendet, um Ressourcen und Einstellungen über verschiedene physische und virtuelle Ressourcen hinweg von einem einzigen Standort aus zu verwalten, wodurch der Umfang der erforderlichen Datenverwaltung reduziert wird.

Data Fabrics bieten eine umfassende Sicht auf die Daten, einschließlich Echtzeitdaten, was die Zeit verkürzt, die zum Suchen, Abfragen und Verwenden kreativer Taktiken benötigt wird. Sie bieten auch eine tiefere Datenanalyse, die die Unternehmensintelligenz verbessert.

Mit Lösungen für jedes Fachgebiet und jede Branche ist QuestionPro mehr als nur eine Umfragesoftware. Sie bieten auch Datenverwaltungsdienste an, einschließlich der InsightsHub-Forschungsbibliothek. Wenden Sie sich an das QuestionPro-Team, wenn Sie Unterstützung bei der Datenherstellung benötigen.