Data Fabric: o que é, dicas e práticas recomendadas
Publicados: 2022-11-05A Gartner nomeou a malha de dados para ajudar as empresas a monitorar e gerenciar seus dados e aplicativos. Coletar dados e se tornar uma organização orientada por dados é mais desafiador do que nunca, pois as empresas utilizam uma ampla variedade de aplicativos e os dados se tornam mais dinâmicos.
As empresas precisam de uma estratégia abrangente entre os dez principais desenvolvimentos de tecnologia de dados e análises para resolver esses problemas. Dados de várias fontes e tipos são integrados para formar uma fonte virtual unificada. Esse acesso contínuo e a troca de dados em uma infraestrutura distribuída são possibilitados por essa arquitetura integrada, independentemente do aplicativo, plataforma ou local de armazenamento.
Neste blog, discutiremos o que é a malha de dados, sua importância, dicas e práticas recomendadas.
Índice de conteúdo:
- O que é uma malha de dados?
- Importância da malha de dados.
- Dicas e práticas recomendadas
- Conclusão
O que é uma malha de dados?
Uma malha de dados é uma arquitetura integrada que usa dados para oferecer aos terminais em um ambiente multinuvem híbrido um recurso consistente. Essa arquitetura integrada aumenta a visibilidade, o acesso e o controle ao estabelecer métodos consistentes de gerenciamento de dados. Mais importante ainda, cria consistência em todo o seu ambiente, permitindo que os dados sejam usados e compartilhados em qualquer lugar.
Essa arquitetura integrada é a principal ferramenta para muitas empresas transformarem dados brutos em inteligência de negócios acionável. Isso torna a análise mais acessível, principalmente para uso de IA e aprendizado de máquina. Dado que pode reduzir os esforços de gerenciamento de dados em até 70%, o Gartner o selecionou como sua principal tendência tecnológica estratégica para 2022.
As empresas frequentemente copiam seus dados para consolidá-los em um local, o que é caro e pode causar problemas de conformidade e segurança de dados ao longo do ciclo de vida dos dados. Mas ainda há boas razões para combinar esses dados. Várias empresas podem optar por empregar uma malha de dados como uma solução arquitetônica para permitir que:
- Acesse os dados existentes
- Controle o ciclo de vida dos dados.
- Automatize o processo de movimentação de dados.
Importância da malha de dados
As organizações não podem utilizar e maximizar totalmente o valor de seus dados devido a problemas que incluem acesso limitado aos dados (ou seja, os dados não são acessíveis àqueles que precisam deles) e à complexidade da integração de dados.
A integração de dados tradicional não é mais adequada para as necessidades de negócios, como transformações universais, conectividade em tempo real, etc. Muitas empresas precisam de ajuda para combinar, integrar e transformar dados organizacionais de várias fontes.
A malha de dados oferece aos usuários acesso imediato a uma ampla variedade de dados e permite a visualização, não importa onde os usuários estejam. A governança e o gerenciamento de dados em cenários de dados multinuvem podem ser simplificados para os usuários usando a malha de dados.
Dicas e práticas recomendadas
Metadados comerciais, operacionais e técnicos devem ser gerenciados ativamente se uma malha de dados for bem governada. Um catálogo de dados e um léxico de negócios devem estar disponíveis para todos os funcionários da empresa para que isso aconteça.
Todos dentro da organização podem compartilhar seus conhecimentos sobre os dados à medida que os utilizam. Um cronograma deve ser mantido para que todas as fontes de origem tenham seus metadados ingeridos a uma taxa que permita uma quantidade razoável de desvio de dados.
Aqui estão as dicas e práticas recomendadas:
Utilize um modelo de processo DataOps.
Embora os conceitos de dataOps e de malha de dados sejam distintos, o dataOps pode ser um facilitador crucial. Processos de dados, ferramentas e as pessoas que usam os insights estão todos intimamente conectados, de acordo com um modelo do processo de DataOps.
Os usuários estão posicionados para confiar continuamente nos dados, fazer uso significativo das ferramentas à sua disposição e aplicar insights para melhorar as operações. Esse modelo e o projeto arquitetônico da malha de dados trabalham juntos em harmonia. Os usuários precisarão de um modelo de processo de DataOps e uma atitude de DataOps para aproveitar ao máximo.
Evite criar mais um data lake.
Ao construir malhas de dados, o problema típico é que elas podem se tornar apenas mais um data lake . Se os componentes de arquitetura estiverem em vigor – fontes de dados, análises, técnicas de BI, trânsito de dados e consumo de dados – mas as APIs e SDKs estiverem ausentes, o resultado não será uma malha de dados genuína.
O termo “data fabric” refere-se a um projeto arquitetônico em vez de uma tecnologia específica. As características distintivas deste design incluem interoperabilidade de componentes e prontidão para integração. Como resultado, as organizações devem priorizar a camada de conexão, transmissão de dados contínua e entrega automatizada de insights para interfaces de front-end recém-conectadas.
Reconheça suas obrigações regulatórias e de conformidade.
Como os dados são executados amplamente, o design de malha de dados pode ajudar com segurança, governança e conformidade regulatória. Os dados não são dispersos em vários sistemas. Assim, há menos chance de que dados confidenciais possam ser expostos.
Antes de colocá-lo em prática, é crucial entender a conformidade e os regulamentos regulatórios que se aplicam aos seus dados. Vários tipos de dados podem estar sujeitos a estruturas regulatórias e legislação. Você pode lidar com isso implementando procedimentos de conformidade automatizados que obrigam as transformações de dados conforme necessário para cumprir os requisitos legais.
Use a análise de gráficos para procurar interconexões.
Ao empregar gráficos de conhecimento para ilustrar metadados e relacionamentos de dados, a análise de gráficos oferece uma alternativa mais inteligente aos bancos de dados relacionais. Em vez de usar apenas strings de texto, ele preenche os dados com um contexto semântico para entender o que a informação indica.
Um gráfico de conhecimento pode oferecer insights operacionais e de negócios examinando as conexões entre as fontes de dados. Comparado ao método de banco de dados relacional, é melhor integrar diversos dados e os insights descobertos também são mais úteis para os usuários de negócios. Como o objetivo principal dessa arquitetura integrada é permitir o uso extensivo de várias fontes de dados sem duplicação, os gráficos de conhecimento alimentados por análise de gráficos são perfeitos para têxteis de dados.
Crie um mercado de dados para desenvolvedores cidadãos.
Normalmente, essa arquitetura integrada produzirá e transmitirá insights diretamente para aplicativos de negócios ou produzirá repositórios de dados fragmentados para análise pela TI ou sua equipe de dados. Um mercado de dados que democratiza o acesso para desenvolvedores cidadãos é outra maneira de aproveitar suas possibilidades.
Os dados desse mercado podem ser usados para construir novos modelos para casos de uso emergentes por usuários de negócios com uma compreensão básica de análise de dados e anos de experiência em análise de negócios. As empresas podem permitir que desenvolvedores cidadãos o usem de maneiras inovadoras e flexíveis, além de desenvolver BI específico para cada caso de uso.
Utilize a tecnologia de código aberto.
Ao criar uma fabricação de dados, o código aberto pode mudar o jogo. Como se destina a ser extensível e pronto para integração, as tecnologias de código aberto são as mais apropriadas para sua arquitetura.
Como ele pode precisar de um investimento significativo e você deseja proteger esse investimento, mesmo que posteriormente decida transferir fornecedores, os componentes de código aberto também podem ajudá-lo a se tornar menos dependente de um único fornecedor. Certifique-se de analisar o projeto Open Data Fabric lançado recentemente, que permite um pipeline de processamento de dados de streaming descentralizado usando big data e blockchain.
Habilite a produção de código nativo.
Uma função essencial de sua solução de malha de dados é a geração de código nativo, que permite produzir automaticamente código que pode ser utilizado para integração. Pode ser possível gerar o código ideal nativamente em várias linguagens diferentes, incluindo Spark, SQL e Java, mesmo enquanto analisa os dados recebidos.
Os profissionais de TI podem usar esse código para integrar novos sistemas para os quais APIs e SDKs ainda precisam estar disponíveis. Esse método permitirá que você incorpore novos sistemas de dados de maneira rápida e fácil, sem se preocupar com altos custos de integração ou investimentos. Também ajudará você a acelerar sua transformação digital. Lembre-se de que a geração de código nativo precisa funcionar com conectores prontos para torná-lo fácil de usar.
Aprimore a malha de dados para computação de borda
As empresas podem maximizar o uso de seus dispositivos IoT adaptando a fabricação de dados à computação de borda. A malha de dados de borda, geralmente chamada de malha de dados de ponta a nuvem, foi criada especificamente para auxiliar as implantações de IoT. Ele transfere tarefas importantes relacionadas a dados do aplicativo centralizado para uma camada de borda diferente que é distribuída, mas intimamente vinculada.
Por exemplo, uma fábrica inteligente pode usar uma malha de dados de borda para determinar automaticamente o peso de um contêiner de carga (sem entrar em contato com a nuvem centralizada) e começar a selecionar os procedimentos. Ele facilita ações automáticas e agiliza a tomada de decisões que não é viável com um paradigma de data lake convencional e centralizado.
Conclusão
Os dados podem ser transferidos conforme necessário entre os componentes. Uma malha de dados é usada para gerenciar recursos e configurações em vários recursos físicos e virtuais a partir de um único local, reduzindo a quantidade de gerenciamento de dados necessária.
As malhas de dados oferecem uma perspectiva abrangente dos dados, incluindo dados em tempo real, o que reduz o tempo necessário para encontrar, consultar e usar táticas criativas. Eles também oferecem uma análise de dados mais profunda, o que melhora a inteligência corporativa.
Com soluções para todos os assuntos e setores, o QuestionPro é mais do que apenas um software de pesquisa. Eles também fornecem serviços de gerenciamento de dados, incluindo a biblioteca de pesquisa InsightsHub. Entre em contato com a equipe QuestionPro se precisar de ajuda com a fabricação de dados.