Data Fabric: 정의, 팁 및 모범 사례
게시 됨: 2022-11-05Gartner 는 기업이 데이터와 애플리케이션을 모니터링하고 관리하는 데 도움이 되도록 데이터 패브릭을 명명했습니다. 기업이 다양한 앱을 활용하고 데이터가 더욱 다이내믹해짐에 따라 데이터를 수집하고 데이터 기반 조직이 되는 것이 그 어느 때보다 어려워졌습니다.
기업은 이러한 문제를 해결하기 위해 상위 10개 데이터 및 분석 기술 개발 중 포괄적인 전략이 필요합니다. 여러 소스 및 종류의 데이터가 통합되어 하나의 가상 소스를 형성합니다. 애플리케이션, 플랫폼 또는 스토리지 위치에 관계없이 이 통합 아키텍처를 통해 분산된 인프라 전반에 걸친 원활한 액세스 및 데이터 교환이 가능합니다.
이 블로그에서는 데이터 패브릭이 무엇인지, 그 중요성, 팁 및 모범 사례에 대해 논의합니다.
콘텐츠 색인:
- 데이터 패브릭이란 무엇입니까?
- 데이터 패브릭의 중요성.
- 팁 및 모범 사례
- 결론
데이터 패브릭이란 무엇입니까?
데이터 패브릭은 데이터를 사용하여 하이브리드 멀티 클라우드 환경 전반에 걸쳐 일관된 기능을 제공하는 통합 아키텍처입니다. 이 통합 아키텍처는 데이터 관리를 위한 일관된 방법을 설정하여 가시성, 액세스 및 제어를 향상시킵니다. 가장 중요한 것은 환경 전반에 걸쳐 일관성을 만들어 어디에서나 데이터를 사용하고 공유할 수 있다는 것입니다.
이 통합 아키텍처는 많은 기업이 원시 데이터를 실행 가능한 비즈니스 인텔리전스로 변환하는 기본 도구입니다. 특히 AI 및 기계 학습 사용에 대한 분석에 더 쉽게 액세스할 수 있습니다. 데이터 관리 노력을 최대 70%까지 줄일 수 있다는 점을 감안할 때 Gartner는 이를 2022년 최고의 전략 기술 트렌드로 선정했습니다.
기업은 데이터를 자주 복사하여 한 위치에 통합합니다. 이는 비용이 많이 들고 데이터 수명 주기 전반에 걸쳐 규정 준수 및 데이터 보안 문제를 일으킬 수 있습니다. 그러나 해당 데이터를 결합해야 하는 충분한 이유가 있습니다. 수많은 기업이 데이터 패브릭을 아키텍처 솔루션으로 채택하여 다음을 수행할 수 있습니다.
- 기존 데이터에 액세스
- 데이터 수명 주기를 제어합니다.
- 데이터 이동 프로세스를 자동화합니다.
데이터 패브릭의 중요성
조직은 제한된 데이터 액세스(즉, 데이터가 필요한 사람이 데이터에 액세스할 수 없음) 및 데이터 통합의 복잡성을 비롯한 문제로 인해 데이터의 가치를 완전히 활용하고 극대화할 수 없습니다.
기존의 데이터 통합은 더 이상 범용 변환, 실시간 연결 등과 같은 비즈니스 요구 사항에 적합하지 않습니다. 많은 기업에서 다양한 소스의 조직 데이터를 결합, 통합 및 변환하는 데 도움이 필요합니다.
데이터 패브릭은 사용자에게 광범위한 데이터에 대한 즉각적인 액세스를 제공하고 사용자가 어디에 있든 시각화를 허용합니다. 다중 클라우드 데이터 환경의 데이터 거버넌스 및 관리는 데이터 패브릭을 사용하여 사용자가 더 간단하게 만들 수 있습니다.
팁 및 모범 사례
데이터 패브릭이 잘 관리되는 경우 비즈니스, 운영 및 기술 메타데이터를 적극적으로 관리해야 합니다. 이를 위해서는 모든 회사 직원이 데이터 카탈로그와 비즈니스 어휘를 사용할 수 있어야 합니다.
조직 내의 모든 사람은 데이터를 사용하면서 지식을 공유할 수 있습니다. 적절한 양의 데이터 드리프트를 허용하는 속도로 메타데이터가 수집되도록 모든 원본 소스에 대한 일정을 유지해야 합니다.
다음은 팁과 모범 사례입니다.
DataOps 프로세스 모델을 활용합니다.
dataOps와 데이터 패브릭의 개념은 별개이지만 dataOps는 중요한 인에이블러가 될 수 있습니다. DataOps 프로세스 모델에 따라 데이터 프로세스, 도구 및 통찰력을 사용하는 사람들이 모두 밀접하게 연결되어 있습니다.
사용자는 지속적으로 데이터에 의존하고 마음대로 도구를 의미 있게 사용하며 통찰력을 적용하여 운영을 개선할 수 있는 위치에 있습니다. 이 모델과 데이터 패브릭의 아키텍처 설계는 조화롭게 함께 작동합니다. 사용자는 이를 최대한 활용하기 위해 DataOps 프로세스 모델과 DataOps 태도가 필요합니다.
또 다른 데이터 레이크를 생성하지 마십시오.
데이터 패브릭을 구성할 때 일반적인 문제는 또 다른 데이터 레이크 가 될 수 있다는 것 입니다 . 데이터 소스, 분석, BI 기술, 데이터 전송 및 데이터 소비와 같은 아키텍처 구성 요소가 제자리에 있지만 API와 SDK가 없으면 결과는 진정한 데이터 패브릭이 아닙니다.
"데이터 패브릭"이라는 용어는 특정 기술이 아닌 아키텍처 설계를 나타냅니다. 이 디자인의 구별되는 기능에는 구성 요소 상호 운용성 및 통합 준비가 포함됩니다. 결과적으로 조직은 연결 계층, 원활한 데이터 전송 및 새로 연결된 프런트 엔드 인터페이스에 대한 자동화된 통찰력 전달을 우선시해야 합니다.
규제 및 규정 준수 의무를 인식합니다.
데이터가 광범위하게 실행되기 때문에 데이터 패브릭 설계는 보안, 거버넌스 및 규정 준수에 도움이 될 수 있습니다. 데이터가 여러 시스템에 분산되어 있지 않습니다. 따라서 민감한 데이터가 노출될 가능성이 적습니다.
이를 배치하기 전에 데이터에 적용되는 규정 준수 및 규정을 이해하는 것이 중요합니다. 다양한 종류의 데이터가 규제 프레임워크 및 법률의 적용을 받을 수 있습니다. 법적 요구 사항을 준수하는 데 필요한 데이터 변환을 강제하는 자동화된 규정 준수 절차를 구현하여 이 문제를 해결할 수 있습니다.
그래프 분석을 사용하여 상호 연결을 찾습니다.
메타데이터 및 데이터 관계를 설명하기 위해 지식 그래프를 사용함으로써 그래프 분석은 관계형 데이터베이스에 대한 보다 지능적인 대안을 제공합니다. 텍스트 문자열만 사용하는 대신 정보가 나타내는 내용을 이해하기 위해 의미론적 컨텍스트로 데이터를 채웁니다.
지식 그래프는 데이터 소스 간의 연결을 조사하여 운영 및 비즈니스 통찰력을 제공할 수 있습니다. 관계형 데이터베이스 방식에 비해 다양한 데이터를 통합하는 데 유리하고, 발견한 인사이트도 비즈니스 사용자에게 더 유용합니다. 이 통합 아키텍처의 주요 목표는 중복 없이 다양한 데이터 소스를 광범위하게 사용할 수 있도록 하는 것이므로 그래프 분석으로 구동되는 지식 그래프는 데이터 텍스타일에 적합합니다.
시민 개발자를 위한 데이터 마켓플레이스를 만듭니다.
일반적으로 이 통합 아키텍처는 통찰력을 생성하여 비즈니스 애플리케이션에 직접 전송하거나 IT 또는 데이터 팀이 검토할 수 있도록 조각난 데이터 저장소를 생성합니다. 시민 개발자의 액세스를 민주화하는 데이터 시장은 그 가능성을 활용하는 또 다른 방법입니다.
이 시장의 데이터는 데이터 분석에 대한 기본적인 이해와 다년간의 비즈니스 분석 경험을 가진 비즈니스 사용자가 새로운 사용 사례를 위한 새로운 모델을 구성하는 데 사용할 수 있습니다. 기업은 시민 개발자가 사용 사례별 BI를 개발하는 것 외에도 새롭고 유연한 방식으로 이를 사용할 수 있도록 할 수 있습니다.
오픈 소스 기술을 활용합니다.
데이터 조작을 생성할 때 오픈 소스는 게임 체인저가 될 수 있습니다. 확장 가능하고 통합 준비가 되어 있기 때문에 오픈 소스 기술이 아키텍처에 가장 적합합니다.
상당한 투자가 필요할 수 있고 나중에 공급자를 이전하기로 결정하더라도 해당 투자를 보호하기를 원하기 때문에 오픈 소스 구성 요소는 단일 공급업체에 대한 의존도를 줄이는 데 도움이 될 수도 있습니다. 빅데이터와 블록체인을 활용한 분산형 스트리밍 데이터 처리 파이프라인을 가능하게 하는 최근 공개된 오픈 데이터 패브릭(Open Data Fabric) 프로젝트를 꼭 확인하세요.
네이티브 코드 생성을 활성화합니다.
데이터 패브릭 솔루션의 필수 기능은 통합에 사용할 수 있는 코드를 자동으로 생성할 수 있는 기본 코드 생성입니다. 들어오는 데이터를 분석하는 동안에도 Spark, SQL, Java를 비롯한 여러 언어로 기본적으로 최적의 코드를 생성할 수 있습니다.
그런 다음 IT 전문가는 이 코드를 사용하여 API 및 SDK를 계속 사용할 수 있어야 하는 새 시스템을 통합할 수 있습니다. 이 방법을 사용하면 높은 통합 비용이나 투자에 대한 걱정 없이 빠르고 쉽게 새로운 데이터 시스템을 통합할 수 있습니다. 또한 디지털 혁신을 가속화하는 데 도움이 됩니다. 네이티브 코드 생성은 사용자 친화적으로 만들기 위해 미리 만들어진 커넥터와 함께 작동해야 합니다.
엣지 컴퓨팅을 위한 데이터 패브릭 향상
기업은 데이터 제조를 엣지 컴퓨팅에 적용하여 IoT 장치의 사용을 극대화할 수 있습니다. 에지-클라우드 데이터 패브릭이라고도 하는 에지 데이터 패브릭은 IoT 배포를 지원하기 위해 특별히 제작되었습니다. 중요한 데이터 관련 작업을 중앙 집중식 애플리케이션에서 분산되지만 밀접하게 연결된 다른 에지 레이어로 이동합니다.
예를 들어, 지능형 공장은 에지 데이터 패브릭을 사용하여 화물 컨테이너의 무게를 자동으로 결정하고(중앙 클라우드에 연결하지 않고) 절차 선택을 시작할 수 있습니다. 이는 자동 작업을 용이하게 하고 기존의 중앙 집중식 데이터 레이크 패러다임으로는 실현할 수 없는 의사 결정을 촉진합니다.
결론
필요에 따라 구성 요소 간에 데이터를 전송할 수 있습니다. 데이터 패브릭을 사용하여 단일 위치에서 다양한 물리적 및 가상 리소스의 리소스와 설정을 관리하여 필요한 데이터 관리 양을 줄입니다.
데이터 패브릭은 실시간 데이터를 포함하여 데이터에 대한 포괄적인 관점을 제공하여 창의적인 전술을 찾고 쿼리하고 사용하는 데 필요한 시간을 줄여줍니다. 또한 심층 데이터 분석을 제공하여 기업 인텔리전스를 향상시킵니다.
모든 주제와 산업에 대한 솔루션을 갖춘 QuestionPro는 단순한 설문 조사 소프트웨어 그 이상입니다. InsightsHub 연구 라이브러리를 포함한 데이터 관리 서비스도 제공합니다. 데이터 조작에 도움이 필요하면 QuestionPro 팀에 연락하십시오.