Ebook-Data-Mesh-1

Prévia do material em texto

Com CertificadoGratuitoOnlineoriginal
Data Mesh:
Tudo o que você precisa saber
sobre a abordagem
Bem-vindo(a),
Você que se interessa por Arquitetura e Engenharia de 
Dados deve saber que existem diferentes maneiras de 
projetar e estruturar a infraestrutura de informação em uma 
organização para atender a requisitos específicos.
Uma delas é o Data Mesh, que é uma abordagem 
relativamente nova na gestão de dados. Ela surgiu em 2020 
como resposta aos desafios de escalabilidade e governança 
em ambientes de alta complexidade.
 
Quer dominar essa técnica? Será que você já sabe tudo 
sobre o tema?
Neste e-book, selecionamos os tópicos mais importantes 
que vão te fazer compreender o Data Mesh, suas principais 
características e aplicações.
Boa leitura!
Sumário
O que é Data Mesh?
Princípios do Data Mesh
Benefícios do Data Mesh
Quando aplicar o Data Mesh
Diferenças entre Data Mesh e Data Lake
4
5
7
9
10
Introdução
O Data Mesh começa com a publicação de um artigo 
intitulado "How to Move Beyond a Monolithic Data Lake to
a Distributed Data Mesh" (Como Ir Além de um Data Lake 
Monolítico para um Data Mesh Distribuído, em português) 
em março de 2020, por Zhamak Dehghani — na época, 
Engenheira de Software do LinkedIn.
Até então, muitas empresas haviam adotado a abordagem 
de centralização de dados, armazenando todos eles em um 
grande repositório centralizado (geralmente, um Data Lake).
Porém, isso se mostrou insustentável à medida que as 
quantidades de informações cresceram exponencialmente. 
O Data Mesh seria, então, uma solução para esse problema.
Desde a publicação do artigo inicial de Zhamak Dehghani, o 
conceito vem ganhando destaque na comunidade de dados 
e na indústria de tecnologia, já que várias empresas têm 
explorado a implementação da Data Mesh em seus 
ambientes de dados.
O
O que é Data Mesh?
O Data Mesh propõe uma abordagem descentralizada para 
a gestão de dados, indo contra a percepção de que a 
centralização é necessária. Em vez de concentrar todos em 
um único local, ele fornece a sua distribuição em "domínios 
de dados" autônomos, onde cada um é responsável por 
seus próprios dados e serviços relacionados. 
Esses domínios são organizados em uma "malha de dados" 
que facilita a interconexão, o acesso e a colaboração entre 
eles, mas sem afetar o funcionamento dos outros ou 
mesmo perdendo qualidade.
Isso leva a uma maior responsabilidade e foco na 
qualidade dos dados, além de flexibilizar a gestão de 
informações por diferentes agentes e permitir o 
manuseamento de grandes volumes de informações.
O
4
5
O
Princípios do Data Mesh
O Data Mesh funciona com base em diretrizes fundamentais
que orientam a sua implementação bem-sucedida. 
São eles:
Domain Ownership
(Propriedade de Domínio)
Data as Product
(Dados como Produto)
Cada domínio de dados é uma unidade independente de 
propriedade de uma equipe — que é responsável por coletar, 
gerenciar, manter e garantir a qualidade dos dados em seu 
domínio.
Ao atribuí-la a times específicos, esse princípio capacita essas 
equipes a tomar decisões autônomas sobre seus dados. Isso 
inclui a definição de padrões de qualidade, políticas de 
segurança, prioridades de desenvolvimento e documentação.
Tratar os dados como produtos significa que a sua boa condição 
é fundamental. Eles devem ser precisos, confiáveis e atender aos 
padrões de qualidade especificados e passar pela 
implementação de práticas rigorosas de coleta, validação e 
limpeza de dados.
Além disso, os produtos geralmente vêm com documentação que 
descreve como usá-los, suas características e funcionalidades. 
Da mesma forma, os dados devem ser acompanhados de uma 
orientação adequada que forneça informações sobre a sua 
origem, seu significado, formato e como acessá-los.
6
Tratar os dados como produtos significa que a sua boa condição 
é fundamental. Eles devem ser precisos, confiáveis e atender aos 
padrões de qualidade especificados e passar pela 
implementação de práticas rigorosas de coleta, validação e 
limpeza de dados.
Além disso, os produtos geralmente vêm com documentação que 
descreve como usá-los, suas características e funcionalidades. 
Self-service Data Platform
(Plataforma de Dados de Autoatendimento)
O princípio "Self-service Data Platform" se dá na criação de uma 
plataforma que permite que as equipes acessem e utilizem os 
dados sem depender de assistência externa com o intuito de 
reduzir a burocracia e atrasos na obtenção dos dados 
necessários.
A plataforma deve permitir a exploração dos dados de maneira 
eficaz, facilitando a descoberta de insights e o desenvolvimento 
de soluções, além de incluir ferramentas de consulta, 
visualização, análise e integração de dados.
Decentralized Data Architecture
(Arquitetura de Dados Descentralizada)
Envolve a distribuição dos dados em vários domínios, em 
oposição à centralização dos dados em um único repositório, 
como um Data Lake tradicional.
A arquitetura permite que esses domínios de dados sejam 
interconectados por meio de uma "malha de dados", que facilita 
a comunicação, a colaboração e o fluxo entre eles.
Da mesma forma, os dados devem ser acompanhados de uma 
orientação adequada que forneça informações sobre a sua 
origem, seu significado, formato e como acessá-los.
A
Benefícios do Data Mesh
A abordagem Data Mesh oferece vários benefícios para as 
organizações que buscam gerenciar e aproveitar ao máximo 
seus dados em ambientes complexos e em grande escala.
Dentre eles, se destacam os seguintes:
A distribuição de dados em domínios autônomos e a arquitetura 
de malha permitem que as organizações lidem com grandes 
volumes de dados de forma escalável, uma vez que novos 
domínios podem ser adicionados conforme necessário.
Escalabilidade
As equipes de domínio têm autonomia para tomar decisões 
sobre seus próprios dados e serviços, o que as capacita e reduz a 
burocracia na gestão de dados.
Autonomia das Equipes
A arquitetura de malha e a descentralização fazem com que 
exista uma maior flexibilidade para lidar com mudanças nos 
requisitos de dados e nas necessidades da organização.
Maior Flexibilidade
7
8
As plataformas de autoatendimento facilitam o acesso 
autônomo aos dados, reduzindo relações de codependência 
entre os colaboradores ou a dependência de assistências 
externas.
Acesso Autônomo aos Dados
Ao distribuir a responsabilidade pelos dados, o Data Mesh 
pode reduzir a carga operacional das equipes centralizadas 
de gestão de dados.
Redução de Cargas Operacionais Centrais
8
9
O
Quando aplicar o Data Mesh
Organizações que lidam com grandes volumes de informações 
que excedem a capacidade de um único Data Warehouse ou 
Data Lake podem se beneficiar do Data Mesh, já que distribuir a 
gestão de dados em domínios pode lidar com essa escala.
Outro caso em que o Data Mesh pode ser interessante é quando 
os dados são altamente complexos e variados, como diferentes 
fontes, formatos e tipos.
Também é uma solução eficaz em caso de problemas de 
governança ou escalabilidade.
Grande volume de informações Ampla variedade de dados
Alta complexidade de dados Problemas de governança
Dificuldade na escabilidade
10
S
Diferenças entre Data Mesh
e Data Lake
Se surgirem dúvidas entre a aplicação do Data Mesh e Data 
Lake, confira este comparativo e entenda o que é melhor em 
cada situação:
Arquitetura
Propriedade
Governança
DATA MESH
Descentralizada, 
distribuída e em 
malha.
Distribuída entre 
domínios de dados 
autônomos.
Descentralizada, em 
nível de domínio.
Centralizada, com um 
grande repositório.
Centralizada, em um 
único repositório.
Centralizada ou 
parcialmente 
descentralizada.
DATA LAKE
Responsabilidade Descentralizada, em 
nível de domínio.
Centralizada ou 
parcialmente 
descentralizada.
SITUAÇÃO
11
Escalabilidade
Flexibilidade
Acesso
DATA MESH
Altamente escalável, 
com domínios 
independentes.
Permite a adaptação 
rápida a mudanças e 
adições de domínios.
Promove o acesso 
autônomo e controle 
porequipes de 
domínio.
Pode enfrentar 
desafios de 
escalabilidade.
Menos flexibilidade 
para mudanças.
O acesso pode ser 
centralizado e 
controlado por uma 
equipe.
DATA LAKESITUAÇÃO
12
A
Conheça a XP Educação
A XP Educação surge de uma parceria entre o IGTI — 
reconhecido pela excelência em ensino de tecnologia —, 
e o Xpeed, a escola financeira da XP. Com isso, reunimos 
toda a expertise e experiência de ambas áreas para 
fornecer o melhor conhecimento para nossos alunos.
Os professores, além de acadêmicos, são pessoas que já 
passaram ou seguem atuando no mercado de trabalho, 
de modo que as aulas são dinâmicas e levam toda a 
carga de quem está inserido em sua área de atuação. 
Aqui, você aprende com quem faz!
Seja um profissional especialista em dados também! 
Conheça a Pós-Graduação em Engenharia e Arquitetura 
de Dados e acelere sua carreira rumo ao sucesso 
profissional.
https://www.xpeducacao.com.br/pos-graduacao/engenharia-e-arquitetura-de-dados
https://www.xpeducacao.com.br/pos-graduacao/engenharia-e-arquitetura-de-dados
Com CertificadoGratuitoOnlineoriginal
xpeducacao.com.br
https://www.xpeducacao.com.br
https://blog.xpeducacao.com.br
https://www.facebook.com/xpeducacaooficial
https://www.linkedin.com/school/xpeducacao
https://www.instagram.com/xpeducacao
https://www.youtube.com/c/xpeducacaooficial