Governança e Segurança de Dados

Prévia do material em texto

E-Book Printed Handout Governança, Segurança e Observabilidade de Dados E-Book - Printed Handout This file is a static version. For a better experience, access this content through interactive media.E-Book Printed Handout Introdução Nesta unidade, avançaremos para um tema essencial na jornada da Engenharia de Dados: a governança, segurança e observabilidade de dados. Depois de compreender como os dados são coletados, integrados, modelados e processados, é hora de explorar como garantir que todo esse ecossistema funcione de maneira confiável, segura e em conformidade com princípios éticos e legais. A governança de dados estabelece as diretrizes que asseguram a qualidade, integridade e rastreabilidade das informações, permitindo que as organizações tomem decisões com base em dados confiáveis. Já a segurança da informação atua na proteção desses ativos contra acessos indevidos, perdas e vazamentos, adotando práticas e tecnologias que preservam a confidencialidade e a disponibilidade. Por fim, a observabilidade amplia a visibilidade sobre os sistemas, possibilitando monitorar fluxos de dados, detectar falhas rapidamente e garantir que os processos ocorram como planejado. Você compreendera como esses três pilares se complementam, sustentando funcionamento de ambientes de dados complexos e de alto desempenho. A proposta é que você desenvolva uma visão crítica e prática sobre como aplicar políticas, técnicas e ferramentas que assegurem a confiabilidade e a responsabilidade no uso dos dados em escala organizacional. Pilares da governança de dados A efetiva Governança de Dados transcende a mera gestão de tecnologias e se estabelece como uma disciplina estratégica que assegura que os dados de uma organização sejam gerenciados como um ativo valioso. Para que essa gestão seja bem-sucedida, ela se apoia em pilares fundamentais que garantem a descoberta, compreensão, confiança e segurança dos dados. A interconexão destes elementos forma a espinha dorsal que permite às organizações não apenas controlar, mas também extrair o máximo valor de seus ativos informacionais. A Base do Conhecimento sobre os Dados pilar mais fundamental da governança é a gestão de metadados. De forma sucinta, metadados são "dados sobre dados" (Oliveira, 2025), ou seja, informações estruturadas que descrevem, explicam, localizam ou, de outra forma, facilitam a recuperação, uso ou a gestão de um recurso de informação. Sem metadados, um conjunto de dados é apenas uma coleção de valores sem contexto, tornando sua interpretação e uso confiável uma tarefa árdua, senão impossível. A gestão eficaz de metadados é o que permite transformar dados brutos em ativos informacionais compreensíveis e pesquisáveis (Silva et al, 2024). 2 - 45E-Book Printed Handout Os metadados podem ser classificados em diversas categorias, cada uma servindo a um propósito distinto no ciclo de vida dos dados. Uma categorização didática e abrangente os divide da seguinte forma: Quadro 1 Categorias de Metadados e Seus Exemplos Categoria de Metadado Descrição Exemplos Práticos Fornecem contexto de negócio dos dados, incluindo Definição de "Cliente Ativo", definições, regras de negócio classificação de um dado como Metadados de Negócio e termos de glossário. São "dado pessoal sensível", regras de cruciais para que os usuários cálculo para um KPI. de negócio compreendam o significado dos dados. Descrevem a estrutura e formato dos dados, incluindo Nome da tabela, tipo da coluna esquemas de banco de dados, (ex: `VARCHAR(255)`), modelo de Metadados Técnicos tipos de dados, modelos de dados (relacional, grafo), formato dados e informações sobre a de arquivo (CSV, Parquet). infraestrutura de armazenamento Gerados a partir da execução de processos e pipelines de Tempo de execução de um Pipeline dados. Incluem logs de de CI/CD, relatório de cobertura de Metadados Operacionais execução, métricas de testes, métricas de uso de CPU de performance, estatísticas de um serviço de dados. uso e resultados de testes. Contêm informações sobre Dono do dado data owner`), propriedade, políticas de políticas de acesso (ex: "acesso acesso, qualidade e linhagem Metadados de Governança restrito ao time de finanças"), dos dados. São essenciais regras de qualidade, informações para a administração e de proveniência. segurança. Fonte: (Elaborado com base em Oliveira, 2025; Gonçalves, 2024; Sobrinho, 2025; Silva et al, 2024; Cezarino, 2024). 3 45E-Book Printed Handout A coleta e a gestão desses diferentes tipos de metadados são a base para os demais pilares da governança. Por exemplo, a classificação de um dado como "dado pessoal sensível" (um metadado de negócio) tem implicações diretas nas políticas de acesso que devem ser aplicadas a ele (Cezarino, 2024). Da mesma forma, métricas operacionais coletadas por ferramentas de monitoramento são metadados que informam sobre a saúde e o desempenho dos sistemas de dados (Santos Junior, 2024). Catálogo de Dados Enquanto os metadados são a matéria-prima, o Catálogo de Dados é a ferramenta que os organiza, enriquece e os torna acessíveis para toda a organização. Ele funciona como um inventário centralizado de todos os ativos de dados, resolvendo o problema crônico de "informações dispersas em várias ferramentas" (Medeiros, 2023). objetivo principal de um catálogo é "facilitar consulta, compartilhamento, bem como extração de informações e análise de métricas" (Silva et al, 2024), permitindo que usuários, de analistas de negócio a cientistas de dados, encontrem e compreendam os dados de que necessitam de forma autônoma. Um catálogo de dados moderno vai além de uma simples lista de tabelas. Ele oferece uma experiência rica e colaborativa, incorporando funcionalidades como: Busca e Descoberta: utilizando uma interface de busca, os usuários podem encontrar conjuntos de dados por nome, descrição, tags, proprietário ou qualquer outro metadado relevante. Contexto de Negócio: apresenta glossários de termos, definições de métricas e documentação que ajudam a contextualizar os dados. Perfil de Dados e Qualidade: exibe estatísticas sobre os dados (e.g., contagem de nulos, distribuição de valores) e métricas de qualidade, como o metadado de "Completude" (Silva et al, 2024), que ajudam a avaliar a confiabilidade de um ativo. Colaboração: permite que os usuários classifiquem, comentem e façam perguntas sobre os conjuntos de dados, criando um conhecimento coletivo. De forma análoga a como uma plataforma como o Grafana organiza e visualiza métricas de monitoramento de rede em dashboards interativos para "facilitar a interpretação e a compreensão dos dados monitorados" (Gonçalves, 2024), um catálogo de dados organiza e visualiza metadados sobre ativos de dados. Para garantir a interoperabilidade entre diferentes catálogos e sistemas, padrões como o Dublin Core e o Data Catalog Vocabulary (DCAT) são frequentemente utilizados para estruturar os metadados (Oliveira, 2025; Silva et al, 2024). 4 45E-Book Printed Handout A Importância da Transparência e da Explicação Em um cenário regulatório cada vez mais rigoroso, como da Lei Geral de Proteção de Dados (LGPD) (Brasil, 2018), catálogo de dados assume um papel central para garantir a transparência. "direito à explicação" sobre decisões automatizadas, por exemplo, exige que as organizações compreendam e documentem os dados e a lógica utilizados por seus algoritmos (Monteiro, 2021). Um catálogo de dados bem mantido, que documenta os metadados e a linhagem dos dados usados em modelos de IA, é um instrumento indispensável para cumprir tais obrigações e viabilizar a auditoria de sistemas inteligentes (Branco; Teffé, 2022). Linhagem de Dados (Data Lineage) A linhagem de dados, também conhecida como proveniência, documenta a jornada completa de um dado: sua origem, as transformações pelas quais passou e seu destino. Ela mapeia fluxo de dados através dos sistemas, respondendo a perguntas como: "De onde vieram estes dados?", "Quais processos os modificaram?" e "Onde eles são consumidos?". Um Pipeline de dados é definido como uma "série de etapas que coletam, processam e armazenam dados" (Medeiros, 2023), e a linhagem é, essencialmente, mapa visual e documentado dessa série de etapas. A importância da linhagem de dados pode ser compreendida através de analogias com outras áreas da engenharia: Rastreamento em Microsserviços: assim como o rastreamento distribuído é usado para "encontrar o caminho que uma determinada chamada fez dentro do sistema" de microsserviços (Lima, 2022), a linhagem de dados rastreia fluxo de um registro através de múltiplos pipelines e transformações. Ela ajuda a "entender as relações de causa e efeito entre os serviços" (Lima, 2022), ou, no nosso caso, entre os processos de dados. Pipelines de CI/CD: uma pipeline de integração e entrega contínua (CI/CD) representa uma "sequência automatizada de etapas (build, testes e deploy)". A linhagem de dados oferece uma visão similarmente sequencial para os dados, documentando cada etapa de sua transformação. Fluxo de Replicação de Dados: um exemplo concreto é o "fluxo de réplica de dados" na migração de um sistema monolítico, onde dados são extraídos, enviados por uma fila de mensagens e consumidos por um novo microsserviço (Santos Junior, 2024). A linhagem documenta visualmente este fluxo, tornando-o compreensível e auditável. 5 45E-Book Printed Handout A linhagem de dados é crucial para diversas atividades de governança, como análise de causa raiz de erros, análise de impacto de mudanças em sistemas de origem e para auditorias de conformidade, ao comprovar a proveniência e a integridade dos dados utilizados em relatórios regulatórios. A capacidade de extrair o "relacionamento entre serviços" (Pina, 2018) ou, no nosso caso, entre ativos de dados, é um dos maiores benefícios da linhagem. Políticas de Acesso quarto pilar, Políticas de Acesso, define e implementa as regras que governam quem pode acessar, modificar e utilizar os dados. Este pilar é a manifestação prática do "gerenciamento da segurança da informação na nuvem" (Melo, 2022) e de regulamentações como a LGPD, que estabelece princípios como o da finalidade e da necessidade, exigindo que o tratamento de dados pessoais seja limitado ao mínimo necessário para propósitos específicos e legítimos (Brasil, 2018). As políticas de acesso não devem ser uma abordagem "tudo ou nada" (all-or-nothing). Em vez disso, a engenharia de dados moderna busca implementar um "mecanismo de controle de acesso com permissões mais granularizadas" (fine-grained access control) (Maia Neto, 2023). Para isso, diversos modelos de controle de acesso podem ser implementados, sendo os mais comuns: Controle de Acesso Baseado em Papéis (RBAC Role-Based Access Control): o acesso é concedido com base no papel ou função do usuário dentro da organização (ex: "Analista de Marketing", "Engenheiro de Dados"). Este modelo "controla o acesso com base na função ou responsabilidades de um usuário" (Melo, 2022). Controle de Acesso Baseado em Atributos (ABAC Attribute-Based Access Control): o acesso é concedido de forma dinâmica através de políticas que combinam atributos do usuário (ex: departamento, senioridade), do recurso (ex: classificação do dado, geografia) e do ambiente (ex: hora do dia, localização da rede). ABAC "simplifica o controle de acesso ao substituir permissões discricionárias por políticas baseadas em atributos" (Maia Neto, 2023). A implementação eficaz das políticas de acesso depende diretamente dos outros pilares. Os metadados são a base para a implementação de políticas mais sofisticadas. Por exemplo, uma política ABAC pode usar o metadado "classificação do dado" para determinar o nível de acesso. A decisão de classificar a identidade de gênero como "dado pessoal sensível" (Cezarino, 2024) ou de definir os "direitos de acesso sobre um recurso" (Silva et al, 2024) são exemplos de metadados que informam diretamente como as políticas de acesso devem ser configuradas. 6 45E-Book Printed Handout Tecnicamente, essas políticas são implementadas em diversas camadas, desde controle de acesso em bancos de dados até gateways de API que atuam como um ponto central de "autenticação das requisições" e "proteção ao backend contra acessos diretos ou não autorizados" (Santos Junior, 2024). Os quatro pilares metadados, catálogo de dados, linhagem de dados e políticas de acesso são interdependentes e se reforçam mutuamente. Metadados ricos e bem gerenciados alimentam um catálogo de dados útil; o catálogo torna os metadados e a linhagem visíveis e compreensíveis; a linhagem fornece contexto sobre o fluxo e a qualidade dos dados; e as políticas de acesso utilizam todas essas informações para garantir que os dados sejam usados de forma segura, ética e em conformidade com as regulamentações, permitindo que a organização trate seus dados como um verdadeiro ativo estratégico. Ferramentas de governança de dados A implementação de uma estratégia robusta de governança de dados depende fundamentalmente da adoção de ferramentas especializadas, notadamente os catálogos de metadados. Essas plataformas atuam como um sistema nervoso central para a gestão de ativos de dados de uma organização, permitindo a descoberta, o entendimento, a confiança e a gestão desses ativos em escala. propósito de um catálogo de metadados é centralizar as "informações sobre os dados", facilitando a consulta, o compartilhamento e a análise de métricas, como proveniência e qualidade (Silva et al, 2024). A eficácia de um catálogo de dados está diretamente ligada à sua capacidade de interoperabilidade, que é amplamente facilitada pela adoção de padrões de metadados. A padronização define um conjunto de diretrizes que ditam a estrutura e o formato dos metadados, garantindo consistência na descrição e no gerenciamento dos ativos de dados (Silva et al, 2024). Sem essa uniformidade, os catálogos se tornam repositórios isolados e de difícil integração, limitando seu potencial estratégico. Padrões Fundamentais de Metadados Antes de analisarmos as ferramentas específicas para catalogação de dados, é imperativo compreender os padrões e vocabulários que fundamentam sua arquitetura e funcionamento. A maioria das soluções modernas de governança de dados é construída sobre modelos consolidados que garantem a interoperabilidade, a consistência semântica e a descoberta eficiente de ativos de dados em ambientes corporativos e públicos. Dublin Core (DC): A Base da Descrição de Recursos. 7 - 45E-Book Printed Handout Dublin Core (DC) é um dos padrões de metadados mais reconhecidos e aplicados globalmente, valorizado por sua simplicidade e ampla adoção (Silva et al, 2024). Originalmente concebido para descrever recursos na Web, seu conjunto de 15 elementos básicos tornou-se um padrão internacional (ISO 15836-1:2017), mantido pela Dublin Core Metadata Initiative (DCMI). Os princípios de neutralidade de domínio e foco interdisciplinar garantem que o padrão seja adaptável a diferentes propósitos, desde a catalogação de documentos em bibliotecas digitais até a descrição de datasets em portais de dados abertos. Essa universalidade é crucial para a interoperabilidade básica de metadados. A estrutura do DC é projetada para capturar os atributos essenciais de um recurso, facilitando sua descoberta e gerenciamento. Seus 15 elementos, conhecidos como o Dublin Core Metadata Element Set (DCMES), são: Quadro 2 DNA dos Recursos Digitais: Elementos e Significados Elemento (Português) Elemento (Inglês) Descrição e Importância nome dado ao recurso. É o ponto de Título title entrada primário para a descoberta e deve ser conciso e informativo. A entidade principal responsável pela criação do conteúdo do recurso. Criador creator Fundamental para atribuição e rastreabilidade da autoria. tópico do conteúdo, tipicamente expresso por palavras-chave, frases ou Assunto subject códigos de classificação controlados. Essencial para a busca temática. Um resumo textual do conteúdo do Descrição description recurso. Ajuda o usuário a avaliar a relevância do recurso antes de acessá-lo. A entidade responsável por tornar Editor publisher recurso disponível (ex: editora, agência governamental). Uma entidade responsável por fazer Contribuidor contributor contribuições para o conteúdo (ex: revisor, tradutor). 8 45E-Book Printed Handout Um ponto ou período de tempo associado a um evento no ciclo de vida do recurso Data date (ex: data de criação, publicação ou modificação). A natureza ou gênero do conteúdo do Tipo type recurso (ex: texto, imagem, conjunto de dados, serviço). formato de arquivo, meio físico ou Formato format dimensões do recurso (ex: PDF, CSV, tamanho do arquivo). Uma referência unívoca ao recurso dentro de um dado contexto (ex: URL, DOI, ISBN, Identificador identifier URI). Crucial para a persistência e localização. Um recurso relacionado do qual o recurso Fonte source descrito é derivado (ex: o livro de onde um capítulo foi extraído). idioma do conteúdo intelectual do Idioma language recurso, facilitando a filtragem e o acesso por público-alvo. Um recurso relacionado a este, como uma Relação relation versão anterior ou um suplemento. Facilita a navegação entre recursos. A extensão ou escopo do conteúdo (ex: Cobertura coverage localização espacial geográfica, jurisdição, período temporal). Informações sobre os direitos detidos sobre recurso (ex: direitos autorais, Direitos rights termos de licença). Essencial para a conformidade legal. Fonte: (Adaptado de Oliveira 2025). 9 45E-Book Printed Handout Enquanto Dublin Core oferece um vocabulário genérico, o Data Catalog Vocabulary (DCAT), uma recomendação do World Wide Web Consortium (W3C), é um vocabulário RDF (Resource Description Framework) projetado especificamente para a publicação de catálogos de dados na Web. Seu principal objetivo é favorecer a interoperabilidade entre catálogos, permitindo que os metadados de múltiplos catálogos sejam agregados e consumidos de forma padronizada, sobretudo em portais de dados abertos governamentais (Oliveira, 2025). DCAT opera como uma camada semântica que utiliza e estende vocabulários já existentes, como o próprio Dublin Core (para descrever os dados) e o FOAF (Friend of a Friend, para descrever pessoas e organizações). Sua estrutura principal é composta por três classes essenciais: 1. dcat:Catalog: representa a coleção de datasets (o próprio catálogo ou portal de dados). 2. dcat:Dataset: representa o conjunto de dados em si (o recurso de dados que está sendo descrito). 3. representa uma forma específica de acesso ou download do dataset (por exemplo, um arquivo CSV, um endpoint de API, um arquivo JSON). Essa estrutura permite uma abordagem descentralizada para a publicação de dados e viabiliza a busca federada por conjuntos de dados em múltiplos portais, sendo um pilar fundamental para a construção de infraestruturas de dados abertos e a criação de data meshes orientados a metadados (Oliveira, 2025). Análise de Ferramentas de Código Aberto para Governança de Dados. mercado de governança de dados oferece diversas ferramentas de código aberto, como Apache Atlas, DataHub e Amundsen, projetadas para implementar os princípios de catalogação, linhagem de dados e descoberta. A avaliação dessas ferramentas, no contexto acadêmico ou corporativo, deve ir além da lista de funcionalidades, focando na maturidade, documentação e suporte comunitário. Apache Atlas e Amundsen: Limitações na Literatura Analisada. No âmbito da literatura primária analisada para este estudo, não foram encontradas referências diretas ou estudos de caso que detalhem a arquitetura, funcionalidades ou a implementação prática das ferramentas Apache Atlas e Amundsen. Atlas, um projeto da Apache Software Foundation, é reconhecido por sua forte integração com o ecossistema Hadoop para gerenciamento de metadados e linhagem. Já o Amundsen, originado no Lyft, é notório por sua interface de usuário focada na experiência de descoberta (Google-like search). Dada a restrição às fontes bibliográficas obrigatórias, uma análise aprofundada baseada exclusivamente nos materiais fornecidos não é exequível, limitando a discussão aos aspectos conceituais e ao caso do DataHub, onde há referência direta. DataHub: Desafio da Documentação Insuficiente. 10 45E-Book Printed Handout DataHub, uma plataforma de código aberto para catalogação de metadados, originada no LinkedIn, ganhou popularidade na indústria devido à sua arquitetura moderna baseada em metadados orientados a eventos. Em um estudo comparativo conduzido para o Projeto Ceos, que visa combater a corrupção em licitações governamentais, diversas ferramentas de gerenciamento de metadados foram avaliadas para determinar a mais adequada ao contexto de dados governamentais brasileiros (Silva et al, 2024). Nessa avaliação, o DataHub foi uma das soluções consideradas. Contudo, o estudo aponta que a ferramenta "apresentou obstáculos devido à documentação insuficiente" (Silva et al, 2024). A dificuldade em obter informações claras e completas sobre a instalação, configuração e uso avançado do DataHub comprometeu a sua aplicabilidade no contexto do projeto. Em forte contraste, a ferramenta OpenMetadata (não listada no escopo original deste tópico, mas mencionada no estudo) destacou-se positivamente por sua flexibilidade, documentação detalhada, funcionalidades superiores de análise de qualidade de dados e recursos colaborativos mais amigáveis (Silva et al, 2024). Este contraste ressalta a importância da documentação como um critério de seleção tão vital quanto as funcionalidades técnicas. A avaliação realizada por (Silva et al, 2024) ilustra um ponto crucial na adoção de tecnologias de código aberto: a robustez de uma ferramenta não se mede apenas por suas funcionalidades declaradas, mas fundamentalmente pela qualidade de sua documentação e pelo suporte da comunidade. A dificuldade encontrada com a documentação do DataHub, no referido estudo, serve como um alerta prático para as equipes de engenharia e governança de dados: Custos Ocultos e Curva de Aprendizado: a ausência de uma documentação clara e completa gera custos ocultos, aumenta drasticamente a curva de aprendizado da equipe e eleva o risco de implementação. Sustentabilidade do Projeto: uma ferramenta tecnicamente poderosa, mas mal documentada, torna-se insustentável a longo prazo, pois a manutenção, troubleshooting e evolução dependem excessivamente de experts internos ou da lenta decifração do código-fonte. Critério de Seleção: a escolha de uma solução de governança deve, portanto, ponderar não apenas o "o quê" a ferramenta faz (funcionalidades), mas "como" ela permite que as equipes atinjam seus objetivos de forma eficiente e sustentável, sendo a documentação um dos maiores preditores desse sucesso. 11 45E-Book Printed Handout Embora as ferramentas de código aberto como Atlas, DataHub e Amundsen sejam pilares importantes no ecossistema de dados moderno, a literatura disponível para esta análise reforça que a escolha tecnológica deve ser precedida por uma avaliação criteriosa de fatores como maturidade, suporte comunitário e, fundamentalmente, a qualidade da documentação, que são determinantes para sucesso e a longevidade da implementação da governança de dados. Segurança de dados em trânsito e em repouso A segurança de dados representa um pilar fundamental na Engenharia de Dados, garantindo que os ativos informacionais de uma organização sejam protegidos contra acessos não autorizados e ameaças, tanto em seu estado de armazenamento (em repouso) quanto durante sua movimentação através de redes (em trânsito). A implementação de uma estratégia de segurança robusta envolve um conjunto de técnicas e processos que asseguram a confidencialidade, a integridade e a disponibilidade dos dados. Recursos como criptografia, embaralhamento (mascaramento) e anonimização são essenciais para garantir a confidencialidade e integridade dos dados sob custódia (Medeiros, 2023; Gomes, 2023). Criptografia A criptografia é amplamente considerada a técnica mais eficaz para a proteção de informações, pois impede que indivíduos não autorizados acessem o conteúdo de mensagens e arquivos (Gonçalves, 2024). processo consiste em transformar dados legíveis (texto simples) em um formato ilegível (texto cifrado) por meio de um algoritmo e uma chave. Apenas quem possui a chave correta pode reverter o processo e acessar a informação original (Melo, 2022). A aplicação da criptografia é crucial em dois cenários distintos: dados em repouso e dados em trânsito. Segurança de Dados em Repouso Dados em repouso referem-se a informações que não estão ativamente se movendo entre dispositivos ou redes, como dados armazenados em bancos de dados, Data Warehouses, Data Lakes ou em arquivos em um servidor. A proteção desses dados é vital para prevenir o acesso não autorizado em caso de violação da infraestrutura física ou lógica. Uma abordagem comum para a proteção de dados em repouso é a criptografia de disco ou de banco de dados. Provedores de serviços em nuvem, por exemplo, frequentemente utilizam algoritmos robustos para essa finalidade. Um exemplo prático é a utilização do padrão AES de 256 bits para criptografar dados armazenados nos servidores, uma prática adotada por grandes plataformas de armazenamento em nuvem (Melo, 2022). 12 45E-Book Printed Handout Advanced Encryption Standard (AES) AES é um algoritmo de criptografia simétrica que se tornou padrão global para a segurança de dados. Ele substituiu antigo Data Encryption Standard (DES) devido à sua maior robustez. AES suporta chaves de 128, 192 e 256 bits, sendo AES-256 considerado extremamente seguro e adequado para proteger informações governamentais e corporativas de alta sensibilidade (Melo, 2022). Plataformas de gerenciamento de dados, como Zabbix, também incorporam sistemas de criptografia e autenticação para garantir um elevado nível de proteção às informações que monitoram e armazenam (Gonçalves, 2024). Segurança de Dados em Trânsito Dados em trânsito são aqueles que estão sendo transferidos de um local para outro, como através da internet ou de uma rede interna. Durante essa movimentação, os dados estão particularmente vulneráveis à interceptação. Para mitigar esse risco, protocolos de criptografia são aplicados para proteger o canal de comunicação. As tecnologias mais comuns para este fim são Transport Layer Security (TLS) e seu antecessor, o Secure Sockets Layer (SSL). Esses protocolos criam um canal criptografado entre o cliente e o servidor, garantindo que qualquer dado trocado entre eles permaneça confidencial e íntegro (Melo, 2022). Outra ferramenta de extrema importância para a segurança de dados em trânsito é a Virtual Private Network (VPN), que interliga dois ou mais computadores em uma conexão privada e segura sobre uma rede pública, como a internet (Gonçalves, 2024). A criptografia de ponta a ponta (end-to-end encryption) é uma abordagem ainda mais segura, onde os dados são criptografados na origem e só podem ser descriptografados no destino, impedindo que até mesmo os provedores de serviço intermediários tenham acesso ao conteúdo (Melo, 2022). Quadro 3 Tipos de Criptografia e Seus Algoritmos 13 45E-Book Printed Handout Exemplos de Tipo de Criptografia Descrição Algoritmos/Protocolos Utiliza uma única chave secreta tanto para criptografar quanto para Simétrica descriptografar os dados. É rápida e AES, DES, 3DES, RC4 eficiente, ideal para grandes volumes de dados. Utiliza um par de chaves: uma pública (para criptografar) e uma privada (para descriptografar). É mais Assimétrica RSA, Diffie-Hellman, ECC lenta, mas fundamental para a troca segura de chaves e assinaturas digitais. Fonte: (Elabora com base em Melo, 2022). Criptografia Baseada em Atributos (ABC) Para cenários que exigem um controle de acesso mais granular, a Criptografia Baseada em Atributos (ABC) surge como uma evolução. Diferente dos sistemas tradicionais focados na identidade do usuário, a ABC baseia o acesso em um subconjunto de atributos do usuário (Maia Neto, 2023). Essa abordagem se alinha perfeitamente com modelos de Controle de Acesso Baseado em Atributos (ABAC), onde a criptografia em si pode ser usada para reforçar as políticas de acesso. Existem duas classes principais: 1. Key-Policy ABC (KP-ABC): a política de acesso é anexada às chaves privadas dos usuários, e os dados (ciphertext) são rotulados com atributos. 2. Ciphertext-Policy ABC (CP-ABC): a política de acesso é embarcada diretamente nos dados criptografados, e os usuários recebem chaves privadas associadas a seus atributos. Um usuário só consegue descriptografar os dados se seus atributos satisfizerem a política definida no ciphertext (Maia Neto, 2023). 14 45E-Book Printed Handout Essa sinergia entre ABC e ABAC permite que a própria criptografia garanta que apenas usuários com as permissões corretas (atributos) possam acessar os dados, oferecendo uma camada de segurança mais dinâmica e contextualizada (Maia Neto, 2023). Anonimização e Pseudonimização Enquanto a criptografia protege o conteúdo dos dados, a anonimização e a pseudonimização focam em proteger a identidade dos titulares dos dados. Essas técnicas são cruciais para o cumprimento de regulamentações de privacidade, como a Lei Geral de Proteção de Dados (LGPD) (Brasil, 2018). A anonimização é o processo que utiliza "meios técnicos razoáveis e disponíveis no momento do tratamento, por meio dos quais um dado perde a possibilidade de associação, direta ou indireta, a um indivíduo" (Brasil, 2018). Uma vez anonimizado, o dado deixa de ser considerado um dado pessoal, a menos que o processo de anonimização possa ser revertido com esforços razoáveis (Brasil, 2018). A pseudonimização, por sua vez, é definida como "o tratamento por meio do qual um dado perde a possibilidade de associação, direta ou indireta, a um indivíduo, senão pelo uso de informação adicional mantida separadamente pelo controlador em ambiente controlado e seguro" (Brasil, 2018). Diferente da anonimização, os dados pseudonimizados ainda são considerados dados pessoais, pois a reidentificação do titular é possível, embora controlada. Quadro 4 Comparativo entre Anonimização e Pseudonimização segundo a LGPD Característica Anonimização Pseudonimização processo não deve ser processo é reversível mediante o Reversibilidade reversível com esforços uso de uma informação adicional razoáveis. mantida separadamente. dado continua sendo considerado dado deixa de ser Status Legal (LGPD) "dado pessoal", embora com uma considerado "dado pessoal". camada de proteção. Análises estatísticas, Análises internas onde a Caso de Uso Típico pesquisa, compartilhamento reidentificação pode ser necessária, de dados abertos. segurança de bancos de dados. Fonte: (Núcleo Editorial). 15 45E-Book Printed Handout Mascaramento de Dados mascaramento de dados, também conhecido como embaralhamento, é uma técnica utilizada para proteger dados sensíveis ao substituí-los por dados fictícios, mas estruturalmente semelhantes e realistas. objetivo é criar uma versão do banco de dados que possa ser usada em ambientes não produtivos, como desenvolvimento, testes e treinamento, sem expor as informações reais dos titulares (Medeiros, 2023; Gomes, 2023). Por exemplo, em um banco de dados de clientes, os nomes, CPFs e endereços reais seriam substituídos por valores gerados aleatoriamente ou a partir de um dicionário de dados falsos, mantendo formato e a integridade referencial do banco. Isso permite que desenvolvedores e testadores trabalhem com dados que se comportam como os dados de produção, sem os riscos de segurança associados. mascaramento é, portanto, uma medida de segurança técnica e administrativa fundamental para proteger dados pessoais desde a fase de concepção de produtos e serviços, conforme princípio da segurança previsto na LGPD (Brasil, 2018). Controle de acesso controle de acesso constitui um dos pilares fundamentais da Governança e Segurança de Dados. Em um ecossistema de dados, onde informações são ativos valiosos e, muitas vezes, sensíveis, é imperativo estabelecer mecanismos robustos que ditem quem pode acessar o quê e sob quais circunstâncias. A Lei Geral de Proteção de Dados (LGPD) do Brasil, por exemplo, estabelece a necessidade de "utilização de medidas técnicas e administrativas aptas a proteger os dados pessoais de acessos não autorizados" (Brasil, 2018). Nesse contexto, o controle de acesso é a materialização dessas medidas, garantindo a confidencialidade e a integridade dos dados. Fundamentalmente, o controle de acesso responde a duas perguntas essenciais e sequenciais: 1. Autenticação: "quem é você?" processo de verificar a identidade de um usuário, serviço ou dispositivo. 2. Autorização: "o que você tem permissão para fazer?" processo de conceder ou negar permissões a uma identidade autenticada para realizar ações específicas em determinados recursos. Ambos os processos são cruciais e interdependentes; não pode haver autorização sem uma autenticação prévia e confiável. Autenticação 16 45E-Book Printed Handout A autenticação é o processo de segurança que garante que uma entidade (seja um usuário humano, um serviço de software ou um dispositivo de é quem alega ser (Maia Neto, 2023). É a primeira linha de defesa em qualquer sistema de dados. Sem uma autenticação forte, todo o modelo de segurança subsequente se torna vulnerável. Em arquiteturas modernas, especialmente as baseadas em microsserviços, a autenticação é frequentemente centralizada em um componente de entrada, como um API Gateway. Essa camada de gateway pode ser responsável por autenticar todas as requisições antes que elas alcancem os serviços de backend, protegendo-os contra acessos diretos ou não autorizados (Santos Junior, 2024; Pina, 2018). Mecanismos de Autenticação Existem diversos mecanismos para realizar a autenticação, cada um com diferentes níveis de segurança e complexidade. Os mais comuns incluem: Credenciais (Usuário e Senha): método mais tradicional, porém suscetível a ataques de força bruta e vazamentos. A LGPD, ao tratar de incidentes de segurança, implicitamente alerta para os riscos associados a credenciais comprometidas (Brasil, 2018). Tokens de Acesso (Ex: JWT JSON Web Token): após um login inicial, sistema emite um token assinado digitalmente que cliente envia a cada requisição subsequente. Essa abordagem é comum em APIs e microsserviços para validar a identidade do usuário de forma segura e sem a necessidade de de sessões no servidor (Santos Junior, 2024). Certificados Digitais: utilizados em infraestruturas de chave pública (PKI), são comuns para autenticação de servidor para servidor ou em cenários de alta segurança. Propostas de autenticação para loT frequentemente se baseiam em certificados para garantir a identidade dos dispositivos (Maia Neto, 2023). Criptografia Baseada em Identidade (IBC): uma abordagem que não requer certificados, onde a chave pública de uma entidade pode ser derivada de sua identidade pública (como um endereço de e-mail ou um número de série), simplificando a gestão de chaves em ecossistemas heterogêneos como a Internet das Coisas (Maia Neto, 2023). A autenticação em ambientes de loT apresenta desafios únicos devido à heterogeneidade e à restrição de recursos dos dispositivos. Modelos tradicionais baseados em PKI podem ser computacionalmente caros, o que impulsiona a busca por alternativas mais leves e eficientes, como a Criptografia Baseada em Identidade (Maia Neto, 2023). Autorização 17 45E-Book Printed Handout Uma vez que a identidade de um usuário ou serviço é confirmada pela autenticação, próximo passo é a autorização. Este processo regula quais operações uma entidade autenticada pode executar sobre um objeto ou recurso de dados (Maia Neto, 2023). A autorização é a implementação prática das políticas de segurança de dados, transformando regras de governança em controles técnicos. Em uma plataforma de dados, metadados podem ser utilizados para descrever os direitos de acesso. Um elemento de metadado chamado "Direitos", por exemplo, pode ser usado para "o mapeamento de equipes que podem usufruir de um determinado conjunto de dados ou tabela", definindo assim uma política de autorização em alto nível (Silva et al, 2024). Para implementar a autorização de forma sistemática, foram desenvolvidos diversos modelos de controle de acesso. Os mais proeminentes em arquiteturas de dados modernas são o Controle de Acesso Baseado em Papéis (RBAC) e o Controle de Acesso Baseado em Atributos (ABAC). Controle de Acesso Baseado em Papéis (RBAC Role-Based Access Control) RBAC é um modelo tradicional e amplamente adotado onde o acesso é concedido com base no papel ou nas responsabilidades de um usuário dentro de uma organização (Melo, 2022). A lógica é simples e poderosa: 1. Permissões são associadas a Recursos (ex: "ler" a tabela clientes, "escrever" no data warehouse). 2. Papéis (ou Funções) são criados e a eles são atribuídas permissões (ex: papel "Analista de Dados" tem permissão para "ler" todas as tabelas na camada de consumo). 3. Usuários são atribuídos a um ou mais papéis. Dessa forma, a gestão de permissões é simplificada, pois em vez de gerenciar o acesso para cada usuário individualmente, o administrador gerencia o acesso para os papéis, e a alocação de um usuário a um papel lhe concede automaticamente todas as permissões associadas. Embora eficaz, modelo RBAC é centrado no usuário e não considera outros fatores contextuais. Em ambientes de grande escala e dinâmicos, como ele pode se tornar inconveniente (Maia Neto, 2023). Um problema comum é a "explosão de papéis" (role explosion), onde a necessidade de permissões granulares leva à criação de um número excessivo de papéis, tornando a gestão complexa. 18 45E-Book Printed Handout Controle de Acesso Baseado em Atributos (ABAC Attribute-Based Access Control) ABAC, também conhecido como controle de acesso baseado em políticas, é um modelo mais dinâmico e granular. Nele, as decisões de acesso são tomadas em tempo real com base em políticas que avaliam atributos. Conforme definido por Melo (2022), o ABAC "examina atributos associados ao assunto (usuário), objeto (recurso), operação solicitada e, em alguns casos, condições ambientais, para conceder direitos a operações específicas". As políticas em ABAC são tipicamente expressas em regras lógicas, como permitir que um usuário com atributo departamento = 'Recursos Humanos' leia um recurso com o atributo classificação = 'Informação Pessoal' se o atributo de ambiente hora_do_dia estiver entre 09:00 e 18:00. Este modelo substitui permissões estáticas por políticas flexíveis baseadas em atributos (Maia Neto, 2023). A grande vantagem do ABAC é sua capacidade de implementar um controle de acesso refinado e sensível ao contexto, o que é essencial para ambientes complexos e heterogêneos. Em plataformas de dados que lidam com informações sensíveis sob a égide da LGPD (Brasil, 2018), o ABAC permite criar regras que consideram não apenas quem é o usuário, mas também a natureza do dado, propósito do acesso e o contexto da requisição. A implementação do ABAC pode ser criptograficamente reforçada por meio da Criptografia Baseada em Atributos (ABC), onde a capacidade de um usuário decifrar um dado ou validar uma operação depende do conjunto de atributos associado a ele (Maia Neto, 2023). Comparativo: RBAC vs. ABAC A escolha entre RBAC e ABAC é uma decisão arquitetural estratégica que depende da complexidade, da escala e dos requisitos de segurança do ambiente de dados. Quadro 5 RBAC vs. ABAC 19 45E-Book Printed Handout Controle de Acesso Controle de Acesso Baseado em Característica Baseado em Papéis Atributos (RBAC) Papel/função do usuário Atributos do usuário, recurso, ação e Base da Decisão na organização (Melo, ambiente. 2022). Média. As permissões são Fina/Refinada. Permite políticas muito Granularidade agrupadas em papéis. específicas e contextuais. Menor. Alterações na lógica de acesso Alta. Novas regras podem ser Flexibilidade frequentemente adicionadas como políticas sem alterar requerem a criação de as atribuições de papéis existentes. novos papéis. Mais simples para Mais complexa, devido à necessidade de Complexidade de Gestão ambientes hierárquicos e definir e gerenciar políticas e atributos estáveis. detalhados. Ambientes corporativos Ecossistemas de dados complexos, tradicionais com funções multilocatários, e aplicações que Cenário Ideal bem definidas (ex: lidam com dados sensíveis e exigem Analista, Gerente, conformidade regulatória estrita. Administrador). Fonte: (Elaborado com base em Maia Neto, 2023; Melo, 2022) A autenticação e a autorização são processos indispensáveis para a segurança em qualquer plataforma de dados. Enquanto a autenticação estabelece a confiança na identidade do solicitante, a autorização impõe os limites de suas ações. A escolha de um modelo de autorização como RBAC ou ABAC impacta diretamente a flexibilidade, a granularidade e a complexidade da gestão de segurança. RBAC oferece simplicidade para cenários bem estruturados, enquanto o ABAC proporciona o dinamismo e controle refinado necessários para os desafios dos ecossistemas de dados modernos, garantindo que acesso à informação seja não apenas seguro, mas também contextualmente apropriado e em conformidade com as regulações de privacidade. Impacto da LGPD em projetos de engenharia de dados 20 45E-Book Printed Handout A promulgação da Lei Geral de Proteção de Dados Pessoais (LGPD), Lei n° 13.709/2018, representou um marco regulatório no Brasil, estabelecendo um novo paradigma para o tratamento de informações de pessoas naturais. objetivo primordial da lei é "proteger os direitos fundamentais de liberdade e de privacidade e o livre desenvolvimento da personalidade da pessoa natural" (Brasil, 2018). Para a engenharia de dados, disciplina responsável pela concepção, construção e manutenção de infraestruturas de dados (Medeiros, 2023), a LGPD não é apenas um conjunto de diretrizes a serem seguidas, mas um pilar fundamental que deve nortear design e a operação de todo o ciclo de vida dos dados. impacto da LGPD transcende a camada de aplicação e atinge o cerne da arquitetura de dados. Projetos de engenharia de dados, que tradicionalmente focavam em escalabilidade, desempenho e custo, agora devem incorporar, desde sua concepção, os princípios e requisitos da lei, redefinindo prioridades e introduzindo novas complexidades técnicas e de governança. Princípios da LGPD e suas Implicações Técnicas A LGPD estabelece, em seu Art. 6°, um conjunto de princípios que devem ser observados em qualquer operação de tratamento de dados pessoais. Para o engenheiro de dados, esses princípios se traduzem em requisitos técnicos concretos que devem ser implementados na infraestrutura. Finalidade, Adequação e Necessidade: estes princípios determinam que o tratamento de dados deve ter um propósito legítimo e explícito, sendo limitado ao mínimo necessário para atingir tal finalidade (Brasil, 2018). Em termos práticos, isso exige que os Pipelines de dados sejam projetados para coletar e processar apenas os campos estritamente necessários. Arquiteturas que ingerem dados de forma massiva e indiscriminada para um Data Lake (Medeiros, 2023) tornam-se um risco, exigindo mecanismos robustos de governança para garantir que apenas os dados pertinentes a uma finalidade específica sejam utilizados em cada etapa do processamento (ETL/ELT). Livre Acesso e Transparência: a lei garante aos titulares direito à consulta facilitada sobre a forma e a duração do tratamento de seus dados (Brasil, 2018). Isso impõe aos engenheiros a necessidade de construir sistemas que não apenas processem dados, mas que também sejam capazes de rastrear e expor a linhagem (ou proveniência) desses dados. Ferramentas de catálogo de dados e uma gestão de metadados bem estruturada tornam-se essenciais para atender a essas requisições de forma ágil e precisa (Silva et al, 2024; Oliveira, 2025). Segurança e Prevenção: a LGPD exige a "utilização de medidas técnicas e 21 45E-Book Printed Handout administrativas aptas a proteger os dados pessoais" (Brasil, 2018). Esta é talvez a implicação mais direta para a engenharia de dados. A segurança deixa de ser um requisito não funcional e passa a ser um elemento central do design da arquitetura. Isso inclui a implementação de criptografia em repouso e em trânsito, anonimização, pseudonimização, e, crucialmente, um controle de acesso rigoroso. Destaque: Dados Pessoais Sensíveis A LGPD define em seu Art. 5° uma categoria especial de dados, os "dados pessoais sensíveis", que incluem informações sobre "origem racial ou étnica, convicção religiosa, opinião política, [...] dado referente à saúde ou à vida sexual, dado genético ou biométrico" (Brasil, 2018). tratamento desses dados, cujo potencial discriminatório é elevado (Cezarino, 2024), exige salvaguardas ainda mais rigorosas, conforme Art. 11. Em projetos de engenharia de dados, isso se traduz na necessidade de mecanismos para identificar, classificar e segregar esses dados, aplicando-lhes controles de acesso e criptografia reforçados, além de justificar seu tratamento com base em hipóteses legais mais restritas. A Mudança de Paradigma Arquitetural Um dos conceitos mais transformadores trazidos pela LGPD é a internalização do Privacy by Design (Privacidade desde a Concepção). Art. 46, 2°, estabelece que as medidas de segurança devem ser observadas "desde a fase de concepção do produto ou do serviço até a sua execução" (Brasil, 2018). Para engenheiro de dados, isso significa que a privacidade e a proteção de dados não podem ser um add-on ou uma camada aplicada tardiamente, mas devem ser elementos intrínsecos à arquitetura. Essa abordagem se manifesta em diversas decisões técnicas: 1. Arquiteturas de Microsserviços e Segregação de Dados: a adoção de arquiteturas de microsserviços, uma tendência na engenharia de software moderna (Gomes, 2023), alinha-se bem aos princípios da LGPD quando acompanhada do padrão Database Per Service (Banco de Dados por Serviço). Nessa abordagem, cada microsserviço possui seu próprio banco de dados isolado, contendo apenas os dados necessários para sua função (Santos Junior, 2024). Isso implementa tecnicamente os princípios da necessidade e da limitação da finalidade, reduzindo a superfície de ataque e o impacto de uma eventual violação. desafio, contudo, reside na gestão da consistência de dados e na complexidade de atender a requisições de titulares (como a eliminação de dados) que se espalham por múltiplos serviços (Santos Junior, 2024). 2. Controle de Acesso Granular: a proteção de dados em um ambiente complexo exige mais do que um controle de acesso binário (acesso total ou nenhum acesso). Mecanismos como o Controle de Acesso Baseado em Atributos (ABAC) permitem a 22 45E-Book Printed Handout criação de políticas de acesso refinadas, que concedem permissão com base em uma combinação de atributos do usuário, do recurso (dado) e do contexto da operação (Maia Neto, 2023). Por exemplo, uma política ABAC poderia permitir que um analista de marketing acesse dados de clientes apenas para a finalidade de "análise de campanha", de uma região específica e durante o horário comercial, implementando de forma eficaz a restrição de finalidade. 3. Contexto da Nuvem e Responsabilidade Compartilhada: a maioria dos projetos de engenharia de dados modernos é desenvolvida em ambientes de computação em nuvem. Nesse contexto, é fundamental compreender o modelo de responsabilidade compartilhada, no qual o provedor de nuvem é responsável pela segurança da nuvem (infraestrutura física), enquanto o cliente (a organização) é responsável pela segurança na nuvem, o que inclui a proteção dos dados, a configuração de redes e o gerenciamento de identidade e acesso (Melo, 2022). engenheiro de dados, portanto, é o principal agente na implementação das medidas técnicas de proteção no ambiente de nuvem para garantir a conformidade com a LGPD. Observabilidade e Prestação de Contas (Accountability) princípio da "responsabilização e prestação de contas" (Art. 6°, X) exige que os agentes de tratamento demonstrem a adoção de medidas eficazes para o cumprimento da lei (Brasil, 2018). Em sistemas de dados distribuídos e complexos, como as arquiteturas de microsserviços, comprovar a conformidade é um desafio significativo. É aqui que a observabilidade se torna uma capacidade técnica indispensável. A observabilidade, que é a habilidade de inferir o estado interno de um sistema a partir de seus dados externos (logs, métricas e traces), vai além do monitoramento tradicional (Pina, 2018). No contexto da LGPD, ela é a base técnica para a prestação de contas. Rastreamento Distribuído (Distributed Tracing): em uma arquitetura de microsserviços, uma única requisição de um usuário pode percorrer dezenas de serviços. rastreamento distribuído é a técnica que permite "encontrar o caminho que uma determinada chamada fez dentro do sistema" (Lima, 2022). Para a LGPD, isso é crucial. Quando um titular exerce seu direito de acesso ou questiona o tratamento de seus dados, o rastreamento distribuído permite identificar exatamente quais serviços processaram aquela informação, para qual finalidade e com quem ela foi compartilhada, fornecendo uma trilha de auditoria concreta e detalhada. Gestão de Metadados e Catálogos de Dados: para saber quais dados são tratados, onde estão armazenados e para que servem, a gestão de metadados é fundamental. 23 45E-Book Printed Handout Um catálogo de dados atua como um inventário centralizado de todos os ativos de dados de uma organização. A aplicação de um padrão de metadados, como o Dublin Core, facilita a uniformidade e a interoperabilidade, permitindo uma gestão eficaz que auxilia na rastreabilidade da proveniência e na avaliação da qualidade dos dados (Silva et al, 2024; Oliveira, 2025). Para a LGPD, o catálogo de dados é a ferramenta que possibilita a elaboração do registro de operações de tratamento (Art. 37) e do Relatório de Impacto à Proteção de Dados Pessoais (Art. 38). Decisões Automatizadas e Direito à Explicação Projetos de engenharia de dados que suportam aplicações de Data Science e Machine Learning (Metelo, Bernardino e Pedrosa, 2021) enfrentam um desafio adicional imposto pelo Art. 20 da LGPD, que garante ao titular "direito a solicitar a revisão de decisões tomadas unicamente com base em tratamento automatizado de dados pessoais que afetem seus interesses" (Brasil, 2018). A doutrina jurídica interpreta este artigo como a base para um "direito à explicação", no qual o titular pode questionar a lógica e os critérios por trás de uma decisão algorítmica (Monteiro, 2021; Branco; Teffé, 2022). impacto para a engenharia de dados é profundo: Explicabilidade dos Modelos (Explainable AI XAI): os engenheiros de dados e cientistas de dados não podem mais tratar os modelos de machine learning como "caixas-pretas" (black boxes). É preciso projetar e implementar sistemas cujo processo decisório seja auditável e, na medida do possível, interpretável. Linhagem de Dados e Modelos: é necessário manter um registro não apenas da linhagem dos dados que treinaram um modelo, mas também do versionamento do próprio modelo. Se uma decisão automatizada for contestada, deve ser possível reconstruir o cenário exato em que a decisão foi tomada, incluindo a versão do modelo e os dados de entrada utilizados. Quadro 6 Comparativo entre Abordagens Tradicionais e Alinhadas à LGPD na Engenharia de Dados 24 45E-Book Printed Handout Aspecto da Engenharia de Abordagem Tradicional Abordagem Alinhada à LGPD Dados Ingerir o máximo de Coletar apenas os dados estritamente Coleta de Dados dados possível ("coletar necessários para uma finalidade tudo"). específica (princípio da necessidade). Monolítica com banco de Microsserviços com segregação de Arquitetura dados centralizado e dados (Database Per Service) para compartilhado. limitar o acesso e a finalidade. Segurança integrada em cada Camada de segurança componente desde a concepção Segurança aplicada à infraestrutura (Privacy by Design), com criptografia como um todo. e controle de acesso granular (ABAC). Gestão robusta de metadados e Foco em disponibilidade e catálogos de dados para Governança de Dados performance. Metadados rastreabilidade, proveniência e opcionais. prestação de contas. Observabilidade completa com Monitoramento de saúde Operação e rastreamento distribuído para e performance dos Monitoramento auditoria e atendimento aos direitos sistemas. dos titulares. Foco em modelos explicáveis e Foco na acurácia do auditáveis para atender ao direito de modelo, mesmo que seja revisão de decisões automatizadas. Modelos de IA/ML uma "caixa-preta". Fonte: (Elaborado com base em Monteiro, 2021; Branco; Teffé, 2022; Lima, 2022; Pina, 2018; Silva et al, 2024; Oliveira, 2025; Maia Neto, 2023; Santos Junior, 2024; Brasil, 2018) 25 45E-Book Printed Handout A LGPD força a engenharia de dados a evoluir de uma disciplina puramente técnica para uma prática sociotécnica, que integra requisitos legais e éticos diretamente no design de suas arquiteturas e processos. A conformidade não é um estado, mas um processo contínuo que exige uma infraestrutura de dados projetada para ser transparente, segura e, acima de tudo, responsável. A integração de práticas de DevOps, com sua ênfase em automação e monitoramento contínuo, deve, portanto, incorporar a preocupação com a integridade e o sigilo dos dados para não ferir a LGPD (Gomes, 2023). Observabilidade de Pipelines A observabilidade de pipelines de dados é uma disciplina essencial na Engenharia de Dados moderna, permitindo que as equipes compreendam o comportamento interno e a saúde de seus sistemas de processamento de dados a partir de suas saídas externas. Em um cenário onde arquiteturas monolíticas dão lugar a sistemas distribuídos e microsserviços, a complexidade aumenta exponencialmente, tornando a monitorização tradicional insuficiente (Pina, 2018). A observabilidade emerge, portanto, como um pilar fundamental, permitindo não apenas o monitoramento de falhas conhecidas, mas também a investigação e depuração de problemas imprevistos em sistemas que, muitas vezes, operam como "caixas-pretas" (Lima, 2022; Monteiro, 2021). A capacidade de medir os estados internos de um sistema examinando suas saídas (Lima, 2022) é sustentada por três pilares técnicos principais: logs (registros), métricas e traces (rastreamentos). Enquanto os traces são fundamentais para rastrear o percurso de uma requisição específica através de múltiplos serviços, os logs e as métricas formam a base para a análise de eventos e a medição de desempenho agregado. A partir destes, um componente reativo crucial é implementado: os alertas, que notificam as equipes sobre anomalias e permitem uma resposta proativa a incidentes. Os Três Pilares da Observabilidade A observabilidade de um sistema computacional é construída sobre a coleta e análise de três tipos distintos de dados de telemetria (Lima, 2022; Santos Junior, 2024): 1. Logs (Registros): registros imutáveis e com carimbo de data/hora de eventos discretos que ocorreram ao longo do tempo. São detalhados e contextuais, ideais para depuração de erros específicos. 2. Métricas: representações numéricas e agregadas de dados do sistema, medidas ao longo de intervalos de tempo. São eficientes para armazenamento e ideais para visualizar tendências e acionar alertas baseados em limiares. 26 45E-Book Printed Handout 3. Traces (Rastreamentos): representam a jornada de uma única requisição ou transação à medida que ela se propaga por todos os componentes de um sistema distribuído. Essenciais para identificar gargalos de latência e entender o fluxo ponta a ponta. Logs: A Crônica Detalhada da Execução do Pipeline Logs são registros imutáveis de eventos que ocorreram em um sistema, fornecendo um contexto detalhado sobre o comportamento da aplicação em pontos específicos no tempo (Lima, 2022). Em um pipeline de dados, os logs funcionam como um diário de bordo, registrando cada passo significativo do processamento. Finalidade e Tipos de Logs em Pipelines de Dados: Depuração de Erros: quando uma tarefa de processamento falha, os logs são a primeira fonte de informação para diagnosticar a causa raiz. Um stack trace de uma exceção, por exemplo, aponta a linha de código exata onde o erro ocorreu. Auditoria e Proveniência: logs podem registrar informações sobre as transformações aplicadas a um registro de dado específico, o resultado de validações de qualidade e a origem e destino dos dados, sendo cruciais para a governança e a rastreabilidade. Análise de Comportamento: registram eventos de negócio ou operacionais, como o início e fim de um batch, o número de registros processados ou a detecção de um formato de arquivo inesperado. Monitoramento de Segurança: logs de acesso e de operações são fundamentais para detectar atividades suspeitas, como tentativas de acesso não autorizado, que podem configurar um incidente de segurança a ser comunicado conforme a legislação (Brasil, 2018). Para que sejam úteis em larga escala, é altamente recomendável que os logs sejam gerados em um formato estruturado, como JSON (Lima, 2022). Diferentemente de logs em texto plano, os logs estruturados permitem que sistemas de visualização e consulta, como Kibana (Pina, 2018), indexem e filtrem os eventos de forma eficiente com base em campos específicos (ex: level=ERROR, job_id=123). Governança e Segurança de Logs: 27 45E-Book Printed Handout É imperativo reconhecer que os logs podem conter dados pessoais e, por vezes, dados pessoais sensíveis, como origem racial ou étnica (Brasil, 2018; Cezarino, 2024). ato de coletar, armazenar e analisar esses logs constitui uma operação de tratamento de dados e, portanto, está sujeito à Lei Geral de Proteção de Dados (LGPD). Os agentes de tratamento devem adotar medidas de segurança, técnicas e administrativas para proteger esses dados (Brasil, 2018). Práticas como anonimização, pseudonimização ou mascaramento de dados em logs são essenciais para minimizar o risco e garantir a conformidade legal. Métricas: Pulso Quantitativo do Pipeline Métricas são contagens ou medições agregadas ao longo de um período (Lima, 2022). Elas fornecem uma visão quantitativa e de alto nível sobre a saúde e o desempenho do pipeline. Por serem dados numéricos e associados a uma linha do tempo (séries temporais), são extremamente eficientes para armazenamento e ideais para a criação de gráficos e dashboards (Gonçalves, 2024). Ferramentas como o Prometheus são especializadas na coleta e armazenamento de métricas em formato de série temporal, enquanto plataformas como o Grafana se destacam na visualização desses dados por meio de painéis interativos (Santos Junior, 2024). A seguir, apresentamos um quadro com as principais categorias de métricas para a observabilidade de pipelines de dados. Quadro 7 Principais Métricas de Pipeline de Dados Categoria Métrica Descrição Exemplo Registros por Volume de dados segundo, Desempenho Vazão (Throughput) processados por Gigabytes por unidade de tempo. hora. Tempo que um dado leva para atravessar o Latência ponta a ponta Latência (Latency) pipeline ou um de seus em milissegundos. estágios. Percentual de registros ou tarefas que falharam 0.1% de erros de Qualidade Taxa de Erros durante o validação de processamento. esquema. 28 45E-Book Printed Handout Quantidade de registros 500 registros que não atenderam aos Registros Descartados descartados por dados critérios de qualidade e faltantes. foram removidos. Percentual de tempo de Utilização de processador utilizado Recursos Utilização de CPU CPU do cluster pelos componentes do Spark em 85%. pipeline. Quantidade de memória 79% da memória RAM Utilização de Memória RAM consumida pelas do servidor utilizada. aplicações do pipeline. Taxa de leitura e escrita em disco, medida em Pico de atividade de I/O de Disco operações por segundo escrita no disco. ou bytes por segundo. Tempo contínuo em Tempo de Atividade que um componente do Servidor ativo há Sistema (Uptime) sistema está 3 meses e 4 dias. operacional. Quantidade de 226 processos em Número de Processos processos em execução execução no servidor. em um servidor. Fonte: (Elaborado com base em Gonçalves, 2024) Essas métricas, quando visualizadas em dashboards, permitem que as equipes de engenharia de dados identifiquem rapidamente tendências, anomalias e gargalos de desempenho, facilitando a otimização contínua e o planejamento de capacidade. Alertas: A Resposta Proativa a Anomalias Logs e métricas fornecem a base de dados para a observabilidade, mas são os alertas que transformam essa observabilidade em uma ferramenta de operação proativa. Alertas são notificações automáticas geradas quando sistema detecta uma condição que exige atenção humana. Essa prática é um componente central do monitoramento contínuo, fundamental na cultura DevOps para garantir a confiabilidade do software (Gomes, 2023). 29 45E-Book Printed Handout Alertas são tipicamente configurados com base em: 1. Limiares de Métricas: um alerta é disparado quando uma métrica ultrapassa um limiar predefinido por um determinado período. Por exemplo, "alertar se a latência média do pipeline for superior a 5 segundos por mais de 2 minutos". 2. Padrões em Logs: alertas podem ser acionados pela ocorrência de mensagens de erro específicas ou por um aumento anômalo na frequência de determinados eventos de log. Por exemplo, "alertar se a palavra 'OutOfMemoryError' aparecer nos logs mais de 10 vezes em 5 minutos". Plataformas como o Grafana possuem capacidades robustas de alerta, permitindo que as equipes definam regras complexas e enviem notificações para diversos canais, como e-mail, Slack ou PagerDuty, garantindo que o time certo seja acionado para resolver o problema rapidamente (Gonçalves, 2024). A configuração eficaz de alertas é uma arte: alertas demais geram "ruído" e fadiga, fazendo com que notificações importantes sejam ignoradas; alertas de menos podem permitir que falhas críticas passem despercebidas. objetivo é criar alertas que sejam, ao mesmo tempo, acionáveis e representativos de um impacto real ou potencial no serviço. A observabilidade de pipelines, fundamentada na coleta sistemática de logs e métricas e na implementação de um sistema de alertas inteligente, é indispensável para a operação, manutenção e governança de sistemas de dados modernos. Ela fornece os meios técnicos para garantir não apenas o desempenho e a confiabilidade, mas também a transparência e a auditabilidade exigidas em um cenário regulatório e ético cada vez mais complexo (Monteiro, 2021; Branco; Teffé, 2022) Ferramentas de monitoramento A transição para arquiteturas de microsserviços, embora traga benefícios em termos de escalabilidade e manutenibilidade, introduz desafios significativos no que tange ao monitoramento e à garantia da qualidade do software (Sobrinho, 2025). Em sistemas distribuídos, a capacidade de compreender o estado interno e o comportamento da aplicação a partir de seus dados externos um conceito conhecido como observabilidade torna-se um pilar fundamental (Santos Junior, 2024). A observabilidade permite monitorar o desempenho, detectar gargalos e diagnosticar falhas em tempo real, sendo crucial para a resiliência e a disponibilidade do sistema (Santos Junior, 2024; Gomes, 2023). 30 45E-Book Printed Handout Para endereçar essa complexidade, a engenharia de dados moderna frequentemente recorre a um conjunto de ferramentas open source que se tornaram um padrão de mercado para a implementação de uma plataforma de observabilidade robusta: a tríade composta por Prometheus, Grafana e OpenTelemetry (Sobrinho, 2025; Santos Junior, 2024). Juntas, essas ferramentas fornecem uma solução completa para a coleta, armazenamento, visualização e análise de métricas, logs e traces distribuídos. Os Três Pilares da Observabilidade A observabilidade em sistemas de software é tipicamente sustentada por três tipos de dados de telemetria, conhecidos como os "três pilares": 1. Métricas: são medições numéricas agregadas ao longo do tempo, como uso de CPU, latência de requisições ou taxas de erro. Fornecem uma visão quantitativa da saúde e do desempenho do sistema. 2. Logs (Registros): são registros imutáveis e com carimbo de tempo de eventos discretos que ocorreram em um sistema. São essenciais para a depuração e análise de causa raiz de problemas específicos. 3. Traces (Rastreamentos): representam percurso completo de uma requisição à medida que ela atravessa múltiplos serviços em um sistema distribuído. Um trace é composto por spans, que detalham cada operação individual, permitindo a identificação de gargalos de desempenho e a compreensão do fluxo de uma transação (Lima, 2022; Santos Junior, 2024). Prometheus Prometheus é uma solução de monitoramento e alertas, de código aberto e altamente escalável, que se tornou uma ferramenta central em ecossistemas de microsserviços (Santos Junior, 2024). Sua função primordial é coletar e armazenar métricas em tempo real, organizando-as em um formato de banco de dados de séries temporais (TSDB Time Series Database), o que o torna ideal para ambientes dinâmicos (Santos Junior, 2024). Desenvolvido com foco na eficiência da coleta de dados, o Prometheus utiliza um modelo de pull (puxar), no qual ele próprio busca as métricas expostas pelos serviços em endpoints HTTP específicos. Essa abordagem simplifica a configuração dos serviços monitorados. Suas principais características incluem: Armazenamento de Séries Temporais: todas as métricas são armazenadas com um carimbo de tempo, permitindo análises históricas e de tendências. Linguagem de Consulta Flexível (PromQL): oferece uma linguagem de consulta poderosa que permite selecionar e agregar dados de séries temporais em tempo real, facilitando a criação de visualizações complexas e regras de alerta (Santos 31 45E-Book Printed Handout Junior, 2024). Sistema de Alertas Integrado: permite a definição de regras de alerta com base em expressões PromQL, notificando as equipes de operação sobre condições anômalas antes que impactem os usuários finais (Santos Junior, 2024). No contexto da tríade de observabilidade, o Prometheus atua como o backend de armazenamento e processamento das métricas, sendo a fonte de dados primária para a camada de visualização (Gonçalves, 2024). Grafana Grafana é uma plataforma de código aberto, lançada em 2014, especializada na visualização e análise de dados de monitoramento (Gonçalves, 2024; Pina, 2018). Sua principal função é transformar informações complexas, provenientes de bancos de dados de séries temporais como o Prometheus, em gráficos, tabelas e painéis interativos e intuitivos (Gonçalves, 2024). Essa capacidade de visualização facilita enormemente a interpretação e a compreensão dos dados monitorados, permitindo que administradores de sistemas e engenheiros de dados tomem decisões mais rápidas e assertivas para otimizar o desempenho e garantir a confiabilidade das operações (Gonçalves, 2024). As principais funcionalidades do Grafana incluem: Integração com Múltiplas Fontes de Dados: embora sua integração com o Prometheus seja a mais comum, o Grafana é agnóstico em relação à fonte de dados, suportando dezenas de bancos de dados, incluindo InfluxDB, ElasticSearch, MySQL e PostgreSQL (Gonçalves, 2024). Dashboards Customizáveis: permite a criação de painéis altamente personalizáveis, onde os usuários podem combinar diferentes tipos de visualizações (gráficos de linha, barras, medidores, mapas de calor, etc.) para monitorar as métricas mais críticas para o seu negócio (Pina, 2018). Alertas Visuais: complementa o sistema de alertas do Prometheus, permitindo a configuração de notificações diretamente na interface gráfica, com regras visuais associadas aos painéis de monitoramento (Gonçalves, 2024). Essencialmente, Grafana serve como a camada de apresentação da plataforma de observabilidade, consultando os dados armazenados no Prometheus para exibi-los de forma compreensível e acionável (Santos Junior, 2024). 32 45E-Book Printed Handout OpenTelemetry OpenTelemetry é um framework de observabilidade, também de código aberto, que visa padronizar a forma como as aplicações são instrumentadas para gerar e exportar dados de telemetria (métricas, logs e traces) (Lima, 2022; Santos Junior, 2024). Ele é composto por uma coleção de APIs, bibliotecas, agentes e instrumentações que podem ser integrados diretamente no código das aplicações (Santos Junior, 2024). A principal vantagem do OpenTelemetry é sua natureza agnóstica em relação ao fornecedor (vendor-agnostic). Ele desacopla a instrumentação do código da escolha da ferramenta de backend para análise. Isso significa que uma aplicação instrumentada com OpenTelemetry pode enviar seus dados de telemetria para diferentes plataformas (como Prometheus para métricas ou Jaeger e Zipkin para traces) sem a necessidade de alterar o código-fonte (Lima, 2022). Suas características-chave são: Padrão Unificado: oferece um conjunto único e padronizado de ferramentas para coletar todos os três pilares da observabilidade, simplificando o processo de instrumentação. Coleta Automatizada: para muitas linguagens e frameworks, o OpenTelemetry oferece agentes de instrumentação automática que podem coletar uma grande quantidade de dados de telemetria sem exigir modificações manuais no código (Lima, 2022). Flexibilidade de Exportação: permite que os dados coletados sejam exportados para múltiplos backends simultaneamente, dando às equipes a liberdade de usar as melhores ferramentas para cada tipo de dado. Dentro da tríade, o OpenTelemetry atua como a camada de coleta e instrumentação, sendo responsável por gerar os dados de telemetria diretamente dos microsserviços. Integrando Prometheus, Grafana e OpenTelemetry A verdadeira força dessas ferramentas reside na sua integração, formando um fluxo de dados coeso que cobre todo ciclo da observabilidade, desde a geração dos dados até sua análise visual. Conforme descrito por diversos autores, a interação entre elas ocorre da seguinte maneira (Santos Junior, 2024; Sobrinho, 2025): 33 45E-Book Printed Handout 1. Coleta (OpenTelemetry): os agentes e SDKs do OpenTelemetry são implementados nos microsserviços. Eles instrumentam o código para capturar métricas de desempenho (ex: tempo de resposta de uma API), traces de requisições e logs de eventos. 2. Armazenamento e Alerta (Prometheus): as métricas coletadas pelo OpenTelemetry são expostas em um endpoint e periodicamente "puxadas" pelo servidor Prometheus, que as armazena em seu banco de dados de séries temporais. Prometheus também avalia continuamente as regras de alerta configuradas sobre essas métricas. 3. Visualização (Grafana): Grafana é configurado para usar o Prometheus como uma de suas fontes de dados. As equipes criam dashboards no Grafana que executam consultas PromQL no Prometheus para buscar as métricas armazenadas. Grafana, então, renderiza esses dados em gráficos e painéis, fornecendo uma visão consolidada e em tempo real da saúde da aplicação. Essa arquitetura integrada proporciona uma visão abrangente do sistema, essencial para garantir a alta disponibilidade e o bom funcionamento de arquiteturas de dados modernas, permitindo a rápida identificação de problemas e a aplicação de correções antes que impactem os usuários finais (Santos Junior, 2024). Quadro 8 Papel das Ferramentas na Arquitetura de Observabilidade Ferramenta Papel Principal Função na Tríade da Observabilidade Gera e exporta dados de telemetria Instrumentação e (métricas, logs, traces) a partir das OpenTelemetry Coleta aplicações de forma padronizada e agnóstica. Recebe e armazena as métricas em um Armazenamento e Prometheus banco de dados de séries temporais (TSDB) Alerta e gerencia o sistema de alertas. Conecta-se ao Prometheus para consultar Grafana Visualização e Análise as métricas e exibi-las em dashboards interativos, facilitando a análise humana. Fonte: (Elaborado com base em Gonçalves, 2024; Pina, 2018; Santos Junior, 2024; Lima, 2022) Estratégias de testes e validação para Pipelines de dados (Data Quality Tests) 34 45E-Book Printed Handout A concepção moderna da Engenharia de Dados transcende a mera movimentação de dados de um ponto A para um ponto Ela se estabelece como a fundação sobre a qual as práticas de Data Science são construídas, permitindo "extrair conhecimento e alavancar as previsões dos dados" (Metelo, Bernardino e Pedrosa, 2021). Um Pipeline de dados, definido como uma "série de etapas que coletam, processam e armazenam dados" (Medeiros, 2023), é artefato central dessa disciplina. Contudo, a confiabilidade de qualquer análise, modelo de machine learning ou decisão de negócio derivada desses Pipelines é diretamente proporcional à qualidade dos dados que fluem por eles. Portanto, a implementação de uma estratégia robusta e automatizada de testes e validação não é um luxo, mas uma necessidade imperativa para garantir a integridade, a segurança e o valor dos ativos de dados de uma organização. No contexto atual, fortemente influenciado pela cultura DevOps, a validação de dados evoluiu de verificações manuais e esporádicas para um processo de "testes contínuos" (Gomes, 2023). Essa abordagem preconiza a automação e a integração dos testes de qualidade de dados diretamente no ciclo de vida de desenvolvimento do pipeline, um conceito alinhado às práticas de Integração Contínua e Entrega Contínua (CI/CD) (Sobrinho, 2025). A automação de testes, orquestrada por ferramentas como o GitHub Actions, assegura que cada modificação no código do Pipeline seja rigorosamente validada antes de ser promovida para produção, promovendo uma "melhoria da qualidade do software" e uma "resolução mais ágil de problemas" (Gomes, 2023). Adotar essa cultura de testes é, em essência, a materialização dos princípios de governança de dados, como a "responsabilização e prestação de contas" (Monteiro, 2021; Brasil, 2018). Os resultados dos testes servem como uma trilha de auditoria contínua, demonstrando a devida diligência no tratamento dos dados e o cumprimento de "níveis mínimos de serviços" (Gomes, 2023). Níveis de Testes em Pipelines de Dados Inspirado na clássica pirâmide de testes de software, podemos estruturar a validação de pipelines de dados em múltiplos níveis de granularidade. Essa estratificação permite um equilíbrio entre a velocidade do feedback e a abrangência da cobertura dos testes (Sobrinho, 2025). Testes de Unidade: este é o nível fundamental e o mais granular. objetivo é testar uma única etapa ou transformação do pipeline de forma isolada. Por exemplo, uma função que converte um formato de data ou anonimiza um campo de dados pessoais sensíveis seria validada com um conjunto de entradas conhecidas e saídas esperadas. Esses testes são rápidos, fáceis de manter e essenciais para garantir que a lógica de cada componente individual está correta (Sobrinho, 2025). Testes de Integração: neste nível, foco é validar a interação e o fluxo de dados 35 45E-Book Printed Handout entre duas ou mais etapas consecutivas do pipeline. objetivo é garantir que "contrato de dados" (esquema, formato) entre os componentes é respeitado. Um exemplo seria testar se os dados processados por uma etapa de transformação são corretamente carregados em uma tabela de staging no banco de dados, verificando a integridade dos tipos de dados e das restrições (Sobrinho, 2025). Testes End-to-End (E2E): posicionados no topo da pirâmide, os testes E2E validam o fluxo completo do pipeline, desde a ingestão dos dados na origem até sua disponibilização no destino (ex: um data warehouse ou um dashboard). Esses testes são mais complexos e lentos, pois simulam um cenário de produção real. Eles são cruciais para verificar a lógica de negócio de ponta a ponta e garantir que o sistema, como um todo, funciona conforme o esperado. Essa abordagem pode ser vista como uma forma de teste de "caixa-preta" (black-box), na qual se valida a saída do sistema sem a necessidade de conhecer os detalhes de sua implementação interna (Pina, 2018; Sobrinho, 2025). Testes Positivos vs. Testes Negativos Uma estratégia de validação completa deve ir além dos "caminhos felizes". É fundamental implementar testes negativos, que verificam como Pipeline reage a dados inválidos, malformados ou inesperados. Conforme apontado por Sobrinho (2025), a ausência de "cobertura de branches para cenários de exceção" é um ponto crítico. Um Pipeline robusto deve ser capaz de identificar, registrar, isolar ou rejeitar dados de baixa qualidade, evitando a contaminação do ecossistema de dados e garantindo a resiliência do sistema. Dimensões da Qualidade de Dados A validação de dados em um Pipeline não se resume a uma única verificação. Ela abrange múltiplas dimensões que, juntas, definem a confiabilidade e a utilidade dos dados. A seguir, detalhamos as principais dimensões e os testes associados, muitos dos quais são inspirados em princípios de segurança da informação e padrões de metadados. Quadro 9 Dimensões da Qualidade de Dados e Estratégias de Teste Dimensão da Qualidade Descrição e Objetivos do Teste Garante que os dados estejam estruturalmente corretos e representem com exatidão a realidade que descrevem. Testes incluem: verificação de `nulidade`, `unicidade`, intervalos de valores` (ex: idade > 0), conformidade com padrões` (ex: regex para e-mails ou CPF) e `integridade entre tabelas. Integridade e Precisão 36 45E-Book Printed Handout Avalia se conjunto de dados está completo e atualizado. Testes incluem: `contagem de registros` (comparando origem e destino), verificação de frescor` (se os dados Completude e Validade foram atualizados conforme a "Periodicidade de Atualização" definida nos metadados) e percentual de preenchimento` de campos. Assegura que os dados não apresentem contradições, seja dentro de um mesmo conjunto de dados ou entre sistemas diferentes. Em arquiteturas distribuídas, os testes devem Consistência considerar a "consistência eventual", validando que a "replicação de dados" (ex: de um sistema monolítico para um microsserviço) ocorre corretamente dentro de um tempo esperado. Valida se os dados são tratados de acordo com as políticas de segurança e as regulamentações vigentes. Testes incluem: de dados pessoais (como Segurança e Conformidade identidade de gênero, origem racial, etc.) em campos não protegidos, `verificação de mascaramento/anonimização e de controle de acesso`, garantindo que apenas processos autorizados manipulem os dados. Verifica se os metadados que descrevem os conjuntos de dados estão presentes, corretos e completos. Testes podem Qualidade de Metadados validar a existência e o formato de campos como `Fonte`, `Licença`, Data de submissão` e `Tema`, essenciais para a "interoperabilidade e a acessibilidade" dos dados. Monitora a saúde operacional do pipeline. Testes verificam se o `tempo de execução está dentro dos Acordos de Desempenho e Eficiência Nível de Serviço (ANS) e se o consumo de recursos` (CPU, memória) está dentro dos limites esperados, utilizando métricas de monitoramento de infraestrutura. Fonte: Elaborado com base em Gonçalves, 2024; Gomes, 2023; Oliveira, 2025; Silva et al, 2024; Brasil, 2018; Maia Neto, 2023; Cezarino, 2024; Santos Junior, 2024; Melo, 2022). 37 45E-Book Printed Handout Estratégias de Implementação e a Observabilidade como Validação Contínua A implementação eficaz de testes de qualidade de dados requer uma abordagem que integre a validação ao monitoramento contínuo do pipeline. A observabilidade, um pilar da cultura DevOps, oferece um paradigma poderoso para essa integração, baseando-se em três tipos de sinais do sistema: logs, métricas e traces (Lima, 2022). 1. Métricas de Qualidade: em vez de apenas validar um lote de dados de forma binária (passa/falha), é mais eficaz coletar métricas contínuas sobre a qualidade dos dados. Por exemplo, o percentual de valores nulos em uma coluna, a distribuição estatística de um campo numérico ou a latência dos dados. Essas métricas podem ser armazenadas em bancos de dados de séries temporais, como o Prometheus, e visualizadas em dashboards com ferramentas como o Grafana, permitindo a identificação de tendências e anomalias ao longo do tempo (Santos Junior, 2024; Gonçalves, 2024). A emissão de "alertas em tempo real" quando uma métrica ultrapassa um limiar predefinido é crucial para a detecção proativa de problemas (Gonçalves, 2024) 2. Logs de Validação: cada execução de um teste de qualidade de dados deve gerar um log estruturado, registrando qual teste foi executado, em qual conjunto de dados, o resultado e quaisquer registros que falharam na validação. Esses logs formam uma trilha de auditoria essencial para a "responsabilidade demonstrável" (accountability), permitindo que as equipes de dados e governança comprovem a conformidade com regulamentações como a LGPD (Monteiro, 2021; Brasil, 2018). 3. Rastreamento Distribuído (Distributed Tracing): em Pipelines complexos e distribuídos, especialmente aqueles baseados em microsserviços, o rastreamento distribuído é uma técnica poderosa para depuração e análise de desempenho. Conforme descrito por Lima (2022), um trace permite "encontrar o caminho que uma determinada chamada fez dentro do sistema". Aplicado a Pipelines, isso significa acompanhar um registro de dados ou um lote específico através de todas as suas transformações, desde a origem até o destino. Essa visibilidade granular é inestimável para "encontrar os pontos de falha e gargalos", permitindo identificar exatamente em qual etapa um dado foi corrompido ou um processo se tornou lento (Lima, 2022). A implementação de uma estratégia de testes e validação para pipelines de dados é uma atividade multifacetada que combina princípios de engenharia de software, DevOps e governança de dados. Ao adotar uma abordagem automatizada, contínua e em múltiplos níveis, as organizações podem garantir que seus dados não sejam apenas um ativo volumoso, mas um ativo confiável, seguro e de alto valor, capaz de sustentar decisões estratégicas e impulsionar a inovação. 38 45E-Book Printed Handout Saiba Mais: Grafana como uma ferramenta de visualização de monitoramento de redes de computadores ? KNOW MORE Grafana como uma ferramenta de visualização de monitoramento de redes de computadores Considerações Finais Chegamos ao final da nossa unidade, e nela pudemos compreender que a governança, a segurança e a observabilidade de dados formam o núcleo ético e técnico da Engenharia de Dados moderna. Mais do que práticas complementares, esses pilares estabelecem as bases para um ecossistema confiável, transparente e sustentável, em que os dados são tratados como ativos estratégicos com rastreabilidade, qualidade e proteção em todas as suas etapas. Vimos que a verdadeira maturidade na engenharia de dados não está apenas na capacidade de armazenar e processar informações, mas em garantir que elas sejam utilizadas com responsabilidade, em conformidade com normas legais e com respeito à privacidade. Refletimos também sobre como o avanço das legislações, especialmente a Lei Geral de Proteção de Dados (LGPD), transformou o papel do engenheiro de dados, exigindo que o design das arquiteturas incorpore o princípio do Privacy by Design. Da mesma forma, aprendemos que a observabilidade sustentada por logs, métricas e traces é o elo entre a operação técnica e a prestação de contas, permitindo identificar falhas, avaliar desempenho e demonstrar conformidade. Assim, concluímos reconhecendo que a governança e a segurança não são apenas camadas de proteção, mas elementos estruturantes da cultura de dados, fundamentais para que organizações operem com eficiência, ética e credibilidade em um cenário cada vez mais orientado por dados. Lista de Termos Específicos Termo / Sigla Significado / uso no contexto do módulo 39 45E-Book Printed Handout Data Stewardship Função responsável pela supervisão operacional da qualidade e uso dos dados dentro de um domínio específico. Responsável final pelos dados de um domínio, Data Owner incluindo sua segurança, conformidade e valor de negócio. Profissional técnico que administra a infraestrutura e Data Custodian o acesso aos dados sob as diretrizes de governança. Medida de precisão, consistência e confiabilidade dos Data Quality (Qualidade de Dados) dados de uma organização. Conjunto de processos e tecnologias que asseguram a Master Data Management (MDM) consistência e unicidade dos dados mestres em toda a empresa. Ferramenta que organiza metadados e facilita a Data Catalog (Catálogo de Dados) descoberta, documentação e rastreabilidade dos conjuntos de dados. Dados sobre dados; informações que descrevem Metadata (Metadados) origem, formato, estrutura e contexto de um conjunto de dados. Rastreabilidade completa do ciclo de vida dos dados da origem até o consumo permitindo auditorias Data Lineage (Linhagem de Dados) e confiabilidade. Registro detalhado sobre a origem e o histórico de Data Provenance transformações aplicadas a um dado. Capacidade de monitorar, rastrear e diagnosticar o Data Observability comportamento e a saúde dos sistemas de dados em tempo real. Processo contínuo de observação de sistemas e fluxos Monitoring (Monitoramento) de dados para identificar falhas ou anomalias. Alerting (Alertas) 40 45E-Book Printed Handout Mecanismo de notificação automática em caso de erros, lentidão ou inconsistências nos pipelines de dados. Sequência automatizada de etapas que coleta, Data Pipeline transforma e entrega dados entre sistemas. Acordos de nível de serviço que definem padrões SLAs (Service Level Agreements) mínimos de desempenho e disponibilidade de sistemas. Grau de confiança e consistência das operações de Data Reliability dados em relação às suas fontes e consumidores. Conformidade com normas, leis e regulamentos de Compliance privacidade e segurança de dados, como LGPD e GDPR. Abordagem que incorpora princípios de privacidade Privacy by Design desde a concepção de sistemas e processos. Garantia de que os sistemas estejam configurados, Privacy by Default por padrão, para oferecer o máximo de privacidade possível. Método de melhoria contínua utilizado em gestão da Ciclo PDCA (Plan, Do, Check, Act) qualidade e aplicado à governança de dados. CIA Triad (Confidentiality, Integrity, Tríade que define os três pilares fundamentais da Availability) segurança da informação. Processo de gerar um valor único e fixo a partir de Hashing dados de entrada, usado para verificar integridade e autenticação. Sistema de gerenciamento de identidades digitais e IAM (Identity and Access Management) permissões de acesso em ambientes corporativos. Modelo de controle de acesso baseado em papéis e RBAC (Role-Based Access Control) funções atribuídas a usuários. Controle de acesso que utiliza atributos de usuários e (Attribute-Based Access Control) recursos para definir permissões. 41 45E-Book Printed Handout Técnica de ocultar dados sensíveis substituindo-os Data Masking (Mascaramento de por valores fictícios em ambientes de teste ou não Dados) produtivos. Modelo de segurança que não confia em nenhum Zero Trust usuário ou dispositivo por padrão, exigindo autenticação contínua. Registro detalhado de ações realizadas em sistemas e Audit Trail (Trilha de Auditoria) bancos de dados, útil para auditorias e rastreamento de incidentes. Incident Response (Resposta a Conjunto de procedimentos adotados para Incidentes) identificar, conter e corrigir incidentes de segurança. Área que coleta e analisa evidências digitais para Forense Digital (Digital Forensics) investigações de incidentes de segurança. Centro de operações responsável por monitorar e SOC (Security Operations Center) responder a ameaças de segurança em tempo real. SIEM (Security Information and Event Sistema que coleta e correlaciona logs e eventos de Management) segurança para detecção de ameaças e anomalias. Conjunto de políticas e ferramentas que previnem a DLP (Data Loss Prevention) perda ou vazamento de informações sensíveis. Incidente em que dados confidenciais são expostos, Data Breach acessados ou roubados sem autorização. Coleta e análise de informações sobre ameaças e Threat Intelligence vulnerabilidades para antecipar e mitigar ataques. Estratégias que combinam múltiplos provedores de Multi-Cloud / Hybrid Cloud nuvem (multi-cloud) ou integração entre nuvem pública e privada (hybrid). Técnica de autenticação que permite que usuários IAM Federation acessem múltiplos sistemas usando uma única credencial. Protocolos de autenticação e autorização usados em OAuth / SAML / OpenID Connect sistemas e serviços de nuvem. 42 45E-Book Printed Handout Conjunto de práticas para proteger interfaces de API Security programação (APIs) contra ataques e uso indevido. Teste de intrusão autorizado que simula ataques para Pen Test (Penetration Testing) avaliar vulnerabilidades de segurança. Metodologia que aplica princípios de DevOps à DataOps (Data Operations) engenharia e governança de dados, promovendo automação e colaboração. Abordagem que integra segurança em todas as etapas DevSecOps do ciclo DevOps. Capacidade de entender o estado interno dos Observabilidade de Dados (Data sistemas de dados por meio do monitoramento de Observability) métricas, logs e rastros. Alterações inesperadas em dados ou esquemas que Data Drift / Schema Drift podem impactar a qualidade e o funcionamento de pipelines. Técnica de aprendizado de máquina usada para Anomaly Detection identificar padrões anormais em dados ou sistemas. Conjunto de práticas que une ciência de dados e MLOps (Machine Learning Operations) DevOps para gerenciar o ciclo de vida de modelos de machine learning. Princípios e práticas que asseguram que sistemas de Ethical AI (IA Ética) IA sejam desenvolvidos e usados de forma responsável e transparente. Processo de tornar os dados acessíveis a todos os Data Democratization níveis da organização de forma segura e governada. Abordagem descentralizada de arquitetura de dados Data Mesh que trata os dados como produtos e distribui a governança por domínios. Data Fabric 43 45E-Book Printed Handout Arquitetura unificada que conecta e integra dados de múltiplas fontes e ambientes, facilitando governança e observabilidade. Indicadores usados para medir a eficiência e o KPIs (Key Performance Indicators) desempenho de processos de governança e segurança. SLIs (Service Level Indicators) / SLOs Métricas e metas que definem e monitoram o (Service Level Objectives) desempenho de sistemas de dados e pipelines. Referências BRANCO, Sérgio; TEFFÉ, Chiara Spadaccini de (coords.). Inteligência Artificial e Big Data: diálogos da pós-graduação em Direito Digital. Rio de Janeiro: Instituto de Tecnologia e Sociedade do Rio de Janeiro, 2022. 327 p. BRASIL. Lei n° 13.709, de 14 de agosto de 2018. Dispõe sobre a proteção de dados pessoais e altera a Lei n° 12.965, de 23 de abril de 2014. Brasília, DF, 2018. 26 p. CEZARINO, Maraisa Rosa. A institucionalização da invisibilidade da identidade de gênero: análise das audiências públicas do processo legislativo da LGPD. Dissertação (Mestrado) Faculdade de Direito, Universidade de São Paulo, São Paulo, 2024. GOMES, Thiago Gonzaga. DevOps: análise do processo de implantação da cultura DevOps em uma empresa brasileira. Trabalho de Conclusão de Curso Centro de Informática, Universidade Federal da Paraíba, João Pessoa, 2023. GONÇALVES, Gabriel de Castro. Grafana como uma ferramenta de visualização de monitoramento de redes de computadores. 2024. Trabalho de Conclusão de Curso (Graduação em Ciência da Computação) Pontifícia Universidade Católica de Goiás, Goiânia, 2024. LIMA, Matheus de Andrade. Análise de soluções de rastreamento open source no contexto de aplicações baseadas em microsserviços. Trabalho de Conclusão de Curso (Bacharelado em Ciência da Computação) Centro de Informática, Universidade Federal de Pernambuco, Recife, 2022. MAIA NETO, Antonio Lemos. Authentication of things: authentication and access control for the entire device life-cycle. Trabalho acadêmico (Programa de Pós-Graduação em Ciência da Computação) Instituto de Ciências Exatas, Universidade Federal de Minas Gerais, Belo Horizonte, 2023. MEDEIROS, Leonardo Rodrigues Monteiro de. Modelo de decisão multicritério para escolha de arquitetura de pipeline de dados em uma empresa de tecnologia. Trabalho de conclusão de curso (Graduação em Engenharia de Produção) Universidade Federal do Rio Grande do Norte, Centro de Tecnologia, Curso de Engenharia de Produção, Natal, RN, 2023. 44 45E-Book Printed Handout MELO, Vitória Rego. Computing cloud: vulnerabilidade de nuvens computacionais com ênfase na infraestrutura da Google. Centro Universitário Unidade de Ensino Superior Dom Bosco, Curso de Sistemas de Informação, São Luís, 2022. METELO, M.; BERNARDINO, J.; PEDROSA, I. Avaliação de Ferramentas Open Source para Data Science usando a Metodologia OSSpal. RISTI Revista Ibérica de Sistemas e Tecnologias de Informação, n. E46, p. 588-606, nov. 2021. MONTEIRO, Renato Leite. Desafios para a efetivação do direito à explicação na Lei Geral de Proteção de Dados do Brasil. Tese (Doutorado em Direito) Faculdade de Direito, Universidade de São Paulo, São Paulo, 2021. OLIVEIRA, Danielle Teixeira de. Metadados para representação de dados abertos: uma proposta para o Portal Brasileiro de Dados Abertos. 2025. 221 f. (Dissertação em Dissertação (Mestrado em Gestão e Organização do Conhecimento)) Escola de Ciência da Informação, Universidade Federal de Minas Gerais, Belo Horizonte, 2025. PINA, Fábio Figueiredo. Monitoria de arquiteturas de micro-serviços. Dissertação (Mestrado em Engenharia Informática) Faculdade de Ciências e Tecnologias, Universidade de Coimbra, Coimbra, 2018. SANTOS JUNIOR, Luiz Carlos dos. Migração de monolito para microsserviços: relatório da experiência do projeto integrador. Relatório técnico (Especialização em Engenharia de Software) Pontifícia Universidade Católica de São Paulo, São Paulo, 2024. SILVA, Hudson da; SANTOS, Joao V. dos; JOCHEM, Jose Eduardo M.; FLECK, Ana; MELLO, Ronaldo dos Santos; DORNELES, Carina Friedrich; FILETO, Renato. Uma Proposta baseada no Dublin Core para Catalogação de Metadados de Fontes de Dados Governamentais, Florianópolis, SC, Brasil, p. 7, 2024. SOBRINHO, Guilherme Ferreira de Souza. Uso do Github Actions em pipeline de testes para microsserviços no contexto de CI/CD e DevOps. 2025. Trabalho de Conclusão de Curso (Graduação em Engenharia de Computação) Universidade Federal de Ouro Preto, Instituto de Ciências Exatas e Aplicadas, Departamento de Computação e Sistemas, Ouro Preto, MG, 2025. 45 45