Logo Passei Direto
Buscar
Material
páginas com resultados encontrados.
páginas com resultados encontrados.

Escolha uma das opções e acesse esse e outros materiais sem bloqueio. 🤩

Cadastre-se ou realize login

Ao continuar, você aceita os Termos de Uso e Política de Privacidade

Escolha uma das opções e acesse esse e outros materiais sem bloqueio. 🤩

Cadastre-se ou realize login

Ao continuar, você aceita os Termos de Uso e Política de Privacidade

Escolha uma das opções e acesse esse e outros materiais sem bloqueio. 🤩

Cadastre-se ou realize login

Ao continuar, você aceita os Termos de Uso e Política de Privacidade

Escolha uma das opções e acesse esse e outros materiais sem bloqueio. 🤩

Cadastre-se ou realize login

Ao continuar, você aceita os Termos de Uso e Política de Privacidade

Escolha uma das opções e acesse esse e outros materiais sem bloqueio. 🤩

Cadastre-se ou realize login

Ao continuar, você aceita os Termos de Uso e Política de Privacidade

Escolha uma das opções e acesse esse e outros materiais sem bloqueio. 🤩

Cadastre-se ou realize login

Ao continuar, você aceita os Termos de Uso e Política de Privacidade

Escolha uma das opções e acesse esse e outros materiais sem bloqueio. 🤩

Cadastre-se ou realize login

Ao continuar, você aceita os Termos de Uso e Política de Privacidade

Escolha uma das opções e acesse esse e outros materiais sem bloqueio. 🤩

Cadastre-se ou realize login

Ao continuar, você aceita os Termos de Uso e Política de Privacidade

Escolha uma das opções e acesse esse e outros materiais sem bloqueio. 🤩

Cadastre-se ou realize login

Ao continuar, você aceita os Termos de Uso e Política de Privacidade

Escolha uma das opções e acesse esse e outros materiais sem bloqueio. 🤩

Cadastre-se ou realize login

Ao continuar, você aceita os Termos de Uso e Política de Privacidade

Prévia do material em texto

<p>Unity Catalog Governança unificada para dados e IA C 2024 Databricks Inc. - All rights reserved 6</p><p>Data cataloging Governança de Dados Data Data quality classification & Data Science Data ETL & Real-Time Warehousing Analytics Business Data Intelligence Intelligence Engine Orchestration Auditing data Data entitlements security Unified and access Governance Data Governance Unified Data ... Data Data discovery lineage Open Data Lake Data sharing and C 2024 Databricks Inc. - All rights reserved collaboration</p><p>Entendendo Unity Catalog Production catalog Development catalog schema_1 schema_2 schema Tables Tables Permissions Permissions Eng Group Users Group Engineering Analytics Workspace The Actual People C 2024 Databricks Inc. - All rights reserved 8</p><p>Entendendo Unity Catalog collaboration Governance Data Sharing and Discovery, etc. Who can do or access what Oversight Machine Learning complete ML lifecycle training, serving, monitoring, Monitor, Log, Observe deployment, etc. C 2024 Databricks Inc. - All rights reserved</p><p>Unity Catalog - Capacidades Metadados e Gestão Usuários centralizados Metastore Audit Log Account Level Controle de acesso aos Dados e IA User Mgmt centralizado Lineage Unity Storage Linhagem, monitoramento e Explorer Catalog Credentials rastreabilidade (interdependências) Data Explorer Access ACL Store Auditoria de acesso aos Dados (audit log) Control Busca de Dados semântica Cloud Storage Compartilhamento seguro de dados com (S3, ADLS, GCS) Delta Sharing A DELTA LAKE Databricks Container / bucket Workspace User 2024 Databricks Inc. - All rights reserved 10</p><p>Os três níveis (namespace) do Unity Catalog (Unity) Unity Catalog Metastore : (Unity) Metastore Catalog Schema Managed (Database) Table Databricks Account assigned to Catalog Schema External Databricks (Database) Table Workspace Databricks View Workspace SELECT * FROM catalog1 database1 table1 ; C 2024 Databricks Inc. - All rights reserved 11</p><p>Managed Data Sources & External Locations Unity External Audit log Locations & Catalog Credentials Access Control Cloud Storage (S3, ADLS, GCS) Managed Managed Managed container / bucket Data Sources tables External External container / bucket User Cluster or tables SQL endpoint External Locations </> External Files in container / bucket Cloud Strg C 2024 Databricks Inc. - All rights reserved 12</p><p>HMS - > Unity Catalog Metadados centralizados e gerenciamento de usuários Com O Hive Metastore Com O Unity Catalog Databricks Databricks Unity Catalog Workspace Workspace User Metastore Management User User Management Management Databricks Databricks Metastore Metastore Workspace Workspace Clusters Clusters Clusters Clusters SQL Endpoints SQL Endpoints SQL Endpoints SQL Endpoints C 2024 Databricks Inc. - All rights reserved 13</p><p>Unity Catalog - Porque preciso? Data Governance Observability Dev & MLOps Security Lineage Lakehouse Monitoring DB Connect Row Level Permission Feature Store Volumes Table Insights Column Masking Governance Tag (assets) Asset discovery System Tables Model Governance (decoupled from access) Lakehouse Federation Python UDFs Unity Catalog Data Sharing Data Democratization Performance Predictive Delta Sharing Lakehouse Vector Search Optimization Al-Suggested DB Marketplace Deletion Vectors Feature Store Online Comments for Assets Model Serving Semantic Search Liquid Clustering Gateway MPT) Genie Spaces AutoML de LLMs C 2024 Databricks Inc. - All rights reserved</p><p>Funcionalidades do Lakehouse destravadas com O UC UC Hive HIVE Governance across workspaces (Access controls, metastore, Identity management) (Governance at workspace level) Automated table and column level lineage in real-time Row Filters and Column Masking (use standard SQL functions for fine-grained access controls) X Volumes (Govern non tabular data/arbitrary files - image, video, PDF etc.) X Lakehouse Federation (Discover, govern and query external databases, data warehouses, Hive Metastore, AWS Glue) X Lakehouse Monitoring (Monitor quality of data and ML models with auto generated alerts and dashboards) X Delta Sharing (Share files, tables, ML models, notebooks across clouds, regions and data platforms) X Databricks Marketplace X Databricks Cleanroom (Collaboration on data in a privacy-preserving manner) X Governance for (manage and govern ML Models, Feature store) X System Tables (end to end observability for Billing, Auditing, Lineage, Marketplace analytics) X Lakehouse Apps X Databricks Connect V2 Materialized Views X Al Powered Predictive optimization (optimizes your query plans and data layout for peak performance, intelligently X balancing read write performance) Streaming Tables X Vector Search for indexing X Serverless workflows</p><p>Processo de Upgrade para UC Link aqui 2) Vincular o 1) Gerar o 3) Migrar grupos 4) Sincronizar 5) Upgrade DBSQL Metastore ao Assessment locais tabelas externas Warehouses Workspace 6) Upgrade jobs 7) Upgrade tabelas 8) Upgrade de 9) Upgrade do para tabelas gerenciadas e jobs clusters interativos Delta Live Tables externas Upgrade 2024 Databricks Inc. - All rights reserved</p><p>Controle de acesso centralizado para dados e IA VOLUMES = Controle de acesso para dados não tabulares Cloud TABELAS = Controle de acesso para dados storage tabulares + segurança para COLUNAS E LINHAS Notebooks/ queries Feature store Outros sistemas Bronze Silver Gold Models LAKEHOUSE FEDERATION Dashboards = Governança além do MODELS = Controle de Lakehouse! acesso para IA 2022 Databricks Inc. - All rights reserved Modelos 17 Row Level Security</p><p>Catalogação assistida com databricks Search data, notebooks, recents, and more... e2-field-eng-west New Catalog Explorer unity-catalog-demo Send feedback Add Browse DBFS Serverless Share. Serverless M Workspace Catalog Recents Catalogs jsf_catalog Create schema Catalog Workflows Overview Details Permissions Workspaces org Compute jsf_catalog About this catalog default Owner: Juliandro Democratização SQL Editor Tables (8) Tags: Add tags Queries customers_dataset Add comment geolocation_dataset Dashboards order_items_dataset Alerts Produtividade order_payments_dataset Filter schemas 3 schemas Query History order_reviews_dataset SQL Warehouses orders_dataset Name Owner Created at products_dataset Genie Spaces sellers_dataset default Redução de TCO ($$) Engineering Volumes (1) ecommerce juliandro.figueiro@databricks information_schema Job Runs information_schema System user 2024-05-02 22:01:35 Data Ingestion Delta Live Tables Machine Learning Delta Sharing Playground Clean Rooms Experiments External Data Features 2024 Databricks Inc. - All rights reserved</p><p>Notebooks/queries/dashboards Joins Frequentes: Data insights frequentes: Como posso Como eu começo? enriquecer? Data data source with Catalogs schema_ Search catalog_A.schema_A.orders Create catalog catalog_A @domain.com Edit Popularity: all Comment: Add comment schema_ Models Columns Sample data Details Permissions History Lineage Insights Tables customers Show nly assets have access to loyalty_segments orders Captured usage of this table over the last 30 days Explanation on how the usage is captured promo_prices purchase_orders 1000 sales sales_orders Controle source_suppliers suppliers Ago Ago 31 Sep 11 Sep 11 Sep 17 Sep 17 Sep 23 Oct Volumes schema_B Frequent notebooks Frequent dashboards Frequent joined tables Frequent users schema_C schema_D Weekly forecast Safety Stock Planning customers user1@databricks.com catalog_B user@databricks.com user@databricks.com catalog.schema Queried this table 38 times Usuários Visão catalog_C Q3 forecast Weekly forecast loyalty_segments user2@databricks.com catalog_D user@databricks.com user@databricks.com catalog.schema Queried this table 38 times catalog_E Throughput estimations Inventory planning orders com frequentes: catalog_F user@@databricks.com user@databricks.com catalog.schema Queried this table 38 times catalog_G Purchasing procedures Supply/demand planning promo_prices user4@databricks.com user@databricks.com catalog.schema Queried this table 38 times Quem são os Operational expenses Customer analysis purchase_orders user5@databricks.com user@databricks.com user@databricks.com catalog schema Queried this table 38 times especialistas? Insights Frequent queries Inventory past 24 hours SELECT COUNT_IF(NOT IS `profile` Sales past 24 hours Updated min Refresh user@databricks.com SELECT IS profile Delta sharing New query (20) SELECT COUNT IF(NOT IS com Storage credentials Operational expenses last month SELECT COUNT IF(NOT IS profile user@databricks.com External locations Databricks Inc. - All rights reserved</p><p>Databricks Assistant New Assistant Top10 New query New query + Workspace (1000) hive_metastore default BI load test Serverless M Save Recents SELECT or for AI) or browse Data Workflows Compute SQL SQL Editor Democratização Queries Dashboards Alerts Produtividade Query History SQL Warehouses Results + Data Engineering Delta Live Tables Redução de TCO ($$) Machine Learning Assistant Experiments The Assistant can accelerate your work by diagnosing errors, Features suggesting code or queries, and answering questions. Mistakes are possible, so be sure to check facts and share your feedback. (More Models info) Serving Run a query to show the Start with picking the tables to query? Marketplace results PartnerConnect wri 2024 Databricks Inc. - All rights reserved</p><p>Unity Catalog para IA e ML churn prediction : Serve this model Type to filter Datasets + Feature Owner: retail_owners retail_prod Tables Tags: Add tags e churn Overview Details Permissions digital_prod Description Add description activity Versions Tables Version Time registered Tags Aliases Registered by Comment Version 2 2023-06-21 14:16:18 Champion paul.roome@databricks. user_features Version 1 2023-06-17 22:01:55 workload_insights Table Lineage for ML models Volumes Model version retail_prod.churn.feature_table images paul.roome@databricks.com dais-gov-keynote user_id string Models email string Version 1 Show 11 more columns retention 2 versions C 2023 Databricks Inc. - All rights reserved</p><p>Linhagem automática Arquivos Table Volume flavio_malavazi.telecom.tab_custo mer_engagements flavio.malavazi@databricks.com ne Análise de impacto customer_id string Table g_zone/arrival product_code string flavio_malavazi.telecom.silver_supe Show 6 more columns r_customer_table flavio.malavazi@databricks.com Table Análise de causa raiz customer_id int product_code string ustomers_demo.tab_customers Show 21 more columns flavio.malavazi@databricks.com Rastreabilidade customer_id int customer_name string Show 14 more columns DLT Feature store Models Fontes federadas Acesso democratizado 2024 Databricks Inc. - All rights reserved</p><p>Qualidade de dados Monitoramento e Gerenciamento da Qualidade de Dados Gartner estima $12.9M custo anual por falhas na qualidade O que podemos examinar em um dataset : Os dados são precisos em todos os detalhes? Está completo? Quão recentes são os dados? O conjunto de dados viola alguma regra de qualidade de dados? 2021 Databricks Inc. - All rights reserved</p><p>Qualidade de dados Bronze Tables Silver Tables Gold Tables Confiabilidade 21.7% 6.2% Tomada de decisão Conformidade 78.3% 93.8% 100% Redução de riscos Failed Records Passed Records C 2024 Databricks Inc. - All rights reserved</p><p>Controle de acesso centralizado 00-UC-Table-ACL SQL Detached File Edit View: Standard C Run All Clear ? Help Gestão simplificada 1 SHOW GRANTS ON TABLE uc_acl. customers Mais segurança Table : + Principal ActionType ObjectType ObjectKey Redução de risco 1 dataengineers MODIFY TABLE 2 dataengineers SELECT TABLE uc_demos_reishin_toolsi.uc_acl.customers 3 account users SELECT TABLE Showing all 3 rows. 0.19 seconds runtime 2024 Databricks Inc. - All rights reserved</p><p>Unity Catalog - Filtro de linha e coluna Lakehouse finamente governado // Row filtering Problema CREATE FUNCTION us_filter(region STRING) RETURNS BOOLEAN Gerenciar acesso a nível de linhas e colunas em RETURN if true, tabelas é fundamental para garantir segurança dos ALTER TABLE sales SET ROW FILTER us_filter ON (region) dados e compliance Solução // Column masking CREATE FUNCTION ssn_mask(ssn STRING) Com Unity Catalog, usar funções SQL para definir row RETURNS STRING RETURN if ssn, filters e column masks, para atingir este objetivo ALTER TABLE users facilmente ALTER COLUMN ssn SET MASK ssn_mask C 2022 Databricks Inc. - All rights reserved 26</p><p>View dinâmica SQL Copiar -- The regexp_extract function takes an email address such as -- user.x.lastname@example.com and extracts 'example', allowing -- analysts to query the domain name CREATE VIEW sales_redacted AS SELECT user_id, region, CASE email ELSE regexp_extract(email, 1) END FROM sales_raw C 2022 Databricks Inc. - All rights reserved 27</p><p>Complexidade excessiva no compartilhamento de dados Provedor Consumidor Batch periódico do provedor Tabela 1 ETL FTP/SSH FTP/SSH ETL Database Analista Análises /API /API Server Server Tabela 2 DIAS PARA PROCESSAR Replicação de dados Processos adicionais/manutenção Consumo significativo de tempo C 2022 Databricks Inc. - All rights reserved</p><p>Um compartilhamento para todos os destinatários CONSUMIDOR EM DATABRICKS Consumidor de dados #1 PROVEDOR DE DADOS EM DATABRICKS Acesso a views compartilhadas Provedor de dados Conexão de compartilhamento gerenciada pela Databricks Governança de dados unificada SQL API e UI Governança unificada aws Microsoft Azure Google Cloud Filtro de partições Restrições de IP de CONSUMIDOR DE DADOS acesso Consumidor de dados #2 SQL API e UI Não está em Databricks Protocolo baseado em Token aws Microsoft Azure Google Cloud Power BI pandas Java Spark elixir +ableau aws Microsoft Azure Google Cloud C 2022 Databricks Inc. - All rights reserved AWS Azure</p><p>Lakehouse Federation Descubra, consulte e governe seus dados onde eles estiverem Data Explorer Suas origes de dados governadas com UC! Data PostgreSQL > mysql Controle de acesso > postgres > retail_dev Tags Queries SQL Server DADOS SELECT * >>>> x FROM postgres.app.clicks FEDERAÇÃO DE DADOS A PARTIR DO JOIN DATABRICKS DE FORMA GOVERNADA PELO UNITY CATALOG! WHERE region = "US" 14:20 C 2024 Databricks Inc. - All rights reserved</p><p>Lakehouse Monitoring Torne a governança simples com Lakehouse Quality Tables and profiling visualizations Monitoring Data Anomaly & drift Alerts detection Models Data Attribute-base classification d policies C 2021 Databricks Inc. - All rights reserved</p><p>FinOps (Observabilidade) System tables e dashboards para gestão de custos e objetos Data+ Cost Governance $DBUs forecasts and Data Assets Utility Tables/Volumes Spend at glance Forecast Forecast spent (month date Custo, auditoria, linhagem $194K Date Date e segurança $215K Forecast Inference SDBUs Tables Created Type COUNTitable ANAGED VIEW Unity Catalog Governance Portal Dashboard describing data assets registered in Unity along with active alerts that may require attention Consultas SQL 96.8% 65,448 252 Governed Tables Users Models Jun 2023 ago Dashboards 143,275 110 Monitored Tables Tables Volumes Active Users Over Time Governance & Monitoring Coverage Over Time 100 Governed 30k Monitored 25k 20k 50 15k 10k 0 Jun 6 Jun 9 Jun 12 Jun 15 Jun 18 Jun 21 Jun 24 May 28 Jun 4 Jun 11 Jun 18 Jun 25 2023 2023 Date ago 2021 Databricks Inc. - All rights re</p><p>Observabilidade System Tables Information Auditoria Linhagem DLT Cluster Schema Tasks Billing Query SQL Warehouse Jobs Query History Logs Auditoria C 2021 Databricks Inc. - All rights reserved Dash Governança</p><p>Governança de IA Catalogação e Documentação churn prediction Serve this model Type to filter Datasets + Feature Owner: retail_owners retail_prod Tables Tags: Add tags churn Tables (8) Overview Details Permissions churn_feature_store Description Add description churn_joined_v feature_table Versions training_dataset Version Time registered Tags Aliases Registered by Comment user_chum_analysis user_features Version 2 2023-06-21 14:16:18 Champion paul.roome@databricks Volumes (1) Version 1 2023-06-17 22:01:55 paul.roome@databricks. Models (1) churn _prediction Lineage for ML models churn_bronze Table churn_gold Model version ML models retail_prod.churn.feature_table paul.roome@databricks.com prediction dais-gov-keynote user_id string email string Version 1 Show 11 more columns 2 versions C 2021 Databricks Inc. - All rights reserved</p><p>Referências 2024 Databricks Inc. - All rights reserved 35</p><p>DADOS YouTube NAS ALTURAS Dados nas Alturas Subscribe @dadosnasalturas 479 subscribers 19 videos de alta qualidade em português sobre serviços de dados na nuv.. > instagram.com/dadosnasalturas and 2 more links Databricks Unity Catalog X Dados nas Alturas 1/5 Databricks Unity Catalog Dados nas Alturas 40:24 Linhagem de Dados do Unity 2 Catalog 28:36 Dados nas Alturas Dicas de Gestão Macro de 3 Acesso no Databricks Unity... 8:51 Dados nas Alturas Restrição de Acesso a Tabelas no 4 Nível de Linha através do... 16:07 Dados nas Alturas Mascaramento de Dados na 5 Plataforma Databricks 12:08 Dados nas Alturas</p><p>Fórum de serviços financeiros databricks 2024 Acesse aqui © 2024 Databricks Inc. - All rights reserved</p><p>Referências Introdução ao Unity Catalog - Documentação Microsoft Azure (Português) https://learn.microsoft.com/pt-br/azure/databricks/data-governance/unity-catalog Instalação do Unity Catalog na AZURE - Documentação Microsoft Azure (Português) Configurando os Controles de Acesso - Documentação Microsoft Azure (Português) Metastore Criando um METASTORE Documentação Microsoft Azure (Português) Criando CATÁLOGOS - Documentação Microsoft Azure (Português) Catalog Criando um Schema (DATABASE) - Documentação Microsoft Azure (Português) Database Criando uma Tabela (DELTA) - Documentação Microsoft Azure (Português) Table C 2024 Databricks Inc. - All rights reserved 38</p>

Mais conteúdos dessa disciplina