Aula14 -Revisao(1)

Prévia do material em texto

DATA
APPLICATIO
N
 
Prof: Flávio Dusse
AULA1: 30/05/2023
Tema: Revisão
1
FASES DA MODELAGEM
2
FASES DA MODELAGEM
•
•
•
•
•
•
•
•
•
 Projeto conceitual
 Modelos conceituais
 DER
 Projeto lógico
Modelos lógicos
Modelo Relacional
 Projeto físico
Modelos físicos
SQL 3
CRIAR TABELAS
CREATE TABLE Produtos(
PK_pro INT,
nome VARCHAR(50),
valor FLOAT,
FK_for INT,
PRIMARY KEY(PK_pro),
FOREIGN KEY(FK_for) REFERENCES Fornecedores(PK_for)
) 4
DML
•
•
 Selecionar mais de uma Tabela
 Usando WHERE
 
SELECT *
FROM Produtos, Fornecedores
WHERE FK_for = PK_for
5
DML
•
•
 Selecionar mais de uma Tabela
 Usando JOIN
 
SELECT *
FROM Produtos
JOIN Fornecedores ON FK_for = PK_for
6
VISÃO GERAL DE BANCO DE
DADOS ORIENTADO A OBJETOS
•
•
•
•
•
•
 Banco de Dados Orientado a Objetos (BDOO)
 Banco de Dados de Objetos (BDO)
 Sistemas de Gerenciamento de Bancos de
Dados Orientado a Objeto (SGBDOO)
 Propostos para atender necessidades de
aplicações mais complexas
 Estrutura dos objetos complexos
 Operações que podem ser aplicadas a esses
objetos 7
REVISÃO DE ORIENTAÇÃO A
OBJETOS
•
•
•
•
•
•
•
•
 Abstração digital do mundo real
 Composição e interação entre diversas unidades
chamadas de classes e objetos (instanciamento)
 Representam objetos reais contendo identidade,
propriedades e métodos
 Baseado em quatro principais componentes da
programação OO:
Abstração
Encapsulamento
Herança
Polimorfismo 8
ODMG
•
•
•
O Object Data Management Group
(ODMG) é uma organização de
fabricantes e usuários de SGBDOOs que
vem criando padrões para tais sistemas
 Baseia no Object Definition Language
(ODL) e no Object QueryLanguage (OQL)
provê uma terminologia padrão para os
conceitos de bancos de dados de objetos. 9
EXEMPLOS DE
•
•
•
•
•
•
•
•
•
 Caché
 C++, Java
 O2
 C++
 Jasmine
 C++, Java
 Ozone
 Java
 ... 10
MAPEAMENTO DER -> RELACIONAL
11
MAPEAMENTO OBJETO -> RELACIONAL
12
UML
FRAMEWORKS
MAPEAMENTO OBJETO -> DOCUMENTOS
13
UML
JSON
MAPEAMENTO OBJETO -> OBJETO
14
MAPEAMENTO DER -> OBJETO
15
MINERAÇÃO DE DADOS
•
•
 Aplicação de processos de análise
inteligentes, buscando padrões e
visando manipulação automática de
quantidades imensas de dados
 Larga aplicação nos mais variados
ramos da indústria, comércio,
medicina, governo, administração, etc.
16
EXEMPLO 1
•
•
•
•
 Fraldas e cervejas
 Homens casados, entre
25 e 30 anos compravam fraldas ou cervejas
às sextas-feiras à tarde no caminho do
trabalho para casa
 Wal-Mart otimizou as gôndolas nos pontos
de vendas, colocando as fraldas ao lado das
cervejas
 Resultado: o consumo cresceu 30% 17
PROCESSO KDD
PROCESSO ETL
18
EXTR
AÇÃO
TRANSFORMAÇÃ
O
LOAD
HISTÓRICO OLAP
•
•
 O termo OLAP foi usado pela
primeira vez por Edgar Frank Codd, o
qual também definiu doze regras para
as aplicações OLAP
 Curiosidade: Codd também
propôs o DER e contribuiu com
SQL 19
OLTP
•
•
•
•
 Online Transaction Processing
 Processamento de transações online
 Caracterizadas por vários usuários criando,
atualizando ou acessando registros individuais
 Aplicações OLAP são usados por analistas e
gerentes que frequentemente desejam uma
visão agregada de alto nível dos dados, como
total de vendas por produto, por região, etc. 20
DATA WAREHOUSE
• Armazém de dados é utilizado para
armazenar informações relativas às
atividades de uma organização
em bancos de dados, de forma
consolidada. O desenho da base de
dados favorece os relatórios, a análise
de grandes volumes de dados e a
obtenção de informações estratégicas 21
DATA WAREHOUSE
• dados não são voláteis, ou seja, eles
não mudam, salvo quando é
necessário fazer correções de dados
previamente carregados. Os dados
são cópias, não são de produção,
estão disponíveis somente para
leitura e não podem ser alterados
22
23
ONLINE ANALYTICAL
PROCESSING (OLAP)
•
•
•
 Processamento Analítico Online
 OLAP descreve uma classe de tecnologia que são
designadas para livres acessos e análises ad hoc
 OLAP tem sido considerado um sinônimo de visões
multidimensionais de dados de negócio. Essas
visões multidimensionais são suportadas por uma
tecnologia multidimensional de bando de dados
24
25
OLAP
 Transacional
OLTP
Analítico
OLAP
Objetivo Operação Estratégico
Visão de Dados Relacional Multidimensional
Nível de Dados Atomizada Sumarizada
Idade de Dados Presente Histórico
Transações 1 por vez Muitas de uma vez
Operações Inserir, Atualizar, Deletar e
Selecionar
Carga e Selecionar
Número de
Usuário
Milhares, milhões Dezenas
Volume de
Dados
Megabytes Giga-Terabytes 26
27
BANCO DE DADOS TEMPORAIS
•
•
•
 Também chamado de
Banco de Dados de Séries
Temporais
 Surgiu no meio científico
 Surge para aplicações
específicas devido as
limitações dos Banco de
Dados Relacionais 28
BANCO DE DADOS TEMPORAIS
•
•
•
•
•
•
 Limitações dos Banco de Dados
Relacionais
 Não endereçam a dimensão tempo
 Passado
 Presente
 Futuro
 Dados do tempo corrente
29
CARACTERÍSTICAS
30
ANTES / DEPOI
IGUAL
ENCONTRA
SOBREPÕE
CONTÉM
INICIA
FINALIZA
COMO FUNCIONA
•
•
•
•
•
•
•
•
•
 Trabalha com período
 tempo de início e tempo de fim
 Inserção
 cria-se um registro com tempo de início válido e tempo de fim
em branco
 Exclusão
 altera-se o registro com tempo de fim válido
 Alteração
 altera-se o registro com tempo de fim válido
 cria-se um registro com tempo de início válido e tempo de fim
em branco 31
BANCO DE DADOS PARA INTERNET
•
•
 ????????????
 Banco de Dados Orientados a
Documentos
32
BANCO DE DADOS
ORIENTADO A DOCUMENTOS
•
•
•
 Também visto como Banco de Dados
Hierárquico
 Modelo de banco de dados projetado
para armazenar, recuperar e gerenciar
informações orientadas a documentos,
também conhecidas como dados semi-
estruturados
 O que são documentos ? 33
CENÁRIOS
1. Notas Fiscais
34
CENÁRIOS
2. Prontuários
Médicos
35
CENÁRIOS
3. Objetos
Gráficos
Complexo
s
36
CENÁRIOS
4. Intercâmbio
de registros
de animais
pré-
histórico
entre
museus
37
CENÁRIOS
5. Maior coleção
de informações
químicas
livremente
acessíveis.
38
CENÁRIOS
•
•
•
•
•
•
•
 Que esses cenários tem em comum?
 Como acessar esses dados?
 Como entregar (transferir) esses dados para
algum ente externo ao meu BD?
 Interoperabilidade
 Tabelas = Muito fragmentado
 Dados tem aspectos hierárquicos
 Empacotar em dados semiestruturados 39
BANCO DE DADOS
ORIENTADO A DOCUMENTOS
•
•
•
•
•
•
•
 Principal categoria de Banco de Dados
NoSQL
 Baseado no conceito chave-valor
 Tipos
 Banco de Dados XML
 Banco de Dados JSON
 Banco de Dados Orientado a Grafos
 Entre outros (Ex: YAML, BSON, ..)
40
NOSQL
•
•
•
 Bancos de dados distribuídos com foco no
armazenamento de dados semiestruturados,
alto desempenho, disponibilidade,
escalabilidade e replicação de dados.
 Flexibilidade NoSQL suporta uma série de
problemas impostos em bases de dados
relacionais
 Facilidade na manipulação de um grande
volume de dados 41
NOSQL: CHAVE-VALOR
•
•
•
•
 Modelo de banco de dados
projetado para armazenar, recuperar
e gerenciar informações orientadas a
documentos
 Ex:
 tag XML
 “chave”: valor (ou “valor”) do JSON
42
XML
• “George R. R. Martin escreveu o livro
A Guerra dos Tronos”
 
 
43
<autor>George Martin</autor> <ação>escreveu o livro A
Guerra dos Tronos</ação>
<autor> <ação>
George
Martin
escreveu o livro A Guerra dos
Tronos
ELEMENTOS XML
 
44
<sentença><autor>George Martin</autor>
<ação>escreveu o livro A Guerra dos Tronos</ação></
sentença>
<autor> <ação>
George
Martin
escreveu o livro A Guerra dos
Tronos
<sentença>
ELEMENTOS XML
• Para melhor leitura
45
<sentença>
<autor>George Martin</autor>
<ação>escreveu o livro A Guerra dos Tronos</ação>
</sentença>
ELEMENTOS XML
• Podemos agregar mais informações
46
<sentença>
<autor>George Martin</autor>
<ação>escreveu o
<publicação>
<tipo>livro</tipo>
<título>A Guerra dos Tronos</título>
</publicação>
</ação>
</sentença>
47
<autor> <ação>
George
Martin
escreveu
o
<sentença>
<publicação><tipo> <título>
livro A Guerra dosTronos
ATRIBUTOS XML
48
<sentença>
<autor cpf=“111.111.111-11” nascimento=“20/09/1948” sexo=“M”>
George Martin
</autor>
<ação>escreveu o
<publicação>
<tipo>livro</tipo>
<título>A Guerra dos Tronos</título>
</publicação>
</ação>
</sentença>
EXEMPLOS JSON
49
EXEMPLOS JSON
50
51
 ENGENHARIA DE
DADOS
CIÊNCIAS DE DADOS
PROFISSION
AL
Engenheiro de Dados Cientista de Dados
FOCO Infraestrutura de coleta,
processamento, armazena-
mento e integração dos
dados
Extração de insights e
conhecimento a partir dos
dados.
FERRAMENT
AS
Pipelines de dados;
Arquiteturas
Métodos estatísticos;
Algoritmos de aprendizagem de
máquina;
Técnicas de visualização de
dados.
EXEMPLOS Hadoop e Spark Python e Jupyter
PREOCUPAÇ Eficiência, segurança e Descobrir informações valiosas;
BIG DATA
•
•
 Big data refere-se a conjuntos de dados
extremamente grandes e complexos que
excedem a capacidade de
processamento e armazenamento dos
sistemas tradicionais de gerenciamento
de dados.
 Esses conjuntos de dados são
caracterizados por "Vs":
52
3 Vs
•
•
•
 Volume
 Velocidade
 Variedade
53
4 Vs
•
•
•
•
 Volume
 Velocidade
 Variedade
 Veracidade
54
5 Vs
•
•
•
•
•
 Volume
 Velocidade
 Variedade
 Veracidade
 Valor
55
6 Vs
•
•
•
•
•
•
 Volume
 Velocidade
 Variedade
 Veracidade
 Valor
 Visualização
56
7 Vs
•
•
•
•
•
•
•
 Volume
 Velocidade
 Variedade
 Veracidade
 Valor
 Visualização
 Variabilidade 57
7 Vs EM INGLÊS
•
•
•
•
•
•
•
 Volume
 Velocity
 Variety
 Veracity
 Value
 Visualization
 Variability 58
7 Vs
•
•
•
•
•
•
•
•
 Volume
 escala massiva de dados gerados e
acumulados, que superam a capacidade de
armazenamento e processamento tradicional
(Tera, petabytes)
Velocidade
 Variedade
 Veracidade
 Valor
 Visualização
Variabilidade
59
7 Vs
•
•
•
•
•
•
•
•
 Volume
 Velocidade
 rapidez com que os dados são gerados e
processados, incluindo dados em tempo real e
fluxos contínuos de informações
 Variedade
 Veracidade
 Valor
 Visualização
 Variabilidade
60
7 Vs
•
•
•
•
•
•
•
•
 Volume
Velocidade
 Variedade
 diversidade de tipos de dados, como dados
estruturados, semi e não estruturados: texto,
imagem, áudio, vídeo, redes sociais, sensores,
etc.
 Veracidade
 Valor
 Visualização
 Variabilidade
61
7 Vs
•
•
•
•
•
•
•
•
 Volume
Velocidade
Variedade
 Veracidade
 qualidade e confiabilidade dos dados,
considerando erros, ruídos, inconsistências e a
necessidade de garantir a precisão dos dados
Valor
Visualização
Variabilidade
62
7 Vs
•
•
•
•
•
•
•
•
 Volume
Velocidade
Variedade
Veracidade
 Valor
 extrair insights e valor dos dados coletados:
transformar informações em conhecimento
acionável e criar benefícios tangíveis
Visualização
Variabilidade
63
7 Vs
•
•
•
•
•
•
•
•
 Volume
Velocidade
Variedade
Veracidade
Valor
 Visualização
 representação gráfica dos dados para facilitar
a compreensão e a interpretação dos padrões,
tendências e insights
Variabilidade
64
7 Vs
•
•
•
•
•
•
•
•
 Volume
Velocidade
Variedade
Veracidade
Valor
Visualização
 Variabilidade
 natureza inconsistente e diversificada dos
dados, incluindo volatilidade em formatos,
estruturas, frequências, e fontes; requer
técnicas flexíveis e adaptáveis 65
VISUAL ANALYTICS
•
•
•
•
•
•
•
•
•
 “Não vemos com nossos olhos, mas com nossos
cérebros”
 “Detectar o esperado e descobrir o inesperado”
 Cada vez mais a área de dados está se
“multidisciplinarizando”
 Computação
 Estatística
 Gestão
 Ciências Sociais
 Psicologia
 Domínio da aplicação 66
PRÓXIMA AULA
• PROVA (AV2)
67