slide aula 1

Prévia do material em texto

1
44
1
Prof. Gian Carlo Brustolin
Prof. Marco Antônio Simões Teixeira
Deep Learning
Aula 1
44
2
Conversa Inicial
44
3
Considerada como o estado da arte em áreas de 
reconhecimento de padrões
Nesta disciplina:
Teoria da aprendizagem neural profunda
CNN e camadas multifuncionais
Redes temporais
Otimização
Ferramentas e aplicações
Deep Learning
44
4
Histórico e definições
RNAs
Conceitos básicos de DL
Estruturas Neurais para DL
Ferramentas básicas para DL
Nesta aula
44
5
Histórico
44
6
IA - Máquina capaz de 
“pensar”
O primeiro artigo: 
“Computing machinery
and intelligence”, de 
Alan Turing
Histórico
William Barton/Shutterstock
1 2
3 4
5 6
2
44
7
Teste de IA de Turing: 
Uma pessoa irá 
interrogar um humano 
e um computador
Se houver dúvida, o 
equipamento é 
considerado inteligente
Histórico
Trimaker/Shutterstock
44
8
Teste de IA de Turing: 
Trouxe avanços na 
área de 
processamento de 
linguagem natural
Tentativa de reproduzir 
o cérebro humano –
neurônios
Histórico
Ranjith ravindran/Shutterstock
44
9
A partir de 1960, mudança na pesquisa de IA:
Tentativa de reproduzir o comportamento
do cérebro humano: algoritmos, 
modelagens matemáticas, heurísticas, etc.
Thomas Evans cria a Analogia
No final do século, as pesquisas em torno da 
sintetização das redes de neurais ressurgem
Histórico
44
10
IA conexionista
IA simbólica 
IA evolutiva 
Abordagens clássicas de IA
44
11
Áreas de pesquisa clássicas
IA conexionista = redes neurais artificiais
Redes neurais profundas – podem ser 
usadas para DL
IA simbólica 
IA evolutiva 
IA e DL
44
12
Taxonomia alternativa por aplicação de IA 
Expert Systems
Natural Language Processing, Visão 
Computacional, Robótica
ML
Aprendizagem de padrões
DL
IA e DL
7 8
9 10
11 12
3
44
13
As técnicas de ML se assemelham a métodos 
de análise estatística descritiva ou preditiva
A popularidade desta aproximação cresceu 
substancialmente com a disponibilidade de 
bibliotecas de algoritmos
As técnicas clássicas de ML encontram seu 
limite justamente na preparação dos datasets
ML
44
14
Representation Learning ou Feature Learning
(FL) - métodos que permitem a máquina 
consumir dados naturais e descobrir então as 
representações necessárias para o algoritmo de 
ML
Deep-learning (DL) - evoluções de FL com vários 
níveis de representação
“Pilha” de métodos de FL, obtendo-se, a cada 
passo na pilha, um maior nível de abstração
Redes neurais 
ML
44
15
Redes neurais artificiais e a Deep
Learning
44
16
Neurociência computacional - tentativa de 
simulação do processo biológico do raciocínio 
humano
Origem: trabalho do psiquiatra Warren 
McCulloch e do matemático Walter Pitts em 
1943
Redes neurais artificiais
44
17
Modelo matemático do neurônio
Redes neurais artificiais
logika600/Shutterstock Irina Dozdet/Shutterstock
44
18
1948, livro Cybernetics (Wiener) – conceitos 
de controle e processamento de sinais, 
utilizando neurônios artificiais
1949, Organization of Behavior (Hebb) –
aprendizagem fisiológica sináptica
1958 – Rosemblatt – teorema da 
convergência
Redes neurais artificiais
13 14
15 16
17 18
4
44
19
1961 – Wiener – conceitos de aprendizagem 
e auto-organização
1969 – Minsky e Papert – demostram as 
limitações nos Perceptrons de camada única
1982 – Hopfield – sistemas de aprendizagem 
estatística
Redes neurais artificiais
44
20
Redes neurais artificiais
Viktorov.pro/Shutterstock all_is_magic/Shutterstock
44
21
Um pouco sobre os conceito de Deep
Learning
44
22
ML é mais genérico e permite a utilização de 
estratégias diferentes para chegar ao mesmo 
fim
Deep Learning X Machine Learning
44
23
Deep Learning X Machine Learning
Fonte: Lawtomated, 2019. 
Input Feature extraction Classification Output 
Input Feature extraction + Classification Output 
MACHINE LEARNING
DEEP LEARNING
Car
Not Car
Car
Not Car
44
24
Técnicas tradicionais de ML 
Organização de um pipeline de algoritmos
Filtros de detecção de contornos
Redução de ruídos
Treinamento de um classificador (RNA 
totalmente conectada) 
Deep Learning X Machine Learning
19 20
21 22
23 24
5
44
25
Técnicas de DL 
Treinamento de um extrator de 
características (RNA)
Treinamento de um classificador (RNA 
totalmente conectada) 
Deep Learning X Machine Learning
44
26
Exemplos de estruturas de Deep
Learning
44
27
Há uma variedade de técnicas e formatos de 
redes aplicáveis:
Multi-layer Perceptron (MLP)
Convolutional Neural Networks (CNN)
Recurrent Neural Network (RNN)
Modular Neural Network
Exemplos de estruturas de Deep Learning
44
28
RNA tradicional para classificação de 
padrões. Baseada no modelo clássico 
Perceptron, totalmente conectada adiante
Multi-layer Perceptron (MLP)
all_is_magic/Shutterstock
44
29
CNN usada para extração de padrões. 
Baseada no modelo Perceptron, mas 
parcialmente conectada adiante
Convolutional Neural Networks (CNN)
Fonte: Run Al, 2021.
44
30
Hubel & Wieser (1968) demonstraram que o 
córtex visual:
Não analisa pixels
Possui conjuntos celulares ativados 
conforme a complexidade da região da 
imagem que os sensibiliza
Convolutional Neural Networks (CNN)
25 26
27 28
29 30
6
44
31
Os neurônios de entrada 
são seletivamente 
conectados aos neurônios 
ocultos - regiões da 
imagem ou campos 
receptivos
Camada de entrada captura 
alguns pixels por vez
Convolutional Neural Networks (CNN)
1
2
3
4
5
44
32
Convolutional Neural Networks (CNN)
ShadeDesign/Shutterstock
44
33
Classificar fotos de forma inteligente. (E.G. 
pessoas, paisagens, animais)
Tarefas de engenharia, como a automação 
industrial
Segurança por imagem: localização de 
pessoas em locais proibidos ou inseguros
Aplicações típicas de CNN
44
34
RNN utiliza algumas saídas de camadas 
intermediárias como entradas, realimentando 
a rede
É um tipo de rede temporal - consegue 
abstrair padrões no tempo, e não somente 
em dados estáticos
Recurrent Neural Network (RNN)
44
35
Recurrent Neural Network (RNN)
ShadeDesign/shutterstock
INPUT
HIDDEN I HIDDEN II
OUTPUTS
44
36
Exemplos e usos de ferramentas de 
Deep Learning
31 32
33 34
35 36
7
44
37
Biblioteca: Media Pipe Google
Disponível para várias linguagens
Android
Python
Etc.
Ferramentas de Deep Learning
44
38
Framework com diferentes ferramentas de 
tratamento de imagens
Reconhecimento de objetos
Pessoas (Pose, Face Detection, etc.)
Movimentos
Etc.
Media Pipe
44
39
O Framework é baseado em CNN tradicionais 
e profundas
As redes Media Pipe estão previamente 
treinadas
Media Pipe
44
40
Biblioteca Google com RNAs tradicionais e 
profundas
Possui bases de dados de treinamento
TensorFlow
44
41
Definindo placeholders
Treinamento em TF
Número de amostras: 
Dinâmico – define-se o lote (batch) de amostras
Número de classes de saída
44
42
Biblioteca Google que facilita a operação de 
RNAs profundas
Será utilizada em conjunto com TensorFlow
ou Theano
Keras
37 38
39 40
41 42
8
44
43
Finalizando
44
44
Introdução ao tema de DL e das RNAs
envolvidas
Prática em redes treinadas
Como treinamos uma rede?
Qual rede escolher para cada aplicação?
Finalizando
44
45
43 44
45