Aula 17 a 19 - Deep Learning - Prof Tiago Santana - Parte 2

Prévia do material em texto

Análise de Big Data Via Machine 
Learning e Inteligência Artificial
MB
A 
BIG 
DATA
Disciplina: Machine Learning
Tema da Aula: Deep learning
Prof. Tiago Santana de Nazare
Coordenação:
Profa. Dra. Alessandra de 
Ávila Montini
MB
A 
BIG 
DATA
Título
• Conteúdo 2
Currículo
Tiago Santana de Nazare 
tiagosn92@gmail.com
Formação 
● Bacharel em Ciências de Computação, USP (2010 - 2015)
• Universidade do Porto (2013 - 2014)
● Doutorado em Visão Computacional, USP (2015 - ...) 
• Universidade de Roma (2016)
Experiência Corporativa
● Cientista de Dados no Itaú-Unibanco (2017 - 2019)
• Machine Learning Immersion, Google, California (2017)
● Professor da FIA (2018 - ...)
● Cientista de Dados TFG (2019)
● Especialista em Ciência de Dados no Santander (2019 - ...)
Tiago Santana de Nazare 
tiagosn92@gmail.com
Gosto bastante de Visão Computacional
● Trabalho com Visão Computacional desde 2010
e de Hamburguers ...
mailto:tiagosn92@gmail.com
mailto:tiagosn92@gmail.com
mailto:tiagosn92@gmail.com
mailto:tiagosn92@gmail.com
MB
A 
BIG 
DATA
Redes Neurais Recorrentes - RNNs
Redes neurais para lidar com sequências
MB
A 
BIG 
DATA
São redes neurais criadas para tratar sequências de dados:
● Textos
● Áudios 
● Séries temporais obtidas de sensores
Nos últimos anos foram propostos diversos tipos de RNNs:
● LSTM, GRU, ...
O que são RNNs?
MB
A 
BIG 
DATA
Como redes neurais (densas) lidam com sequências?
Imagine que você está lendo um livro:
1. Como você entende o significado de cada palavra?
1. Como você entende cada frase?
E se uma rede neural (densa) fosse fazer o mesmo...
● Quais limitações ela poderia ter?
MB
A 
BIG 
DATA
Ao contrário das redes densas, as RNNs têm um mecanismo de loop:
Porque RNNs lidam melhor com sequências?
https://colah.github.io/posts/2015-08-Understanding-LSTMs/
https://colah.github.io/posts/2015-08-Understanding-LSTMs/
MB
A 
BIG 
DATA
Elas usam uma camada densa com função de ativação tanh:
Como as RNNs são internamente?
https://colah.github.io/posts/2015-08-Understanding-LSTMs/
https://colah.github.io/posts/2015-08-Understanding-LSTMs/
MB
A 
BIG 
DATA
Notebook para estudo:
● keras_rnn_ibm_stock.ipynb
RNNs usando Keras - Previsão do valor de uma ação
MB
A 
BIG 
DATA
Imagine vamos usar uma RNN para prever a próxima palavra de um texto:
Caso 1: a informação necessária para prever aparece “perto”:
● O céu é azul.
Caso 2: a informação necessária para a previsão está “longe”:
● João nasceu na França em 1990, viveu em Paris até os 17 anos
quando se mudou para Lyon para estudar música… Além do francês,
também fala...
RNNs e o problema das “Long-Term Dependencies”
MB
A 
BIG 
DATA
Caso 1: a informação necessária para prever aparece “perto”:
Caso 2: a informação necessária para a previsão está “longe”:
RNNs e “Long-Term Dependencies”
https://colah.github.io/posts/2015-08-Understanding-LSTMs/
https://colah.github.io/posts/2015-08-Understanding-LSTMs/
MB
A 
BIG 
DATA
A informação só é transmitida para o próximo estado pela saída da rede: 
RNNS têm memória “curta”
Só a resposta é 
transmitida
https://colah.github.io/posts/2015-08-Understanding-LSTMs/
https://colah.github.io/posts/2015-08-Understanding-LSTMs/
MB
A 
BIG 
DATA
Transmite outros 
dados =)
● LSTM = Long short-term memory 
LSTMs tratam “Long-Term Dependencies”
https://colah.github.io/posts/2015-08-Understanding-LSTMs/
https://colah.github.io/posts/2015-08-Understanding-LSTMs/
MB
A 
BIG 
DATA
MB
A 
BIG 
DATA
Símbolos da Figura da LSTM
https://colah.github.io/posts/2015-08-Understanding-LSTMs/
https://colah.github.io/posts/2015-08-Understanding-LSTMs/
MB
A 
BIG 
DATA
A rede transmite um valor (Ct) que não depende da resposta (ht):
LSTMs podem manter um “estado”
https://colah.github.io/posts/2015-08-Understanding-LSTMs/
https://colah.github.io/posts/2015-08-Understanding-LSTMs/
MB
A 
BIG 
DATA
ft é resultado de uma camada com ativação sigmoid (valores entre 0 e 1):
● valores próximos de 0 fazer o modelo esquecer
● valores próximos de 1 fazer o modelo lembrar
LSTMs podem “esquecer” seu estado
https://colah.github.io/posts/2015-08-Understanding-LSTMs/
https://colah.github.io/posts/2015-08-Understanding-LSTMs/
MB
A 
BIG 
DATA
A rede escolhe “esquecer” ou “lembrar” das informações anteriores:
● é um estado candidato
● decide o quanto queremos atualizar o estado
O estado da LSTM usa memória de curto e longo prazo
https://colah.github.io/posts/2015-08-Understanding-LSTMs/
https://colah.github.io/posts/2015-08-Understanding-LSTMs/
MB
A 
BIG 
DATA
A rede escolhe “esquecer” ou “lembrar” das informações anteriores:
O estado da LSTM usa memória de curto e longo prazo
https://colah.github.io/posts/2015-08-Understanding-LSTMs/
Antigo Novo
https://colah.github.io/posts/2015-08-Understanding-LSTMs/
MB
A 
BIG 
DATA
A saída da LSTM é gerada pela combinação de 3 elementos:
● a entrada xt
● a saída anterior ht-1
● o estado atual Ct
Por fim... a previsão =)
https://colah.github.io/posts/2015-08-Understanding-LSTMs/
https://colah.github.io/posts/2015-08-Understanding-LSTMs/
MB
A 
BIG 
DATA
Notebook para estudo:
● keras_lstm_imdb.ipynb
LSTMs no Keras - Classificação de reviews de filmes
MB
A 
BIG 
DATA
MB
A 
BIG 
DATA
Sei tudo de Deep Learning!!!
sqn
MB
A 
BIG 
DATA
● Autoencoders
● Variational Autoencoders
● GANs - Generative Adversarial Networks
● Siamese Networks
● Deep Reinforcement Learning
● ...
Outros tópicos interessantes
MB
A 
BIG 
DATA
Sei nada de Deep Learning!!!
=(
MB
A 
BIG 
DATA
MB
A 
BIG 
DATA
MB
A 
BIG 
DATA
The fact is, there aren't 
just two sides to any 
issue, there's almost 
always a range of 
responses, and “it 
depends” is almost 
always the right answer 
in any big question
	Número do slide 1
	Número do slide 2
	Número do slide 3
	Número do slide 4
	Número do slide 5
	Número do slide 6
	Número do slide 7
	Número do slide 8
	Número do slide 9
	Número do slide 10
	Número do slide 11
	Número do slide 12
	Número do slide 13
	Número do slide 14
	Número do slide 15
	Número do slide 16
	Número do slide 17
	Número do slide 18
	Número do slide 19
	Número do slide 20
	Número do slide 21
	Número do slide 22
	Número do slide 23
	Número do slide 24
	Número do slide 25
	Número do slide 26
	Número do slide 27
	Número do slide 28