Logo Passei Direto
Buscar
Material
páginas com resultados encontrados.
páginas com resultados encontrados.

Escolha uma das opções e acesse esse e outros materiais sem bloqueio. 🤩

Cadastre-se ou realize login

Ao continuar, você aceita os Termos de Uso e Política de Privacidade

Escolha uma das opções e acesse esse e outros materiais sem bloqueio. 🤩

Cadastre-se ou realize login

Ao continuar, você aceita os Termos de Uso e Política de Privacidade

Escolha uma das opções e acesse esse e outros materiais sem bloqueio. 🤩

Cadastre-se ou realize login

Ao continuar, você aceita os Termos de Uso e Política de Privacidade

Escolha uma das opções e acesse esse e outros materiais sem bloqueio. 🤩

Cadastre-se ou realize login

Ao continuar, você aceita os Termos de Uso e Política de Privacidade

Escolha uma das opções e acesse esse e outros materiais sem bloqueio. 🤩

Cadastre-se ou realize login

Ao continuar, você aceita os Termos de Uso e Política de Privacidade

Escolha uma das opções e acesse esse e outros materiais sem bloqueio. 🤩

Cadastre-se ou realize login

Ao continuar, você aceita os Termos de Uso e Política de Privacidade

Escolha uma das opções e acesse esse e outros materiais sem bloqueio. 🤩

Cadastre-se ou realize login

Ao continuar, você aceita os Termos de Uso e Política de Privacidade

Escolha uma das opções e acesse esse e outros materiais sem bloqueio. 🤩

Cadastre-se ou realize login

Ao continuar, você aceita os Termos de Uso e Política de Privacidade

Escolha uma das opções e acesse esse e outros materiais sem bloqueio. 🤩

Cadastre-se ou realize login

Ao continuar, você aceita os Termos de Uso e Política de Privacidade

Escolha uma das opções e acesse esse e outros materiais sem bloqueio. 🤩

Cadastre-se ou realize login

Ao continuar, você aceita os Termos de Uso e Política de Privacidade

Prévia do material em texto

Redes neurais feedforward
Prof. Fernando Cardoso Durier da Silva
false
Descrição
Conceitos de redes neurais feedforward e sua aplicação em processos
de descoberta de conhecimento em bases de dados.
Propósito
Conhecer redes neurais feedforward é fundamental para o profissional
da área de ciência de dados, uma vez que os resultados oriundos de sua
aplicação permitem descobrir padrões prévios, classificar novas
observações ou calcular resultados de regressões.
Preparação
Para a compreensão dos exemplos e sua reprodução, é importante que
você tenha instalado, em sua máquina de estudos, o Python na versão
3.8 ou acima, e as bibliotecas Pandas, Numpy, Sklearn e Plotly. Será
necessária também uma ferramenta para execução de notebooks, como
Jupyter, que pode ser instalado como uma biblioteca do Python, além do
notebook que será utilizado na parte prática do tema.
Objetivos
https://stecine.azureedge.net/repositorio/00212ti/03139/docs/notebook.zip
Módulo 1
Conceitos básicos
Identificar conceitos básicos de redes neurais artificiais.
Módulo 2
Algoritmo de backpropagation
Descrever o funcionamento do algoritmo de backpropagation e do
otimizador de gradiente descendente.
Módulo 3
Tensorflow/Keras
Aplicar redes neurais feedforward usando Tensorflow/Keras.
Na área de inteligência artificial (IA), temos dois grandes grupos de
conhecimento, um chamado de inteligência artificial simbólica e
outro de inteligência artificial subsimbólica. Basicamente, o que os
difere é o processo de aprendizado e, ainda que ambos se
enquadrem em aprendizado supervisionado e não supervisionado,
o tipo de processamento varia.
Nos modelos simbólicos, temos o aprendizado baseado em regras,
propriedades e lógica; nos modelos subsimbólicos, temos o
aprendizado direto dos dados, ou a experiência, uma vez que esses
modelos não precisam de etapas de pré-processamento para
funcionar, pois isso já está "embutido" em seu funcionamento. As
redes neurais artificiais, por exemplo, pertencem ao grupo de IA
subsimbólica.
Introdução
Frank Rosenblatt (1928-1971)
Psicólogo americano conhecido no campo da inteligência artificial
como criador do perceptron. Por vezes, é chamado de pai do
aprendizado profundo, juntamente com outros pesquisadores de
renome.
1 - Conceitos básicos
Ao final deste módulo, você será capaz de identificar conceitos básicos de redes neurais
artificiais.
Um dos primeiros modelos de IA subsimbólica foi o perceptron,
criado em 1958, por Frank Rosenblatt, no laboratório aeronáutico
da Universidade de Cornell. O perceptron simulava um neurônio
que, assim como a sua contraparte biológica, tinha entradas e
saídas por onde os estímulos passam, e uma função de ativação
que leva entradas a um domínio desejado, de camada em camada,
segundo o conjunto de dados. Individualmente, cada perceptron
pode ser encarado como um classificador linear. O conjunto desses
neurônios é uma rede neural artificial do tipo alimentação avante
(feedforward), em que a saída de uma camada é usada como
entrada para a próxima camada.
Tipos de redes neurais artificiais
Existem vários tipos de redes neurais, com arquiteturas e poderes
computacionais diferentes, como:

Redes neurais convolucionais

Redes Neurais recorrentes

Redes neurais feedforward
A área de redes neurais é muito vasta e sempre está caminhando para
novas evoluções e variações de modelos, dependendo apenas de quais
problemas vamos tentar solucionar com essas redes. A seguir,
conheceremos um pouco mais sobre as redes neurais mencionadas.
Redes neurais convolucionais
As redes neurais convolucionais (convolutional neural networks ou
CNN) são redes muito utilizadas em processamento de imagens. Sua
arquitetura é composta de camadas de entrada (input), saída (output) e
camadas escondidas (hidden ou camadas ocultas) diferenciadas dos
demais tipos, por contarem com filtros, normalmente matrizes que
“deslizam” sobre a entrada de dados. Essas redes mapeiam de forma
equivariante os pesos e os filtros para as camadas subsequentes, por
isso, são invariantes ao espaço e ao deslocamento. A imagem a seguir
ilustra o funcionamento dessas redes.
Rede Neural Convolucional.
A grande vantagem desse tipo de rede neural é sua maior autonomia.
Para processamentos de imagem, por exemplo, não é preciso ter filtros
preestabelecidos pelo cientista de dados, pois a rede consegue
apreender o melhor núcleo de filtragem (matriz de filtragem).
Redes neurais recorrentes
As redes neurais recorrentes (recurrent neural network ou RNN) são
usadas em problemas sequenciais ou temporais. Tendo a estrutura de
um grafo direcionado com ciclos, essa rede é capaz de recorrentemente
fazer laços sobre as entradas, permitindo a compreensão de
sequenciamento dos dados. A arquitetura mais conhecida de todas as
redes neurais dessa categoria é a LSTM (long short-term memory),
inventada por Hochreiter e Schmidhuber, em 1997. O que as diferencia
de seus concorrentes é o fato de terem portas (gates) de esquecimento,
superficialmente falando, fazendo com que a rede não exagere nos
pesos (nem para mais, nem para menos), pois em redes RNN comuns, o
gradiente (base do aprendizado desse tipo de modelo) pode acabar
sumindo à medida que se propaga para trás, ou aumentando
indiscriminadamente à medida que se propaga para frente.
Redes neurais recorrentes.
Hochreiter e Schmidhuber
Josef Hochreiter é um cientista de computação alemão reconhecido na
área de Machine Learning. Com seu professor e renomado pesquisador
alemão, Jürgen Schmidhuber, tem contribuído com numerosas
publicações na área de aprendizado profundo, com destaque para a
rede neural recorrente denominada long short-term memory (LSTM).
Para evitar o problema computacional de exageros nos gradientes, esse
tipo de rede conta com as suas unidades de memória de curto prazo,
que servem para se lembrar dos estados anteriores (evitando que o
gradiente suma), e podem ser reguladas com pequenos episódios de
perda de memória desejada (para não exacerbar os gradientes).
Redes neurais feedforward
Neste conteúdo, vamos focar nas redes neurais artificiais do tipo
alimentação avante (feedforward neural networks ou FNN). Essas redes
neurais se caracterizam pelo fato de serem grafos bipartidos completos
acíclicos, ou seja, todos os nós se conectam aos próximos da camada
subsequente de modo a não fazer ciclos, e isso é possível graças ao
fato de a propagação da informação ser feita apenas em uma direção. A
imagem a seguir ilustra uma rede neural feedforward.
Exemplo de Rede Neural Feedforward.
Na imagem é possível perceber três diferentes tipos de camada:
A camada de entrada é de tamanho (quantidade de nós)
proporcional à dimensão do conjunto de dados em questão, em
que cada característica se torna um nó da camada de entrada.
Entre a entrada e a saída, temos as camadas escondidas
(ocultas) de tamanhos variáveis, na quais acontece a construção
do conhecimento para descobrir padrões e, por isso, a
inteligência de um modelo neural não só é proporcional à
extensão da camada escondida, como também está ali a
encarnação desse conhecimento, assim como nosso sistema
nervoso natural.
A camada final é de tamanho proporcional às possibilidades de
classificação em um problema (na classificação binária, podem
Input layer ou camada de entrada 
Hidden layer ou camada oculta 
Output layer ou camada de saída 
ser 2 nós, na ternária 3, e assim sucessivamente), e pode ter
tamanho único, se estivermos falando de uma regressão.
Atenção!
Na rede neural feedforward, sendo a primeira a ser implementada e mais
simples em termos de complexidade computacional, a informação flui
da camada de entrada até a de saída, o que significa que não há loops
na rede, já que os dados sempre são alimentados para a frente, nunca
são enviados de volta.
Por causa da natureza empírica e subsimbólica da rede neural, quanto
maior e de melhor qualidade for o conjunto de dados, melhor será o
desempenho finalda rede, uma vez que, ao replicar o comportamento
biológico, podemos até fazer uma associação com os anos que
passamos estudando e/ou vivendo experiências para nos tornarmos
bons profissionais em nossas áreas de atuação. Mas o principal motivo
é que, diferentemente dos modelos subsimbólicos, os modelos
simbólicos se equipam de regras de associação, ou formalismos pré-
configurados em seus algoritmos, para fazerem inferências com menos
dados do que uma rede neural, sem perder muito em acurácia ou
precisão.
Funções de ativação
As redes neurais artificiais, assim como os modelos de IA simbólica,
como a floresta aleatória, máquina de vetores de suporte etc., também
possuem hiperparâmetros, que são configurações em modelos de
aprendizado de máquina que regem seu bom funcionamento e servem
para ajustar e sintonizar os seus resultados. Por exemplo:
Árvore de decisão
Temos altura, número máximo de folhas etc.
Algoritmo KNN (K Nearest Neighbor)
Temos o número K.
Florestas aleatórias
Temos altura das árvores, quantidade de classificadores por floresta etc.
O primeiro hiperparâmetro das redes neurais de um modo
geral, independentemente de tipo, são as funções de
ativação.
Funções de ativação são os elementos de decisão nesse tipo de modelo
de aprendizado de máquina. Cada neurônio pode aprender limiares de
decisão lineares e não lineares, baseados no tipo de função de ativação
que ele adotar. E ainda há o tipo de função de ativação para normalizar
os resultados, evitando que, por efeito cascata, os resultados de cada
neurônio cresçam ou diminuam indiscriminadamente. A seguir, veremos
algumas funções de ativação.
Sigmoide
A sigmoide mapeia um valor de entrada no eixo X para valores ente 0 e 1
no eixo Y. O nome sigmoide vem do formato em “S” da função, cuja
função matemática correspondente para todo x real é:
A imagem a seguir ilustra o gráfico da função sigmoide.
Gráfico Função sigmoide.
Extraído de MartinThoma / Wikimedia Commons / CC BY 3.0
f(x) =
1
1 + e−x
Tangente (tanh)
É parecida com a sigmoide, mas tem uma extensão maior do
contradomínio. Essa função mapeia valores de entrada no eixo X para
valores entre -1 e 1 no eixo Y. O “h” em tanh vem de hiperbólica, também
conhecida como tangente hiperbólica, obtida pela razão entre o seno e o
cosseno hiperbólico, assim como a contraparte trigonométrica
tradicional. Simplificadamente, é descrita com a equação seguir.
A função tangente hiperbólica também pode ser descrita em gráfico,
conforme ilustrado a seguir:
Gráfico: Função tangente hiperbólica (tanh).
Extraído de Geek3 / Wikimedia Commons / CC BY 3.0
ReLU (rectified linear unit)
Também chamada de função de unidade retificada linear, a ReLU
permite apenas a passagem de dados positivos, ou seja, mapeando
valores de entrada no eixo X para valores positivos maiores ou iguais a
zero no eixo Y. A função ReLU é denotada por:
tanh(x) =
ex − e−x
ex + e−x
O gráfico da função ReLU e da sua alternativa GELU (gaussian error
linear unit), que é uma aproximação do retificador com erro gaussiano,
está ilustrado a seguir:
Gráfico: Função ReLU em azul e GELU em verde.
Extraído de Ringdongdang / Wikimedia Commons / CC BY-SA 4.0
Atenção!
Existem muitas outras funções de ativação, além de ser possível a
customização com funções próprias do cientista de dados. Cada função
de ativação tem suas características, benefícios, desvantagens e
motivos para serem usadas. Então, a escolha deve ser feita com cautela,
pelo método de ajuste de hiperparâmetros (validação cruzada pelos
resultados das variações de escolhas).
Arquitetura de camadas
Outro hiperparâmetro de uma rede neural é sua arquitetura de camadas,
especificamente a das camadas escondidas, uma vez que as de entrada
e de saída são travadas pelas dimensões do conjunto de dados e pelas
especificações de resultados do problema em questão (classificação,
ou regressão).
f(x) = max(0,x)
Antes de discutirmos a camada oculta, precisamos entender uma
especificidade da camada de saída, de onde são extraídas as predições.
Cada tipo de problema a ser resolvido nos leva à escolha de uma função
de ativação para essa camada, como os seguintes exemplos:
Classificação binária
Usaremos uma sigmoide, já que nosso domínio de respostas é 0 ou 1.
Problemas multiclasse
Usaremos a função softmax, que é uma generalização da sigmoide para
mais de uma classe.
Regressão
Usaremos uma função de unidade linear.
Vejamos as camadas da arquitetura de uma rede neural feedforward:
Arquitetura de uma rede neural feedforward.
A camada oculta ou escondida (do inglês hidden) pode ser mais
profunda, ou seja, ter maior quantidade de subcamadas ocultas, e pode
ser mais densa, ou seja, maior número de nós por subcamada oculta.
Além disso, cada subcamada oculta por si só pode ter uma função de
ativação, ou pode ter uma função diferente por subcamada. Tudo
depende do tipo de problema em questão a ser resolvido.
Exemplo
Uma rede neural que detecte imagens de números, pode ter 3 camadas
(subcamadas) ocultas, sendo uma para detectar traços (com função de
ativação ReLU), uma para detectar círculos (com função sigmoide), e
uma camada que detecte a intersecção entre esses dois tipos de
formas (com função tanh).
Todas essas definições podem ser estabelecidas, inicialmente, de modo
subjetivo; entretanto, como qualquer hiperparâmetro, devem ser
ajustadas de modo a obter o melhor desempenho para resolução do
problema em questão.
Hiperparâmetros de aprendizado
Os próximos hiperparâmetros dos quais falaremos estão diretamente
ligados ao jeito como esse tipo de modelo aprende. São eles:
É o algoritmo de otimização dos pesos da rede neural, e os mais
clássicos são:
SGD (stochastic gradient descent)
LBFGS (limited memory BFGS: Broyden-Fletcher-Goldfarb-
Shanno algorithm)
Adam (adaptive moment estimation)
Cada um pode implementar um jeito diferente de resolver o
problema de otimização, e o escolhido será o que fizer a rede ter
melhor resultado para resolver o problema em questão.
É o que controla a velocidade de como a rede aprende, ou de
como ela acha o ótimo global. Basicamente, o processo de
aprendizado de uma rede neural, como veremos adiante, é
iterativo e empírico, ou seja, a rede vai "descobrindo" os pesos
Resolvedor de otimização de pesos 
Taxa de aprendizado 
das funções de ativação entre neurônios. A taxa de aprendizado
determina o tamanho da passada entre uma tentativa e outra.
Existem outros hiperparâmetros que são mais operacionais, ou seja,
relacionados ao ritmo da rede, que é o número máximo de iterações e
de lotes de dados, como:
Determina o processo de treinamento da rede, sendo que ela
pode rodar um número determinado de passos até convergir
seus pesos em um ótimo global, ou parar antes de um
determinado limite. Cada iteração é chamada de época.
Os dados são divididos em lotes e apresentados à rede pelas
suas épocas, portanto, existe a possibilidade de você passar
mais ou menos conteúdo de uma vez. Por isso, a quantidade de
lotes é um hiperparâmetro de ritmo. Quanto maior o lote, mais
sobrecarregada poderá ficar a rede e ela acabar decorando;
quanto menor o lote, mais a rede demorará para aprender,
correndo o risco de não aprender nada.
Atenção!
Como a rede neural tem hiperparâmetros muito específicos e em maior
quantidade do que a maioria dos modelos clássicos, elas precisam de
atenção redobrada na fase de escolha e configuração de modelo de
descoberta de padrões: uma rede com mais camadas, ou com
determinadas combinações de taxa de aprendizado (learning rate), ou
com funções de ativação pode ter desempenhos drasticamente
diferentes.
Conceitos de redes neurais
Número máximo de iterações 
Quantidade de lotes 

feedforward
Está na hora do nosso bate-papo sobre redes neurais feedforward e
seus hiperparâmetros. Vamos lá!
Falta pouco para atingir seus objetivos.
Vamos praticar alguns conceitos?
Questão 1
Qual o papel dos hiperparâmetros no treinamento de redesneurais?
Parabéns! A alternativa A está correta.
A opção A está correta porque o ajuste do resultado da rede neural
é o objetivo da configuração dos hiperparâmetros durante o
treinamento; a opção B é incorreta pois não ajudaria a rede; a opção
C não se aplica aos hiperparâmetros; a opção D é tarefa de
A Afinar o resultado final da rede.
B Piorar o gradiente descendente.
C Escolher as melhores métricas de monitoramento.
D Embaralhar os dados.
E Reduzir Dimensionalidade.
preparação dos dados; a opção E é uma técnica de pré-
processamento de dados.
Questão 2
Qual o motivo das redes neurais feedforward terem esse nome?
Parabéns! A alternativa C está correta.
A opção C é correta porque as redes neurais feedforward, como diz
o nome, são de alimentação avante, isto é, não possuem feedback e
são representadas por grafos sem ciclo; as opções A e B se referem
à polígonos e não têm relação com esse tipo de redes neurais; a
opção D não é verdade, pois as redes neurais são tudo menos
esparsas; e a opção E não está errada por definição, mas não
responde à pergunta em questão.
A São estruturas geodésicas.
B São polígonos convexos.
C São grafos acíclicos.
D São estruturas de dados esparsas.
E São modelos subsimbólicos.
2 - Algoritmo de backpropagation
Ao final deste módulo, você será capaz de descrever o funcionamento do algoritmo de
backpropagation e do otimizador de gradiente descendente.
Conceitos gerais sobre
backpropagation
O algoritmo de aprendizado de máquina de uma rede neural, assim
como apresentado antes, é baseado no gradiente descendente
estocástico. O algoritmo que faz essa otimização do gradiente se
chama backpropagation, ou backprop, ou BP.
O algoritmo consiste em computar o gradiente da função de perda (loss
function) em relação aos pesos da rede neural para um exemplo de
entrada e saída, e o faz de forma mais eficiente do que computar
individualmente cada gradiente de cada peso. Seguindo a regra da
cadeia, o algoritmo calcula cada camada por vez, iterando para trás
desde a última camada.
Suponhamos uma rede com a seguinte estrutura:
Regra da cadeia
No cálculo matemático, a regra da cadeia é uma fórmula para a derivada
de uma função composta de duas funções. Ela foi desenvolvida por
Gottfried Leibniz, cientista polímata alemão do século XVII, reconhecido
por suas contribuições na Matemática, entre outras áreas do
conhecimento.
Estrutura de rede neural.
Em que:
x1, x2, x3, e x4 são as entradas da rede, preenchidas pelo valor das
características dos dados (valores numéricos apenas);
wi.j.l (i = camada, j = neurônio, l = ligação) representa um peso;
N é o valor do neurônio dado por N=Wijl*x+bi;
A é a função de ativação dada por f(N);
b1 e b2 são os vieses de suas respectivas camadas escondidas;
Saída como resultado final do processamento (classe ou
regressão).
As equações das camadas escondidas 1 e 2 podem ser entendidas
como:
Camada 1
Camada 2
Camada 3
N (1) = w(1)x + b(1)
A(1) = f (N (1))
N (2) = w(2)A(1) + b(2)
A(2) = f (N (2))
Saída = w(3)A(2)
Atenção!
O número entre parênteses acima das variáveis indica a camada de
origem, para todos os similares naquela camada, assim evitando
repetições, considerando que estejam no formato matricial.
Cada neurônio tem o valor próprio em N, que é dado pela multiplicação
de seu peso equivalente acrescido do viés da camada, sendo o
resultado disso passado para a função de ativação A, que pode ser uma
ReLU, sigmoide etc. Os resultados do processamento da entrada nos
neurônios da primeira camada escondida são passados para a segunda
como entrada, que fará um processamento parecido subsequentemente,
até que se chegue ao fim da rede neural.
Podemos enxergar como uma matriz de pesos da camada 1 com
dimensões n, m: n é o número de neurônios de saída e m é o número de
neurônio de entradas, assim para nós sendo (n, m) = (2, 4):
A entrada da nossa rede também é uma matriz, porém, de dimensão 1,
m, em que temos 4 entradas de dados. Desse modo:
w(1)
w(1) =
⎡⎢⎣w1.1.1 ⋯ w1.1.4
⋮ ⋱ ⋮
w1.2.1 ⋯ w1.2.4
⎤⎥⎦x =
⎡⎢⎣x1
x2
x3
x4
⎤⎥⎦
E isso também vale para os vieses (biases):
Então, teríamos a soma das multiplicações dos pesos mais o viés:
 
Agora, você deve estar se perguntando: Como calcular o gradiente
nesse emaranhado de multiplicações de matrizes? Isso é feito do
seguinte modo: primeiro, pegamos o valor predito na saída, e
comparamos contra o valor real no nosso conjunto de treinamento. A
comparação entre esses dois valores é a função de custo, que pode ser
desde um simples erro médio quadrático, até uma entropia cruzada.
Para simplificar, vamos enxergá-la dessa forma:
 
b = [ ]
b1
b2
N (2) = [(w1.1.1) ∗ x1 + ⋯ + (w1.1.4) ∗
(w2.1.1) ∗ x1 + ⋯ + (w2.1.4) ∗
C =  custo(saída, real)  ∣  real  ⊂ {y,  classe,
⊂ {MSE,  Cross  −  Entropy, out
Com base no valor de C, o modelo se regulariza por meio do ajuste de
seus parâmetros, de modo que chegue cada vez mais perto do valor
real, e esse ajuste acontece com a backpropagation.
Algoritmo de backpropagation
A backpropagation funciona de acordo com a seguinte lógica:
Repetidamente ajuste os pesos das conexões da rede de forma a
minimizar a diferença entre valor de saída calculado e o valor real.
O objetivo da backpropagation é uma minimização da
função custo, em função dos pesos da rede e dos vieses
das camadas.
Vale mencionar que os vieses das camadas são os únicos valores
modificáveis pela rede neste tipo de problema.
O ajuste é determinado pelo gradiente da função de custos. Mas por que
o gradiente? Se lembrarmos bem, um gradiente de uma função de n
variáveis em um ponto x é o vetor de derivadas parciais de C em x.
Matematicamente falando:
Isso é importante, pois a derivada mede a sensibilidade da função para
um argumento (lembre-se do gráfico no plano cartesiano, em que a
derivada mede a inclinação da direção da função em dado momento, se
está caindo ou subindo). Assim, medindo a sensibilidade, podemos
entender o quanto xn tem de aumentar ou diminuir para que o custo do
predito ao real se torne o menor possível.
Complicado? Para simplificar, faremos uma analogia com mira de arco e
flecha:
dC
dx
= [ dC
dx1
, … ,
dC
dxn
]
O arqueiro ajusta a posição do braço como a backpropagation ajusta a função custo.
A cada tentativa, o arqueiro move os braços mais para dentro do corpo,
para diminuir a distância das flechadas ao meio do alvo; é mais ou
menos isso que a backpropagation faz com a função custo; no caso do
arqueiro, ele usa os olhos, no caso da backpropagation, ela usa o
gradiente.
A computação dos gradientes é feita pela regra da cadeia, uma técnica
de cálculo, que matematicamente para um único peso :
(definição do valor processado pelo neurônio, em que m é o
número de neurônios da camada, e L-1 é a camada em
questão).
wL
jk
dC
dwL
jk
=
dC
dN L
j
dN L
j
dwL
jk
 (regra da cadeia) 
N L
j = Σm
k=1w
L
jkA
L−1
k
+ bLj
dN L
j
dwL
jk
= AL−1
k  (Derivando) 
dC
dwL
jk
=
dC
dN L
j
AL−1
k (Fim)
Isso também vale para o viés:
O que há em comum entre as duas equações é o gradiente local, que
pode ser dito como:
Assim, o algoritmo tem o seguinte laço em pseudocódigo:
Enquanto (condição de parada ainda não obtida):
dC
dbLj
=
dC
dN L
j
dN L
j
dbLj
(regra da cadeia)
dN L
j
dbLj
= 1(Derivando)
dC
dbLj
=
dC
dN L
j
1(Fim)
δLj =
dC
dN L
j
Fim
Sendo que:
1. Valores iniciais de w e b são criados aleatoriamente (ou seja, nas
primeiras épocas é bem ruim a acurácia do modelo).
2. Épsilon é a taxa de aprendizado dos hiperparâmetros que define
a influência do gradiente.
3. w e b são representações matriciais dos pesos e vieses. Logo, a
derivada de C em w e b é feita em nível matricial (fazendo
derivadas parciais nos elementos da matriz).
4. A condição de término é a minimização do custo (na prática, a rede
tem m épocas para treinar, logo, a condição de parada é a
minimização do custo ou o fim do número de épocas). Não há uma
regra, mas 200 épocas é um númerocomum para redes
convergirem, devendo essa escolha ser feita de acordo com o
problema e conjunto de dados.
Esse tipo de raciocínio tende a ser matemático demais para a maioria
das pessoas que estão começando a aprender sobre redes neurais; mas
podemos fazer associações para suavizar esse “matematiquês”.
Por exemplo, imagine um espaço 3D, em que o plano composto pelos
eixos X, Y, Z é a função custo (podemos imaginar também que a função
está aplicada ao conjunto de dados reduzido a 3 dimensões). Suponha,
agora, o otimizador do gradiente descendente como uma bolinha, do
tipo pula-pula. Vamos considerar a seguinte relação:

Épocas
Número de vezes em que a bolinha será jogada.
w := w − ϵ
dC
dw
b := b − ϵ
dC
db
(ϵ)

Taxa de aprendizado
A velocidade da bolinha ou a distância entre um salto e outro.

Viés
Lufadas de vento imaginárias.
Feito isso, o que acontece é o seguinte: a bolinha é solta de um ponto no
plano (ou seja, a função de custo ainda está distante da realidade), e
desliza em uma velocidade proporcional à taxa de aprendizado,
procurando um vale.
A bolinha quicando representa as iterações da rede neural.
A bolinha quicando dentro do plano, procurando um vale, representa a
rede neural iterando pelas épocas. O objetivo da bolinha é achar o vale
mais profundo, o máximo global, ou ótimo. Só que, assim como na
realidade, essa busca por um máximo global pode ser limitada pelo
número de tentativas (épocas), pela velocidade ou distância de pulo da
bolinha (taxa de aprendizado); por isso, precisamos configurar bem os
hiperparâmetros. Mas, por que os hiperparâmetros são tão importantes?
Os hiperparâmetros impactam no processo de
aprendizado.
Resumindo
Entendemos o cálculo por trás do gradiente descendente e a
importância das derivadas e da regra da cadeia no algoritmo de
backpropagation, visto que essas técnicas são formas de medir o
impacto da mudança de pesos, durante a autorregularização desse
modelo de aprendizado de máquina. Para isso, podemos fazer uma
associação com uma bolinha pula-pula jogada em um terreno
acidentado, imaginando que esse terreno seja o espaço geoespacial, em
que medimos o custo pelos eixos x, y, e z. A bolinha pulando entre
crateras é como se fosse o otimizador do gradiente, “explorando” os
valores mínimos existentes (locais), e procurando o mínimo mais fundo
(global), e as distâncias de pulos pode ser associada à taxa de
aprendizado.
Explicação sobre o algoritmo de
aprendizado das redes neurais
feedforward
Está na hora de nosso bate-papo sobre o algoritmo de backpropagation.
Vamos lá!
Falta pouco para atingir seus objetivos.
Vamos praticar alguns conceitos?
Questão 1
Qual o objetivo das derivadas parciais na análise do gradiente
descendente?

A
Medir a sensibilidade da alteração dos valores dos
pesos.
Parabéns! A alternativa A está correta.
A opção A está correta, pois as derivadas parciais medem a
inclinação direcional nos pontos de função, ou seja, podemos saber
se as alterações nos pesos estão melhorando ou piorando a função
custo; a opção B é incorreta, pois o mais próximo a essa afirmação
seria a função de custo C; a opção C não é verdade, pois o
conhecimento ou o poder cognitivo de uma rede neural está nas
camadas ocultas e as derivadas parciais são um dos requisitos
para analisar e otimizar; a opção D é incorreta, pois não estamos
falando de notação Big O (a real notação de complexidade
algorítmica), que nem se aplica nesse contexto; a opção E é
incorreta, pois o que mede o poder cognitivo de modelo são
métricas como acurácia, precisão etc.
Questão 2
Qual o papel de uma função de ativação no algoritmo de
backpropagation?
B Medir a distância da realidade.
C Medir o conhecimento acumulado.
D Medir a complexidade algorítmica da rede.
E Medir a conectividade do modelo.
A Calcular a acurácia.
B Calcular o viés da rede.
C Calcular o peso da rede.
D
Parabéns! A alternativa D está correta.
A opção D está correta porque a função de ativação dentro do
neurônio recebe como entrada o valor da observação, e o resultado
pós-cálculo é o estímulo percebido no neurônio; a opção A é
incorreta, pois é uma métrica de monitoramento; a opção B é
incorreta, pois o viés não é calculado pela função de ativação, mas
pelo otimizador do gradiente descendente; a opção C é incorreta,
pois os pesos não são calculados somente pela função de ativação,
mas pelo otimizador do gradiente descendente seguindo o
algoritmo de backpropagation; a opção E é incorreta, pois se trata
de outra métrica de monitoramento de modelos.
3 - Tensorflow/Keras
Ao final deste módulo, você será capaz de aplicar redes neurais feedforward usando
Tensorflow/Keras.
Instalação da biblioteca Tensorflow
Calcular o valor/estímulo no neurônio da rede.
E Calcular o recall.
Vamos praticar o desenvolvimento de redes neurais, utilizando Python
como nossa linguagem de programação e o Jupyter notebook como
ambiente de desenvolvimento. Para praticarmos os conhecimentos de
redes neurais especificamente, instalaremos o TensorFlow com o
comando:
TensorFlow
É uma biblioteca de código aberto para aprendizado de máquina e de
cálculos em dados descentralizados. Essa descentralização acontece
porque o TensorFlow pode ser rodado em apenas um processador, ou
em múltiplos, do tipo CPU (central processing unit ou unidade central de
processamento) normal, ou GPU (graphics processing unit ou unidade
de processamento gráfico), com capacidades computacionais incríveis.
Isso é possível porque esse tipo de processador gráfico foi criado e
aprimorado ao longo dos anos para lidar com multiplicações de
matrizes e subproblemas derivados. Devido ao fato de cada vez mais
evoluirmos nossa tecnologia e poder computacional, desde 2017, a
Google disponibilizou uma versão light do TensorFlow, para rodar em
dispositivos mobile chamada de TensorFlow Lite.
Python 
Instalação do TensorFlow.
Atenção!
Lembre-se de que o TensorFlow pode apresentar restrições por sistema
operacional, por isso é necessário prestar atenção nos logs do terminal,
pois eles podem indicar instruções alternativas de instalação. Ou, então,
basta criar um notebook compartilhado no Google Drive e fazer a
experimentação pelo Google Colab.
Depois, instalaremos as bibliotecas de ciência de dados que darão
suporte a métricas e gráficos, como Scikit-Learn, Numpy e Matplotlib.
Python 
Instalação de bibliotecas.
Instalação da biblioteca Keras
Para finalizar a configuração do ambiente, iremos instalar o Keras. O
interessante do Keras são seus recursos, com métodos de construção
de camadas, métodos de funções de ativação das mais variadas,
funções de perda/custo diferentes, otimizadores de gradiente etc.
Por ser uma biblioteca de código aberto, basta procurar a
documentação dela no Google, entrar em seu repositório do Github e
acompanhar as trilhas de discussão, em caso de dúvidas, e fazer
contato com os desenvolvedores.
Keras
É uma biblioteca para desenvolvimento de redes neurais projetada para
permitir experimentação rápida. Ele oferece um conjunto de abstrações
que serve de interface para outros frameworks de aprendizado de
máquina, e pode rodar junto ao TensorFlow, Microsoft Cognitive Toolkit,
Theano, PlaidML etc.
Dica
O mundo da computação, em geral, e do aprendizado de máquina, em
particular, é colaborativo. Por isso, é comum quando encontramos erros
no TensorFlow, Keras, Scikit etc., copiarmos o log de erro e procurarmos
soluções em qualquer motor de busca. Encontraremos a resposta em
algum fórum de discussão, como StackOverflow, Github, Reddit etc.
Além de ser uma prática comum na comunidade de desenvolvimento de
software e computação, isso nos possibilita aprender mais e mais.
Para iniciarmos a instalação do Keras executaremos o seguinte código:
Python 
Instalação do Keras.
Agora que estamos preparados, importaremos as bibliotecas:
Python 
Importação de bibliotecas.
No código, realizamos a importação dos seguintes métodos essenciais:Label Binarizer
Método usado para regularizar as classes do nosso modelo.
Sequential
Base da construção de camadas.
Dense
Método de construção de camadas totalmente conectadas.
SGD
Otimizador de gradiente descendente tradicional.
Além dos métodos essenciais, importamos também:
classification report
Método que nos mostrará o resultado de nossa demonstração em
detalhes (super recomendado para o uso no dia a dia com problemas de
classificação de um modo geral).
Pyplot
Será usado para visualizarmos a evolução do aprendizado no nosso
modelo.
MNIST
Nosso conjunto de dados do qual falaremos adiante.
Numpy
Será usado para regularizar o dimensionamento dos nossos dados.
Conjunto de dados MNIST
Vamos, então, baixar nosso conjunto de dados para experimentação.
Utilizaremos um dos conjuntos mais conhecidos e usados na área de
redes neurais, o conjunto de dígitos escritos à mão do MNIST (Modified
National Institute of Standards and Technology).
Exemplo de conjunto de dígitos do MNIST.
Basicamente, nossa rede neural vai aprender a reconhecer o padrão de
escrita de números. Para conseguirmos esse conjunto, utilizaremos o
seguinte bloco de código:
Python 
Acessando o MNIST.
Agora baixado, o conjunto já vem no formato de treinamento e teste,
como podemos ver na declaração do bloco de código anterior, mas será
preciso rearrumar o conjunto da seguinte forma:
Imagem
Cada imagem do MNIST
tem dimensões
28x28x1; entretanto,
para a rede neural,
precisaremos chapar a
imagem em 28x28=784
pixels.
Dados
E em seguida,
normalizaremos os
dados para que fiquem
entre 0 e 1, dividindo o
conjunto por 255 (valor
máximo de um pixel).
Para realizar essas modificações, utilizaremos o código a seguir:
Python 
Modificando o conjunto de dados.
Agora, para adequar a última camada, a de saída, vamos binarizar a
classe da seguinte forma:
Python 
Binarizando o conjunto de dados.
O Label Binarizer faz com o que o resultado da classe se torne binário,
ou seja, em vez de lidarmos com a classe de valor 5, passaremos a lidar

com 0000100000.
A conversão para a forma binária é importante, pois a
camada final tem que ter tamanho proporcional às
possibilidades de resultados esperados.
Em outro exemplo, se a rede classificasse animais em gato, cão ou
peixe, teríamos 001,010,100 respectivamente. Essa prática é muito
comum em problemas de classificação multiclasse, mas existe uma
categoria que é a de multirrótulos, em que os resultados podem ser de
mais de uma classe ao mesmo tempo. Por exemplo, categorias de
autores de livros, como: terror, ficção científica, romance; se um livro
fosse um terror de ficção científica, teria a binarização 110. Para cada
caso desse tipo de problema, há uma função de custo diferente
também.
Treinamento do modelo de rede
neural
Definiremos a arquitetura da nossa rede neural. Com a ajuda do Keras
isso pode ser feito de maneira simples, adicionando uma camada atrás
da outra em sequência. Assim:
Python 
Adicionando camadas.
Como podemos ver, a arquitetura segue o seguinte formato: uma
camada de entrada de 784 nós, um para cada pixel da imagem em
questão, que se conectará a uma camada oculta densa de 256 nós, pela
função de ativação da sigmoide. Depois, a primeira camada oculta se
conectará à segunda de 128 nós, também por sigmoide. Esta se
conectará à última camada de predição, com 10 nós conectados a partir
da Softmax. São 10 porque temos 10 possíveis dígitos.
Para treinar o modelo, usaremos como otimizador do gradiente, o SGD,
aquele baseado no gradiente descendente, com taxa de aprendizado
0.01. Utilizaremos a métrica de acurácia para acompanhar o modelo e,
para calcular a perda, função de custo, usaremos a entropia cruzada
categórica (categorical_crossentropy), que é a mais empregada em
problemas de classificação. Para as épocas da nossa rede,
escolheremos 100 épocas, ou seja, a rede tem 100 iterações para
convergir e apreender, e apresentaremos lotes de 128 imagens cada por
iteração. Para isso, utilizaremos o seguinte código:
Python 
Treinando o modelo.
Agora, veremos como nossa rede se saiu. Para isso, utilizaremos a
classification_report, uma função do Sklearn que compara os valores
preditos contra os reais passados como argumentos. Aplicaremos o
seguinte bloco de código:
Python 
Comparando valores.
O resultado será um relatório de classificação e, como esse problema é
multiclasse, isso é muito útil, pois além de mostrar a acurácia geral da
classificação, mostrará também o resultado de cada classe possível. Eis
o resultado:
Relatório de classificação.
Para interpretarmos esse relatório, podemos observar que cada linha da
matriz principal é uma possível classe; cada coluna, uma métrica de
acompanhamento: precisão, recall, medida F1, e suporte (ou cobertura,
isto é, quantos casos foram cobertos pelas métricas escolhidas). Nas
linhas de baixo, temos a acurácia geral (accuracy), a média macro de
acurácias e a média ponderada. A média macro e a ponderada nos
trazem informações distintas:
Média macro (macro
avg)
Comparação em nível
macro de acurácia para
cada classe, ou seja,
feita sem considerar a
distribuição da classe
em relação às demais.
Média ponderada
(weighted avg)
Leva em consideração a
distribuição das
observações por classe
em relação às demais.
Lembramos que as métricas macro e ponderada são muito importantes
para conjuntos desbalanceados, visto que se tomarmos a métrica de um
modo generalista, poderá dissuadir nossa avaliação de modelo, pois
pode ser que o modelo tenha acertado tudo de algumas classes e
pouco de outras, e essas métricas diferenciadas nos ajudam a encontrar
esses detalhes.
Podemos ver que o modelo tem mais facilidade em encontrar 1s do que
outros dígitos e mais dificuldades de identificar 8s e 5s. Mas, de modo
geral, a acurácia de 92% não é ruim, significando que em cerca de 9 a
cada 10 tentativas, a rede acerta. Se analisarmos as métricas
diferenciadas, podemos ver que os acertos entre classes estão bem
equilibrados.

Acompanhamento de métricas do
modelo de rede neural
Para finalizar, podemos ver como a rede evoluiu até chegar nestas
métricas. Ou seja, como a função de custo foi sendo otimizada, e a
acurácia foi subindo. Para isso, utilizaremos o seguinte bloco de código:
Python 
Plotagem das métricas.
A execução desse código resultará no gráfico a seguir: o resultado da
função de custo (no caso, "training loss") diminui à medida que as
épocas passam e a acurácia aumenta, o que é bastante intuitivo, pois a
rede está aprendendo com o passar das épocas (iterações).
Gráfico: acurácia e função de custo.
Elaborado por Fernando Cardoso Durier da Silva
Retomando os conhecimentos teóricos sobre redes neurais, a cada
época, a rede tenta um palpite nos seus pesos, de modo a tentar
diminuir a função de custo (na maioria de bibliotecas e literatura na área,
a função loss), para diminuir a distância entre a realidade e o predito,
assim reduzindo a função loss e aumentando um pouco a acurácia.
Depois, na rodada seguinte, o processo se repete, o otimizado do
gradiente descendente gera um novo palpite, de modo a reduzir a
função de custo, até que ele seja mínimo ou que o número de épocas
acabe. Ao fim, teremos nosso modelo treinado e pronto para uso.
Recomendação
No dia a dia, o que é interessante fazer para verificar se o modelo está
sobreajustado (overfitting) ou subajustado (underfitting), é apresentar
um novo conjunto de dados ao modelo treinado e deixá-lo iterar sobre o
conjunto. No final, pelo relatório de classificação se mede o quanto ele
acertou. Se o modelo tiver errado muito, saberemos que houve
overfitting ou underfitting; para tirar a dúvida de qual dos dois ocorreu, é
necessário fazer uma rodada com os dados antigos. Se ele não errar
nenhum ou quase nenhum, teremos um forte indício de overfitting. No
entanto, se ele começar a gerar valores aleatórios e errar muito (mais da
metade), então, terá ocorrido underfitting.De modo geral, redes neurais sofrem mais de overfitting do que de
underfitting, uma vez que a condição de parada principal delas é a
minimização da função custo. Para que você tenha os mesmos
resultados em casa, utilize o notebook Jupyter, disponível para
download na seção Preparação, para fins de prática e aprendizado.
Demonstração de rede neural
feedforward com Tensorflow e Keras
em Python
Está na hora de nosso bate-papo sobre o modelo de rede neural
feedforward com exemplos de linguagem Python. Vamos lá!

Falta pouco para atingir seus objetivos.
Vamos praticar alguns conceitos?
Questão 1
A biblioteca Keras serve para
Parabéns! A alternativa A está correta.
Keras é uma biblioteca de experimentação rápida de redes neurais
que permite desenvolver redes neurais abstraindo de suas
camadas; a opção B é incorreta, pois trata-se de tarefa do
classification report; as opções C, D, e E são incorretas, pois são
atividades de preparação dos dados.
Questão 2
Qual a finalidade do Tensorflow?
A abstrair a construção de camadas de redes neurais.
B construir o relatório de métricas.
C embaralhar os dados.
D organizar os dados.
E pré-processar os dados.
Parabéns! A alternativa C está correta.
A opção C está correta, pois o tensorflow foi primeiramente criado
para cálculos matemáticos feitos de forma distribuída sobre grafos;
a opção A é incorreta, pois o TensorFlow é um framework de
cálculos distribuídos; a opção B é tarefa de outras bibliotecas que
não o TensorFlow; a opção D é incorreta, pois o TensorFlow pode
calcular tensores, mas não é tarefa dele mantê-los como em um
banco de dados; a opção E está incorreta, pois ele faz multiplicação
de matrizes eventualmente, mas não é sua finalidade.
Considerações finais
Neste conteúdo, entendemos a diferença entre modelos simbólicos e
subsimbólicos, bem como o porquê de as redes neurais se encaixarem
na categoria de modelos subsimbólicos. Vimos rapidamente os vários
tipos de redes neurais existentes e como podem ser aplicadas, além de
seus diferenciais.
Estudamos as definições conceituais dos componentes principais das
redes neurais, como as camadas de entrada, ocultas e de saída, e
entendemos quais são os hiperparâmetros e funções de ativação.
A Criar planilhas.
B Criar relatórios.
C Executar cálculos distribuídos.
D Manter vetores.
E Multiplicar matrizes.
Vimos como ocorre a relação entre a função de custo, muitas vezes
medido pela perda (loss), e o aprendizado da rede, já que quanto menor
o custo ou a distância da predição para a realidade, melhor se sairá o
modelo.
No final, conseguimos experimentar as redes neurais em uma grande
caixa de ferramentas do cientista de dados moderno, com as bibliotecas
TensorFlow e Keras na linguagem Python, no exemplo mais clássico, o
MNIST, que serve até como benchmark de modelos de redes neurais de
um modo geral. Ao demonstrarmos a implementação do modelo de
redes neurais, entendemos não apenas os diferentes métodos do Keras,
que permitem abstrair as camadas da rede, mas também vimos na
prática, com os resultados, o processo de aprendizado, que começa
com um custo alto, e vai decaindo à medida que a rede vai “entendendo”
a realidade. Além disso, foi possível utilizar o relatório de classificação
para que observássemos as métricas de interesse, e as métricas
diferenciadas por valor possível de classe, um conceito importante no
tratamento de problemas de classificação e multiclassificação.
Podcast
Para encerrar, vamos ouvir um resumo sobre redes neurais.

Explore +
Dentro da área de redes neurais, busque por LBGFS, o ADAM, e outros
otimizadores de gradiente descendente.
Para um aprofundamento matemático do tema, recomendamos revisar
os conceitos de Cálculo, principalmente, otimização de duas variáveis,
regra de cadeia e cálculo do gradiente.
Assista ao vídeo Mas o que *é* uma Rede Neural? Deep Learning,
capítulo 1, no canal 3Blue1Brown Series no YouTube. Há a opção de
legenda em português.
Referências
AMARAL, F. Introdução à Ciência de Dados: mineração de dados e big
data. Rio de Janeiro: Alta Books, 2016.
BENGIO, Y. Practical recommendations for gradient-based training of
deep architectures. In: Neural networks: Tricks of the trade. Berlin:
Springer, 2012. p. 437-478.
ESCOVEDO, T.; KOSHIYAMA, A. Introdução a Data Science — Algoritmos
de Machine Learning e métodos de análise. São Paulo: Casa do Código,
2020.
GOODFELLOW, I.; BENGIO, Y.; COURVILLE, A. Deep learning. Cambridge:
MIT Press, 2016.
GOODFELLOW, I. J.; VINYALS, O.; SAXE, A. M. Qualitatively
characterizing neural network optimization problems. Ithaca: Cornell
University, 2014.
Material para download
Clique no botão abaixo para fazer o download do
conteúdo completo em formato PDF.
Download material
O que você achou do conteúdo?
Relatar problema
javascript:CriaPDF()

Mais conteúdos dessa disciplina