IA2-18

Prévia do material em texto

Tema 18: Algoritmos de Reforço (Reinforcement Learning) 
O aprendizado por reforço (Reinforcement Learning, RL) é uma área de aprendizado de 
máquina onde um agente aprende a tomar decisões através de interação com um ambiente. O 
objetivo do agente é maximizar uma recompensa acumulada ao longo do tempo, realizando 
ações que o ajudem a alcançar seus objetivos. 
Como Funciona o Aprendizado por ReforçEm um problema de aprendizado por reforço, o 
agente começa com pouca ou nenhuma informação sobre o ambiente. Ele interage com o 
ambiente realizando ações, e em resposta, o ambiente fornece uma recompensa (positiva ou 
negativa) e o próximo estado do ambiente. O agente usa essa informação para ajustar suas 
ações e tentar maximizar a recompensa futura. 
1. Estado (S): Representa a situação atual do ambiente. 
2. Ação (A): A decisão que o agente toma a partir do estado atual. 
3. Recompensa (R): O feedback recebido após a ação, indicando o quão boa ou ruim foi a 
ação. 
4. Política (π): A estratégia ou regra que define como o agente escolhe suas ações com 
base nos estados. 
5. Valor: Estima a "qualidade" de um estado ou de uma ação, ou seja, a expectativa de 
recompensa futura.Exploração vs. Exploração Uma das questões centrais do 
aprendizado por reforço é o dilema entre exploração e exploração. O agente pode 
escolher explorar novas ações para descobrir suas recompensas ou explorar ações que já 
sabe que são eficazes. A chave é balancear ambos para aprender da melhor forma 
possível.Q-Learning e Deep Q-Networks (DQN)Q-Learning: Um algoritmo clássico 
de aprendizado por reforço onde o agente aprende a política ótima, armazenando as 
recompensas esperadas para cada par de estado e ação em uma tabela chamada Q-
table.Deep Q-Networks (DQN): Combina o Q-learning com redes neurais profundas 
para resolver problemas de aprendizado por reforço em espaços de estados grandes e 
complexos, como em jogos e sistemas de controle. 
Aplicações do Aprendizado por ReforçoJogos: O aprendizado por reforço foi utilizado com 
grande sucesso em jogos como xadrez e Go (AlphaGo), onde agentes aprendem estratégias 
complexas.Robótica: Agentes podem aprender a manipular objetos, realizar tarefas de 
navegação e controle de movimento.Otimização de Processos: Em sistemas industriais, o RL 
pode ser usado para otimizar processos de produção ou gestão de estoques. 
Carros Autônomos: O aprendizado por reforço pode ser utilizado para ensinar carros 
autônomos a tomar decisões em tempo real enquanto navegam em um ambiente dinâmico. 
Questões de Alternativas - 1. O que caracteriza o aprendizado por reforço? 
• a) O agente realiza ações e aprende com dados rotulados 
• b) X O agente interage com o ambiente e aprende a maximizar uma recompensa 
acumulada ao longo do tempo 
• c) O agente recebe a resposta certa para cada ação tomada 
• d) O agente realiza aprendizado sem interação com o ambiente 
. O que é a política em um problema de aprendizado por reforço? 
• a) A recompensa recebida após cada ação 
• b) A tabela que armazena os valores das ações tomadas 
• c) X A estratégia que define como o agente escolhe suas ações com base nos estados 
• d) O valor de um estado após a interação com o ambiente