Redes neurais artificiais também precisam de sono

Prévia do material em texto

1/2
Redes neurais artificiais também precisam de sono
As redes neurais artificiais são sistemas de computação inspirados em redes neurais biológicas que
constituem cérebros animais. Como os modelos biológicos, eles podem aprender (ser treinados)
processando exemplos e formando associações de probabilidade e, em seguida, aplicar essa
informação a outras tarefas.
Dependendo da idade, os seres humanos precisam de 7 a 13 horas de sono por 24 horas. Durante este
tempo, muita coisa acontece: frequência cardíaca, respiração e metabolismo e refluxo; os níveis
hormonais se ajustam; o corpo relaxa. Não tanto no cérebro.
“O cérebro está muito ocupado quando dormimos, repetindo o que aprendemos durante o dia”, disse
Maxim Bazhenov, PhD, professor de medicina e pesquisador do sono da Escola de Medicina da
Universidade da Califórnia em San Diego. “O sono ajuda a reorganizar memórias e apresentá-las da
maneira mais eficiente.”
Em trabalhos publicados anteriormente, Bazhenov e colegas relataram como o sono constrói memória
racional, a capacidade de lembrar associações arbitrárias ou indiretas entre objetos, pessoas ou
eventos, e protege contra o esquecimento de memórias antigas.
As redes neurais artificiais aproveitam a arquitetura do cérebro humano para melhorar inúmeras
tecnologias e sistemas, desde a ciência básica e a medicina até as finanças e mídias sociais. De certa
forma, eles alcançaram o desempenho sobre-humano, como velocidade computacional, mas falham em
um aspecto fundamental: quando as redes neurais artificiais aprendem sequencialmente, novas
informações sobrescrevem informações anteriores, um fenômeno chamado esquecimento catastrófico.
https://today.ucsd.edu/story/how-sleep-builds-relational-memory
https://today.ucsd.edu/story/can-sleep-protect-us-from-forgetting-old-memories
2/2
“Em contraste, o cérebro humano aprende continuamente e incorpora novos dados ao conhecimento
existente”, disse Bazhenov, “e normalmente aprende melhor quando o novo treinamento é intercalado
com períodos de sono para consolidação da memória”.
Escrevendo na edição de 18 de novembro de 2022 da PLOS Computational Biology, o autor sênior
Bazhenov e colegas discutem como modelos biológicos podem ajudar a mitigar a ameaça de
esquecimento catastrófico em redes neurais artificiais, aumentando sua utilidade em um espectro de
interesses de pesquisa.
Os cientistas usaram redes neurais que imitam artificialmente sistemas neurais naturais: em vez de a
informação ser comunicada continuamente, é transmitida como eventos discretos (picos) em
determinados momentos.
Eles descobriram que quando as redes de picos foram treinadas em uma nova tarefa, mas com períodos
off-line ocasionais que imitavam o sono, o esquecimento catastrófico foi mitigado. Como o cérebro
humano, os autores do estudo, “dormir” para as redes lhes permitiu reproduzir memórias antigas sem
usar explicitamente dados de treinamento antigos.
As memórias são representadas no cérebro humano por padrões de peso sinápticos – a força ou
amplitude de uma conexão entre dois neurônios.
“Quando aprendemos novas informações”, disse Bazhenov, “neurões disparam em ordem específica e
isso aumenta as sinapses entre eles. Durante o sono, os padrões de pico aprendidos durante o nosso
estado de despertar são repetidos espontaneamente. Isso é chamado de reativação ou repetição.
A plasticidade sináptica, a capacidade de ser alterada ou moldada, ainda está no local durante o sono e
pode melhorar ainda mais os padrões de peso sinápticos que representam a memória, ajudando a
prevenir o esquecimento ou permitir a transferência de conhecimento de tarefas antigas para novas.
Quando Bazhenov e seus colegas aplicaram essa abordagem às redes neurais artificiais, eles
descobriram que isso ajudava as redes a evitar o esquecimento catastrófico.
“Isso significava que essas redes poderiam aprender continuamente, como humanos ou animais.
Compreender como o cérebro humano processa informações durante o sono pode ajudar a aumentar a
memória em seres humanos. Aumentar os ritmos de sono pode levar a uma melhor memória.
“Em outros projetos, usamos modelos computacionais para desenvolver estratégias ótimas para aplicar
estimulação durante o sono, como tons auditivos, que melhoram os ritmos do sono e melhoram a
aprendizagem. Isso pode ser particularmente importante quando a memória não é ótima, como quando a
memória diminui no envelhecimento ou em algumas condições, como a doença de Alzheimer.
Os co-autores incluem: Ryan Golden e Jean Erik Delanois, ambos na UC San Diego; e Pavel Sanda,
Instituto de Ciência da Computação da Academia de Ciências Tchecas.