Novo software cibernético pode verificar quanto conhecimento AI realmente sabe

Prévia do material em texto

1/2
Novo software cibernético pode verificar quanto
conhecimento AI realmente sabe
Com um interesse crescente em sistemas de inteligência artificial (IA) em todo o mundo, pesquisadores
da Universidade de Surrey criaram um software capaz de verificar quanta informação uma IA cultivou a
partir do banco de dados digital de uma organização.
O software de verificação de Surrey pode ser usado como parte do protocolo de segurança on-line de
uma empresa, ajudando uma organização a entender se uma IA aprendeu muito ou até acessou dados
confidenciais.
O software também é capaz de identificar se a IA identificou e é capaz de explorar falhas no código do
software. Por exemplo, em um contexto de jogos on-line, ele poderia identificar se uma IA aprendeu a
ganhar sempre no poker online, explorando uma falha de codificação.
O Dr. Solofomampionona Fortunat Rajaona é pesquisador em verificação formal de privacidade na
Universidade de Surrey e principal autor do artigo. Ele disse:
“Em muitas aplicações, os sistemas de IA interagem uns com os outros ou com os seres humanos,
como carros autônomos em uma rodovia ou robôs hospitalares. Descobrir o que um sistema de dados
inteligente de IA sabe é um problema contínuo para o qual levamos anos para encontrar uma solução
funcional.
https://www.bing.com/ck/a?!&&p=b99250efab702297JmltdHM9MTY3NzcxNTIwMCZpZ3VpZD0zYTAxMzg1Yi05YzdjLTZiZGMtMGFmNy0yOWMyOTg3YzY5ZGYmaW5zaWQ9NTE3NA&ptn=3&hsh=3&fclid=3a01385b-9c7c-6bdc-0af7-29c2987c69df&psq=forunat+Solofomampionona+Frajoana&u=a1aHR0cHM6Ly93d3cuc3VycmV5LmFjLnVrL3Blb3BsZS9zb2xvZm9tYW1waW9ub25hLWZvcnR1bmF0LXJhamFvbmE&ntb=1
2/2
“Nosso software de verificação pode deduzir o quanto a IA pode aprender com sua interação, se eles
têm conhecimento suficiente que permite a cooperação bem-sucedida e se eles têm muito conhecimento
que quebrará a privacidade. Através da capacidade de verificar o que a IA aprendeu, podemos dar às
organizações a confiança para liberar com segurança o poder da IA em configurações seguras.
O estudo sobre o software de Surrey ganhou o prêmio de melhor papel no 25o Simpósio Internacional
sobre Métodos Formais.
O professor Adrian Hilton, diretor do Instituto de IA centrada nas pessoas da Universidade de Surrey,
disse:
“Nos últimos meses, houve um enorme aumento do interesse público e da indústria em modelos de IA
generativos alimentados por avanços em modelos de grande linguagem, como o ChatGPT. A criação de
ferramentas que possam verificar o desempenho da IA generativa é essencial para sustentar sua
implantação segura e responsável. Esta pesquisa é um passo importante para um passo importante
para manter a privacidade e a integridade dos conjuntos de dados usados no treinamento.
O artigo completo pode ser lido aqui.
https://fm2023.isp.uni-luebeck.de/
https://www.surrey.ac.uk/people/adrian-hilton
https://openresearch.surrey.ac.uk/esploro/outputs/99723165702346