Lista 8

Prévia do material em texto

Inteligência Artificial - Lista 8
Grupo:
● Breno Lopes do Carmo
● João Pedro Barroso da Silva Neto
● Lucas Carvalho da Luz
● Lucas Vinícius dos Santos Gonçalves Coelho
● Vinícius Henrique Giovanini
Professora:
● Cristiane Neri Nobre
Questão 01
Considere as seguintes afirmações sobre redes neurais artificiais:
I. Um perceptron elementar só computa funções linearmente separáveis.
II. Não aceitam valores numéricos como entrada.
III. O "conhecimento" é representado principalmente através do peso das conexões.
São corretas:
(a) Apenas III
(b) Apenas I e II
(c) Apenas I e III
(d) Apenas II e III
(e) I, II e III
Questão 2
Considere as funções booleanas abaixo:
I. p ^ q (conjunção)
II. p ↔ q (equivalência)
III. p → q (implicação)
Quais destas funções podem ser implementadas por um perceptron elementar?
a) Somente I;
b) Somente I e II;
c) Somente I e III;
d) Somente II e III;
e) I, II e III.
Questão 03
Dado um perceptron simples de duas entradas e um bias, cujos pesos são w1 =0.5, w2 =
0.4 e w0 = - 0.3,
respectivamente, assinalar a resposta correta:
(a) o perceptron realiza a função NOR
(b) o perceptron realiza a função AND
(c) o perceptron realiza a função OR
(d) o perceptron realiza a função XOR
(e) nenhuma das alternativas
RESP:
0 * 0.5 + 0 * 0.4 + 1* -0.3 = -0.3 = 0
0 * 0.5 + 1 * 0.4 + 1* -0.3 = 0.4 - 0.3 = 0.1 = 1
1 * 0.5 + 0 * 0.4 + 1* -0.3 = 0.5 - 0.3 = 0.2 = 1
1 * 0.5 + 1 * 0.4 + 1* -0.3 = 0.5 + 0.4 - 0.3 = 0.6 = 1
Porta OR
Questão 04
Considerando a base de dados (breast-cancer.csv) e utilizando-se o notebook “RNA.ipynb”
(faça as adaptações necessárias) que está no CANVAS, pede-se:
1) Faça os pré-processamentos necessários para esta base: conversão de nominal para
numérico, identificação de outlier, normalização, balanceamento, eliminação de
redundância, dentre outros
2) Avalie o desempenho do modelo a partir de diferentes topologias: números de camadas e
neurônios. Use diferentes heurísticas para isso, conforme discutido em sala
3) Avalie o parâmetro ‘taxa de aprendizado’ e veja sua relação com a quantidade de
épocas.
4) Caso julgue necessário, investigue outros hiperparâmetros necessários para a rede
neural a fim de melhorar os resultados obtidos. Compare os resultados obtidos.
5) Ajuste os hiperparâmetros automaticamente, usando métodos como Grid Search,
CVParameterSelection e MultiSearch
RESP:
Após realizar a conversão de nominal para numérico, identificação de outliers, eliminação
de redundância e balanceamento, utilizamos o Grid Search para encontrar os melhores
parâmetros.
Figura 1 - testes dos parâmetros
Mais parâmetros podem ser encontrados em:
https://scikit-learn.org/stable/modules/generated/sklearn.neural_network.MLPClassifier.html?
highlight=mlpclassifier#sklearn.neural_network.MLPClassifier
Primeiramente testamos vários valores de taxa de aprendizado, e foi perceptível que a
quantidade de épocas / iterações foi aumentando, até chegar a uma quantidade que já não
fazia tanta diferença para o resultado final.
Com os parâmetros mostrados na figura 2, as iterações variaram entre 69 e 134 (loss
entorno de 0.56589960), e alterando o activation para ‘relu’ as iterações foram de 176 a 309
(loss entorno de 0.51889560).
Isso mostra que a mudança de apenas um parâmetro pode alterar bastante o resultado da
quantidade de iterações. No entanto, a acurácia do ‘identity’ é melhor em 0.01 pontos e
recall em 0.0002, mas já a variância, desvio padrão e precisão foram piores que a utilização
do ‘relu’.
Figura 2 - parâmetros finais
Figura 3 - resultados ‘identity’ acurácia
https://scikit-learn.org/stable/modules/generated/sklearn.neural_network.MLPClassifier.html?highlight=mlpclassifier#sklearn.neural_network.MLPClassifier
https://scikit-learn.org/stable/modules/generated/sklearn.neural_network.MLPClassifier.html?highlight=mlpclassifier#sklearn.neural_network.MLPClassifier
Figura 4 - resultados ‘relu’ acurácia
Figura 5 - resultados ‘identity’ precision e recall
Figura 6 - resultados ‘relu’ precision e recall
Questão 05
Faça uma resenha do artigo que está no CANVAS: “A Survey Of Methods For Explaining
Black Box Models”
RESP:
Nas últimas décadas, os sistemas de machine learning caixa preta começaram a ser
explorados, com o principal objetivo de prever informações individuais, alguns exemplos
disso podem ser a pontuação de crédito no ramo bancário, estado de saúde, e risco de
seguro. Esses algoritmos conseguem mapear os recursos de um usuário graças a uma fase
do aprendizado, isso ocorre pelos rastros digitais que cada pessoa deixa em seu cotidiano,
e em alguns casos por terem uma quantidade enorme de dados, e serem dados reais da
nossa sociedade eles podem conter conteúdo preconceituoso, levando ao algoritmo realizar
decisões erradas e injustas. Em 2018 foi debatido na Europa uma lei para a
regulamentação geral de proteção de dados, a chamada RGPD, um ponto tratado foi sobre
a tomada de decisão automatizadas de algoritmos, assim ao ser criada deve informar para
o público a lógica utilizada nessa automações, porém com os métodos caixa preta essa
regulamentação não funciona, gerando grandes debates entre os juristas da época. Ao
confiar em modelos de aprendizado de máquina treinados em conjuntos e infraestruturas de
alto desempenho, é aceito o risco de criar sistemas de decisão que não é entendido por
completo, impactando não somente na ética do algoritmo, mas também nas questões de
segurança, onde cada dia que passa vemos mais empresas fabricarem produtos com algum
tipo de aprendizado embarcado, como carros com navegação automática, e nesses casos
esses métodos podem interferir diretamente na segurança de seu utilizador. No entanto,
esse debate gera muitas divergências, pois cada comunidade trata o assunto de uma
maneira e com diferentes prioridades, mas mesmo assim, atualmente o aprendizado de
máquina de maneira interpretável é um tópico muito citado.
Um dos principais problemas de não utilizar um método de aprendizado de máquina
interpretável atualmente, é a possibilidade de discriminação que podem vir a gerar, isso
ocorre, pois, os dados utilizados para treinamento são dados reais, e historicamente nossa
sociedade passou por diversos casos de discriminação de povos minoritários até
chegarmos ao atual momento, que ainda existe esse movimento de conscientização contra
esses preconceitos, e isso se reflete nos dados trabalhados nesses algoritmos, que quando
utilizados podem criar um aprendizado preconceituoso, onde a máquina simplesmente
aprendeu com dados que refletem essa discriminação, de maneira não intencional. E por
isso é tão prejudicial à utilização de métodos caixa preta, pois com eles a lógica para a
obtenção dessa conclusão não é demonstrada, não podendo concluir se o problema foi
causado de maneira intencional ou não. Existem alguns exemplos históricos de sistemas
que tiveram analise discriminatória, entre os anos de 1970 e 1980 uma empresa inglesa
utilizava um software para fazer a seleção de seus candidatos, e mesmo sem nenhuma
referência a etnia ela gerava essa discriminação, contra minorias étnicas e mulheres, pois
conforme os dados inseridos pelo candidato, o algoritmo analisava o local de nascimento e
sobrenomes, diminuindo a chance de serem selecionados. E foi realizada uma pesquisa em
Princeton que demonstra como nomes associados a pessoas negras têm mais ligações
com termos desagradáveis que agradáveis. Em 2016 aconteceu com a Amazon, quando
seu sistema selecionou os locais onde teria frete grátis, o mesmo excluiu bairros de
características mais pobres.
Segundo os autores, a interpretabilidade consiste em dar ou fornecer o significado, ou
explicar e apresentar em termos compreensíveis algum conceito. Mas em mineração de
dados e aprendizado de máquina, a interpretabilidade é definida como a capacidade de
explicar ou fornecer o significado em termos compreensíveis para o ser humano, isso
consiste em uma "interface" entre o humano e o sistema tomador de decisão. A
interpretabilidade tem dois modelos, a Global e a Local, onde a primeira respectivamentetende a ser entendida em todo o processo lógico, seguindo todo o raciocínio construído, e a
segunda consiste em indicar somente a razão desse tipo de decisão, sem detalhar a
previsão. Além da interpretabilidade, para construir esse modelo pode-se analisar mais dois
pontos, a precisão que consiste até que ponto o modelo prevê com precisão instâncias não
vistas, e a fidelidade que é até que ponto o modelo consegue imitar com precisão um
algoritmo de caixa preta, captando assim o quanto é bom um modelo interpretável
comprando com um sem interpretação. Atualmente existem alguns modelos interpretáveis
reconhecidos, como o da árvore de decisão, considerados de fácil entendimento ao ser
humano. Um sistema de decisão baseado em árvore, explora um grafo estruturado sendo
compostos por nós internos que representam testes em características ou atributos, e os
nós folhas representam um rótulo de classe, e assim cada ramo da árvore retrata um
resultado possível, os caminhos da raiz até a folha reflete as regras de classificação.
Os autores do artigo também relatam que na literatura não é muito encontrado conteúdo
sobre a complexidade do modelo, e isso está diretamente ligado ao entendimento do
algoritmo, e em alguns casos utiliza-se uma análise aproximada para resolver essa tarefa,
deixando assim a complexidade com um conceito oposto ao da interpretabilidade. Em
alguns casos a complexidade é identificada pelas partes do modelo para quais os limites
são definidos, em modelos lineares é adotado o limite de pesos diferentes de zero, e em
árvores de decisão são adotados a profundidade da mesma.
Os tipos de dados são outro ponto destacados pelos autores, onde podem ser
representados de diversas maneiras, e de diferentes níveis de interpretabilidade para um
ser humano. O formato de dados mais comum é a tabela, como matrizes e vetores, e são
também de fácil manipulação para diversos algoritmos, utilizado em grande parte na área
de mineração de dados e aprendizado de máquina, onde a mesma não necessita de
transformações específicas. Outro formato citado consiste no de imagens e textos, eles são
o mais compreensíveis para o cérebro humano, porém o processamento desses dados
pelos algoritmos é mais complicado, e o principal motivo é a necessidade da transformação
dos dados contidos ali em um array de informações, e assim alguns modelos não podem
ser expostos a esse tipo de dado. Ainda são conhecidas outras formas de dados, como
dados de sequência, dados espaço-temporais e dados de redes complexas, que podem ser
usados por algoritmos de mineração de dados e aprendizado de máquina, porém não
existem pesquisas conhecidas sobre a interpretabilidade de dados diferentes de tabela, e
imagens e textos.
A explicação do resultado de um modelo caixa preta interpretável para os autores consiste
em, fornecer um resultado que é um método contendo uma explicação, assim o mesmo
deve retornar a previsão com uma explicação sobre os motivos dessa afirmação, não
demonstrando toda a lógica por trás, mas apenas a escolha de uma determinada instância.
Foi proposto no artigo uma classificação baseada no tipo do problema enfrentado e no
explicativo adotado para abrir a caixa preta, levando em consideração o tipo de problema
enfrentado, o tipo de modelo da caixa, e o tipo de dados usados como entrada pelo modelo
da caixa preta. Observaram-se alguns pontos durante a análise, e o primeiro consiste que a
árvore de decisão foi reconhecida como um dos modelos mais interpretáveis e facilmente
compreensíveis, principalmente para explicações globais e locais. Regras de Decisão estão
entre os modelos mais compreensíveis entre os humanos. A importância das características
é uma solução dada à explicação do conjunto de dados usado pela caixa preta com seu
peso. Máscara foi outro ponto nomeado para detalhar a causa de um determinado
resultado, principalmente quando se trata de imagens ou textos, e é basicamente utilizado
"máscaras" para destacar visualmente os aspectos determinantes do registro analisado,
utilizado principalmente na explicação das redes neurais. Análise de Sensibilidade
basicamente avalia a incerteza do resultado de uma caixa preta em relação a diferentes
fontes de incerteza em suas entradas. Parcela de Dependência Parcial são gráficos que
ajudam a visualizar e entender a relação entre o resultado de uma caixa preta e a entrada
em um espaço de recursos reduzido. Seleção de Protótipo é outra etapa com o objetivo de
devolver, com o resultado, um exemplo semelhante do registro classificado, a fim de deixar
claro o critério utilizado para a realização da previsão. A última etapa é a Ativação de
Neurônios, e a inspeção de redes neurais, que pode ser realizada também observando
quais são os neurônios fundamentais ativados em relação a determinados registros de
entrada.
Os autores também apresentaram o método mais comum para tentar “abrir” algum
algoritmo de caixa preta, tentando torná-lo interpretável, usando a engenharia reversa, e
isso ocorre obtendo o resultado e comparando com a entrada, fazendo a análise das
perturbações aleatórias causadas pelo algoritmo, avaliando o porquê e como ela foi
causada, e realizando vários testes. Uma solução apresentada para o problema consiste
em adotar uma abordagem com proposta da função f, que usa os componentes internos de
um modelo de floresta aleatória b para produzir recomendações sobre a transformação de
exemplos negativos verdadeiros em exemplos positivamente previstos. Essas
recomendações, que estão estritamente relacionadas à importância do recurso,
correspondem ao preditor global, e a função f tem como objetivo transformar uma instância
negativa em uma instância positiva analisando os caminhos.
Os autores concluem que existe uma quantidade considerável de pesquisas feitas pela
comunidade sobre o tema tratado, porém a comunidade de aprendizado de máquina foca
mais descrever como funcionam as caixas pretas, e o segundo respectivamente com o foco
voltado em explicar as decisões mesmo sem entender o detalhamento de como funciona o
sistema de decisão. Foi notado que muitas das pesquisas presente no meio acadêmico
para explicar as caixas pretas contém questionamentos sem respostas, e um desses
problemas consiste que, não existe um acordo sobre o que é uma explicação para detalhar
o funcionamento de uma caixa preta (aberta), muitos pesquisadores definem como um
conjunto de regras, outros uma árvore de decisão e até como protótipos, ficando evidente
que a atividade de pesquisa neste campo não focou na importância de estudar um
formalismo geral e comum para definir uma explicação. Também não foi encontrado
pesquisas que medem e categorizam a interpretabilidade para o ser humano, mas isso
ocorre pelo fato de que os parâmetros específicos de cada humano tem influência no
resultado final, e considerando que cada um tem seu grau de expertise e tempo de
entendimento pode-se considerar uma tarefa mais complicada, mas esse levantamento
poderia ajudar a aplicabilidade da prática na maioria das abordagens levantadas nas
pesquisas desse meio.
Questão 06
Assista ao documentário “Coded Bias” da NETFLIX e faça um breve resumo do que você
entendeu do assunto. Qual a relação deste documentário com o artigo anterior?
RESP:
O documentário Coded Bias mostra como a pesquisadora Joy Buolamwini percebe um
problema no reconhecimento facial em uma tarefa do MIT, quando ela utiliza uma
ferramenta de inteligência artificial e não é reconhecida, assim ela realiza um teste,
repetindo o reconhecimento com uma máscara branca, na qual obtém sucesso, dessa
forma, começando o estudo do sistema, identifica que o mesmo começa a criar padrões a
partir de uma base de dados que a maioria são homens brancos. O documentário tem
relação com o artigo “A Survey Of Methods For Explaining Black Box Models”, pois, retrata
o preconceito do aprendizado de máquina em uma realidade, e o artigo é uma pesquisa e
análise de algoritmos caixa preta, onde os mesmos por não terem uma clara explicação de
seu funcionamento, possuem uma chance de seremdiscriminatórios, e procura a
explicação do porquê algoritmos desse tipo geram esse resultado, analisando como que
deveriam ser criados os algoritmos de tomada de decisão, visando o entendimento por
parte de qualquer pessoa da lógica para a geração do resultado, e assim como no
documentário que Buolomwini percebe um padrão no reconhecimento facial, ela realiza
pesquisa com diversos pesquisadores sobre o assunto dos algoritmos sem uma clara
interpretabilidade.