PROVA ONLINE_ 12 - Sistemas de Recomendação (2023)

Prévia do material em texto

<p>PROVA ONLINE</p><p>Entrega Sem prazo</p><p>Pontos 40</p><p>Perguntas 10</p><p>Limite de tempo 60 Minutos</p><p>Tentativas permitidas 2</p><p>Instruções</p><p>Histórico de tentativas</p><p>Tentativa Tempo Pontuação</p><p>MAIS RECENTE Tentativa 1 13 minutos 28 de 40</p><p>Pontuação desta tentativa: 28 de 40</p><p>Enviado 27 ago em 12:51</p><p>Esta tentativa levou 13 minutos.</p><p></p><p>Pergunta 1</p><p>4 / 4 pts</p><p>INSTRUÇÕES DA AVALIAÇÃO ON-LINE</p><p>- A prova tem a duração de 60 minutos.</p><p>- Ao clicar em PROVA ON-LINE, no menu “Testes” você iniciará a prova. Ao acessar a página com as</p><p>questões, o tempo começa a ser contado.</p><p>- A prova é composta de 10 (dez) questões objetivas, sendo 04 (quatro) pontos cada.</p><p>- Ao final do teste não se esqueça de enviá-lo, clicando no botão “ENVIAR TESTE”. Só utilize esse</p><p>botão quando tiver finalizado a avaliação.</p><p>- Se necessário, durante a prova, entre em contato pelo link “Atendimento”.</p><p>- Você terá 02 (duas) tentativas e, caso necessite de uma nova, será preciso solicitar a prova extra,</p><p>que requer pagamento de taxa adicional.</p><p>Atenção: Todas as provas iniciadas e que não houverem sido submetidas serão automaticamente</p><p>encerradas pelo sistema transcorridos os 60 minutos de duração.</p><p>Boa prova!</p><p>Fazer o teste novamente</p><p>Apesar de os modelos de recomendação não personalizados serem muito eficientes, eles possuem</p><p>uma série de problemas.</p><p>27/08/2024, 12:52 PROVA ONLINE: 12 - Sistemas de Recomendação (2023)</p><p>https://pucminas.instructure.com/courses/146804/quizzes/398964 1/9</p><p>https://pucminas.instructure.com/courses/146804/quizzes/398964/history?version=1</p><p>https://pucminas.instructure.com/courses/146804/quizzes/398964/take?user_id=263917</p><p>Esses modelos podem enviesar o consumo dos usuários para apenas uma parcela pequena de produtos e acabar</p><p>deixando de lado itens potencialmente relevantes.</p><p>Esses modelos não levam em conta o contexto que o usuário está inserido, podendo realizar recomendações</p><p>desconexas com aquilo que o usuário realmente deseja.</p><p>Esses modelos assumem que a utilidade de um item é a mesma para todos os usuários e, por isso, pode</p><p>recomendar itens completamente distintos aos mesmos usuários.</p><p>Correto!</p><p>Esses modelos não são capazes de lidar com usuários novos, porque precisam recomendar de acordo com as</p><p>preferências dos usuários.</p><p></p><p>Pergunta 2</p><p>4 / 4 pts</p><p>Selecione a opção que não representa um problema desses modelos:</p><p>Hoje em dia existem muitos sistemas destinados a avaliação de conteúdos que podem ser usados</p><p>como feedbacks para fomentar modelos de recomendação. Um exemplo é o IMDb, um sistema de</p><p>avaliação de filmes. Neles os usuários podem atribuir notas, comentários, scores de interesse e</p><p>outros. O screenshot abaixo representa um exemplo de avaliação desse sistema:</p><p>Assinale a alternativa que representa os tipos de feedbacks dos conteúdos destacados pelos</p><p>números 1 e 2:</p><p>27/08/2024, 12:52 PROVA ONLINE: 12 - Sistemas de Recomendação (2023)</p><p>https://pucminas.instructure.com/courses/146804/quizzes/398964 2/9</p><p>Correto!</p><p>Ambos representam feedbacks explícitos.</p><p>O conteúdo 1 representa feedbacks explícitos, enquanto o 2 representa os implícitos.</p><p>Ambos representam feedbacks implícitos.</p><p>O conteúdo 1 representa feedbacks implícitos, enquanto o 2 representa os explícitos.</p><p></p><p>Pergunta 3</p><p>0 / 4 pts</p><p>Você respondeu</p><p>Uma simples solução seria considerar a confiança dessa similaridade. Basta multiplicarmos a métrica de</p><p>similaridade por max(c, 50)/50, onde c representa a quantidade de ratings em comum entre os usuários.</p><p>Uma simples solução seria aplicar uma métrica de similaridade capaz de lidar com esse problema. Poderíamos</p><p>utilizar a métrica de Pearson, por exemplo.</p><p>Resposta correta</p><p>Uma simples solução seria considerar a confiança dessa similaridade. Basta multiplicarmos a métrica de</p><p>similaridade por min(c, 50)/50, onde c representa a quantidade de ratings em comum entre os usuários.</p><p>Uma simples solução seria aplicar uma métrica de similaridade capaz de lidar com esse problema. Poderíamos</p><p>utilizar a métrica de Jaccard, por exemplo.</p><p></p><p>Pergunta 4</p><p>0 / 4 pts</p><p>Um dos modelos mais conhecidos em Sistemas de Recomendação são as estratégias de</p><p>Collaborative Filtering memory-based. Essas abordagens tentam correlacionar usuários e/ou itens,</p><p>identificando aqueles que são mais semelhantes entre si, a fim de recomendar com base nessas</p><p>informações. No modelo user-user, por exemplo, primeiro identifica-se os usuários mais similares ao</p><p>usuário alvo, para depois gerar as recomendações para ele. Contudo, essa estratégia possui um</p><p>problema. Se dois usuários avaliaram pouquíssimos itens (1 ou 2, por exemplo) e coincidir de serem</p><p>os mesmos itens, o sistema dirá que eles são extremamente similares (similaridade = 1), mesmo</p><p>sendo “cedo” para tal afirmação. O ideal é que o sistema seja capaz de reconhecer que esses</p><p>usuários podem não ser tão similares assim.</p><p>O que você poderia propor para suavizar esse problema?</p><p>Suponha que você é o dono de uma grande empresa online de filmes e projetou utilizar um modelo</p><p>de filtragem colaborativa. Para fomentar o seu modelo, você adquiriu dados já existentes de três</p><p>plataformas de avaliação de filmes online (chamadas de A, B e C), em que os usuários acessam e</p><p>avaliam os filmes que já assistiram. Portanto, você pretende unir os três conjuntos de dados</p><p>adquiridos para serem utilizados pelo mesmo sistema. Contudo, no sistema A, usuários avaliam os</p><p>27/08/2024, 12:52 PROVA ONLINE: 12 - Sistemas de Recomendação (2023)</p><p>https://pucminas.instructure.com/courses/146804/quizzes/398964 3/9</p><p>Assumindo que pelo menos um item ou usuário de um sistema não exista em outro sistema, não é possível</p><p>combinar as duas bases de dados porque está faltando dados.</p><p>Você respondeu</p><p>Você pode combinar as três bases de dados em uma só e simplesmente aplicar um processo de mean</p><p>normalization após a junção dos dados para utilizá-los.</p><p>Resposta correta</p><p>Você pode combinar as três bases de dados em uma só, mas você precisa normalizar a escala de ratings (para</p><p>valores entre 0-1, por exemplo) antes de juntar os dados.</p><p>Não é possível combinar essas três bases de dados. Você precisa implementar um modelo de recomendação para</p><p>cada uma delas.</p><p></p><p>Pergunta 5</p><p>0 / 4 pts</p><p>filmes numa escala de 1 a 5 estrelas. Por sua vez, no sistema B, os usuários avaliam os filmes na</p><p>escala de 1 - 10 e valores decimais (e.g., 7.5) são permitidos. E no sistema C, os usuários avaliam</p><p>em uma escala de 1 - 100. Você também tem informações suficientes para identificar os</p><p>usuários/itens de um sistema em outro.</p><p>Com base nessas informações, qual das alternativas é verdadeira?</p><p>As estratégias de Filtragem Colaborativa model-based são as mais aplicadas em cenários reais de</p><p>recomendação devido à sua eficácia. Uma das abordagens mais comuns consiste na aplicação do</p><p>Singular Value Decomposition (SVD). O SVD é um método algébrico que extrai os fatores latentes</p><p>referentes aos usuários e aos itens do domínio, a fim de extrair relações não-triviais sobre esses. Um</p><p>dos principais parâmetros regularizadores desse método é justamente o número de fatores latentes</p><p>(k) utilizados. Em geral, enquanto menores valores de k fazem o método ser mais eficaz, um número</p><p>de fatores latentes alto — i.e., próximo a quantidade de itens (ou usuários) — não produz um bom</p><p>resultado.</p><p>27/08/2024, 12:52 PROVA ONLINE: 12 - Sistemas de Recomendação (2023)</p><p>https://pucminas.instructure.com/courses/146804/quizzes/398964 4/9</p><p>Um número alto de fatores latentes leva a uma super especialização do SVD na matriz de treino, impedindo que o</p><p>método consiga predizer os dados do teste.</p><p>Um número de fatores latentes próximo as dimensões dos usuários e/ou itens não permite que o SVD extraia</p><p>corretamente informações relevantes dos dados.</p><p>Resposta correta</p><p>Muitos fatores latentes prejudicam a recomendação pois faz com que os valores preditos sejam próximos de zero.</p><p>Você respondeu</p><p>Muitos fatores latentes adicionam ruído nos dados, impedindo que o SVD seja capaz de associar corretamente</p><p>grupos de interesse em comum.</p><p></p><p>Pergunta 6</p><p>4 / 4 pts</p><p>Correto!</p><p>V, V, F, V</p><p>F, F, V, F</p><p>F, V, F, V</p><p>V, F, V, F</p><p>Todas as afirmativas abaixo apresentam um motivo pelo qual altos valores de k não produzirem um</p><p>resultado tão eficaz, exceto:</p><p>Com base no conhecimento adquirido sobre cada uma das classes de recomendação, classifique</p><p>como verdadeiras (V) ou falsas (F) as sentenças a seguir:</p><p>( ) Técnicas de filtragem colaborativa correlacionam usuários e itens a fim de utilizar as</p><p>informações dos mais semelhantes para recomendar as melhores opções.</p><p>( ) Técnicas de filtragem baseada em conteúdo correlacionam itens por meio de suas</p><p>características intrínsecas, como gênero de um filme, estilo de uma música, etc.</p><p>( ) Técnicas não-personalizadas se baseiam no histórico de consumo do usuário alvo para predizer</p><p>as suas recomendações futuras.</p><p>( ) Técnicas Knowledge-based são personalizadas, pois os usuários filtram por aquilo que mais</p><p>desejam através de opções da interface do sistema.</p><p>Realizada a classificação, assinale a alternativa que indica a sequência correta:</p><p>27/08/2024, 12:52 PROVA ONLINE: 12 - Sistemas de Recomendação (2023)</p><p>https://pucminas.instructure.com/courses/146804/quizzes/398964 5/9</p><p></p><p>Pergunta 7</p><p>4 / 4 pts</p><p>Um modelo de Filtragem Colaborativa Item-Item, pois esse método não depende dos ratings dos usuários,</p><p>explorando os ratings que os livros receberam.</p><p>Um modelo de Filtragem Colaborativa baseado no SVD, pois esse método explora os fatores latentes dos usuários</p><p>e itens.</p><p>Correto!</p><p>Recomendador Content-based, pois esse método não depende dos ratings dos usuários, explorando as</p><p>características (e.g., título, autor, ano etc.) dos livros.</p><p>Um modelo de Filtragem Colaborativa User-User, pois esse método não depende dos ratings do usuário-alvo,</p><p>explorando os ratings dos usuários vizinhos.</p><p></p><p>Pergunta 8</p><p>4 / 4 pts</p><p>Você foi contratado para construir um sistema de recomendação para uma loja online de livros. Essa</p><p>loja possui mais de 1 milhão de livros, mas sua base de dados possui apenas 10.000 ratings. Qual</p><p>dentre as opções abaixo apresenta o recomendador mais indicado para esse cenário e a melhor</p><p>justificativa para sua escolha?</p><p>Na maioria dos cenários de recomendação, a distribuição de popularidade dos itens (i.e., número de</p><p>vezes que os itens foram vendidos, assistidos e/ou visualizados) consiste em uma distribuição</p><p>exponencial. Nela, existe um pequeno grupo de itens que são muito populares (a.k.a., head) e um</p><p>grande grupo de itens que são pouco populares (a.k.a., tail), tal qual mostra a figura abaixo.</p><p>27/08/2024, 12:52 PROVA ONLINE: 12 - Sistemas de Recomendação (2023)</p><p>https://pucminas.instructure.com/courses/146804/quizzes/398964 6/9</p><p>Correto!</p><p>V, V, F, F</p><p>F, F, V, V</p><p>V, F, F, V</p><p>F, V, V, F</p><p></p><p>Pergunta 9</p><p>4 / 4 pts</p><p>Fonte: https://marcomoura.wordpress.com/2006/09/26/long-tail-e-como-a-grande-baleia-azul-que-se-alimenta-de-camaroes/</p><p>(https://marcomoura.wordpress.com/2006/09/26/long-tail-e-como-a-grande-baleia-azul-que-se-alimenta-de-camaroes/)</p><p>Sobre essa distribuição, classifique como verdadeiras (V) ou falsas (F) as seguintes sentenças:</p><p>( ) Os itens da cabeça da distribuição (head) são mais propensos a serem recomendados pois</p><p>existe mais informação sobre eles no sistema.</p><p>( ) Recomendar itens da cauda da distribuição (tail) pode ser interessante pois esses itens são</p><p>mais raros, podendo surpreender o usuário e agregar valor ao sistema.</p><p>( ) Recomendar itens da cauda da distribuição (tail) é mais fácil que itens da cabeça (head), pois</p><p>existem mais itens disponíveis.</p><p>( ) Uma boa recomendação deve apenas se preocupar com os itens da cabeça da distribuição</p><p>(head), pois são os preferidos para os usuários.</p><p>Realizada a classificação, marque a alternativa que indica a sequência correta:</p><p>Apesar dos recentes avanços em Sistemas de Recomendação, existem diversos problemas que</p><p>ainda são desafios em aberto. Entre eles, destacam-se:</p><p>I. User Cold-Start: quando um novo usuário é adicionado ao sistema e o modelo não possui</p><p>nenhuma informação anterior associada a esse usuário.</p><p>II. Item Cold-Start: quando um novo item é adicionado ao sistema e o modelo não possui nenhum</p><p>rating associado a esse item.</p><p>III. Gray-Sheep: quando o modelo possui pouquíssimos ratings de um usuário e não consegue</p><p>correlacioná-lo com nenhum outro pelos métodos de correlação tradicionais.</p><p>27/08/2024, 12:52 PROVA ONLINE: 12 - Sistemas de Recomendação (2023)</p><p>https://pucminas.instructure.com/courses/146804/quizzes/398964 7/9</p><p>https://marcomoura.wordpress.com/2006/09/26/long-tail-e-como-a-grande-baleia-azul-que-se-alimenta-de-camaroes/</p><p>https://marcomoura.wordpress.com/2006/09/26/long-tail-e-como-a-grande-baleia-azul-que-se-alimenta-de-camaroes/</p><p>https://marcomoura.wordpress.com/2006/09/26/long-tail-e-como-a-grande-baleia-azul-que-se-alimenta-de-camaroes/</p><p>https://marcomoura.wordpress.com/2006/09/26/long-tail-e-como-a-grande-baleia-azul-que-se-alimenta-de-camaroes/</p><p>I: Não personalizado que não considera o usuário; II: Content-based tradicional; III: Collaborative filtering que</p><p>correlaciona usuários pelos seus ratings.</p><p>I: Collaborative filtering que correlaciona usuários pelos seus ratings; II: Não personalizado que não considera o</p><p>usuário; III: Content-based tradicional.</p><p>I: Content-based que explora as características dos itens; II: Collaborative filtering que correlaciona itens; III:</p><p>Content-based adaptado para as características dos usuários.</p><p>Correto!</p><p>I: Não personalizado que não considera o usuário; II: Content-based tradicional; III: Content-based adaptado para</p><p>as características dos usuários (idade, sexo etc.).</p><p></p><p>Pergunta 10</p><p>4 / 4 pts</p><p>Correto!</p><p>V, F, V, V</p><p>Indique qual afirmativa lista os métodos mais indicados para apresentar possíveis soluções para</p><p>esses problemas:</p><p>No processo de avaliação de um Sistema de Recomendação, é possível realizar duas etapas</p><p>distintas: offline e online.</p><p>Sobre tais abordagens, assinale verdadeiro (V) ou falso (F) para as seguintes sentenças:</p><p>( ) Enquanto a avaliação offline é retrospectiva, pois avalia apenas a qualidade do modelo em</p><p>prever as preferências passadas, a avaliação online é prospectiva, pois de fato consegue mensurar</p><p>a qualidade do modelo em prever as preferências futuras dos usuários.</p><p>( ) Avaliações online são altamente reprodutíveis e realísticas, uma vez que o sistema interage com</p><p>usuários reais.</p><p>( ) Avaliações offline são inspiradas nos modelos clássicos de avaliação em Machine Learning e</p><p>Recuperação de Informação, uma vez que possuem um conjunto de treino, validação e teste.</p><p>( ) Avaliações online são constituídas de testes A/B com usuários reais que interagem com as</p><p>recomendações computadas por distintos modelos a fim de validar qual deles é melhor.</p><p>Marque a alternativa que indica a sequência correta:</p><p>27/08/2024, 12:52 PROVA ONLINE: 12 - Sistemas de Recomendação (2023)</p><p>https://pucminas.instructure.com/courses/146804/quizzes/398964 8/9</p><p>V, V, F, F</p><p>F, F, V, F</p><p>F, V, F, F</p><p>Pontuação do teste: 28 de 40</p><p>27/08/2024, 12:52 PROVA ONLINE: 12 - Sistemas de Recomendação (2023)</p><p>https://pucminas.instructure.com/courses/146804/quizzes/398964 9/9</p>