PROVA ONLINE_ 12 - Sistemas de Recomendação (2023) 2

Prévia do material em texto

<p>PROVA ONLINE</p><p>Entrega Sem prazo</p><p>Pontos 40</p><p>Perguntas 10</p><p>Limite de tempo 60 Minutos</p><p>Tentativas permitidas 2</p><p>Instruções</p><p>Histórico de tentativas</p><p>Tentativa Tempo Pontuação</p><p>MANTIDO Tentativa 2 8 minutos 40 de 40</p><p>MAIS RECENTE Tentativa 2 8 minutos 40 de 40</p><p>Tentativa 1 13 minutos 28 de 40</p><p>Pontuação desta tentativa: 40 de 40</p><p>Enviado 27 ago em 13:00</p><p>Esta tentativa levou 8 minutos.</p><p></p><p>Pergunta 1</p><p>4 / 4 pts</p><p>INSTRUÇÕES DA AVALIAÇÃO ON-LINE</p><p>- A prova tem a duração de 60 minutos.</p><p>- Ao clicar em PROVA ON-LINE, no menu “Testes” você iniciará a prova. Ao acessar a página com as</p><p>questões, o tempo começa a ser contado.</p><p>- A prova é composta de 10 (dez) questões objetivas, sendo 04 (quatro) pontos cada.</p><p>- Ao final do teste não se esqueça de enviá-lo, clicando no botão “ENVIAR TESTE”. Só utilize esse</p><p>botão quando tiver finalizado a avaliação.</p><p>- Se necessário, durante a prova, entre em contato pelo link “Atendimento”.</p><p>- Você terá 02 (duas) tentativas e, caso necessite de uma nova, será preciso solicitar a prova extra,</p><p>que requer pagamento de taxa adicional.</p><p>Atenção: Todas as provas iniciadas e que não houverem sido submetidas serão automaticamente</p><p>encerradas pelo sistema transcorridos os 60 minutos de duração.</p><p>Boa prova!</p><p>Na prática, quando um usuário acessa um sistema real pela primeira vez, o sistema não sabe quase</p><p>nada sobre ele e não consegue gerar recomendações específicas para as suas preferências. Esse</p><p>27/08/2024, 13:02 PROVA ONLINE: 12 - Sistemas de Recomendação (2023)</p><p>https://pucminas.instructure.com/courses/146804/quizzes/398964 1/9</p><p>https://pucminas.instructure.com/courses/146804/quizzes/398964/history?version=2</p><p>https://pucminas.instructure.com/courses/146804/quizzes/398964/history?version=2</p><p>https://pucminas.instructure.com/courses/146804/quizzes/398964/history?version=1</p><p>Estratégias de entrevista (a.k.a., preference elicitation) que apresenta alguns itens do domínio ao usuário e o pede</p><p>para classificá-los.</p><p>Estratégias de coleta de informações que pede ao usuário para logar com o Facebook, Gmail, ou similar, para que</p><p>o sistema tenha acesso a informações prévias dele.</p><p>Correto!</p><p>Estratégias de similaridade de conteúdos (e.g., content-based) que levam em conta as características dos itens do</p><p>domínio.</p><p>Estratégias não personalizadas, que não levam em conta as informações passadas do usuário alvo para gerar as</p><p>recomendações.</p><p></p><p>Pergunta 2</p><p>4 / 4 pts</p><p>Correto!</p><p>I: Não personalizado que não considera o usuário; II: Content-based tradicional; III: Content-based adaptado para</p><p>as características dos usuários (idade, sexo etc.).</p><p>I: Não personalizado que não considera o usuário; II: Content-based tradicional; III: Collaborative filtering que</p><p>correlaciona usuários pelos seus ratings.</p><p>problema é conhecido como user cold-start e ainda é um dos principais desafios dos cenários reais.</p><p>Por essa razão, algumas estratégias foram desenvolvidas para lidar com esse problema.</p><p>Todas as alternativas a seguir representam uma estratégia compatível para esse problema, exceto:</p><p>Apesar dos recentes avanços em Sistemas de Recomendação, existem diversos problemas que</p><p>ainda são desafios em aberto. Entre eles, destacam-se:</p><p>I. User Cold-Start: quando um novo usuário é adicionado ao sistema e o modelo não possui</p><p>nenhuma informação anterior associada a esse usuário.</p><p>II. Item Cold-Start: quando um novo item é adicionado ao sistema e o modelo não possui nenhum</p><p>rating associado a esse item.</p><p>III. Gray-Sheep: quando o modelo possui pouquíssimos ratings de um usuário e não consegue</p><p>correlacioná-lo com nenhum outro pelos métodos de correlação tradicionais.</p><p>Indique qual afirmativa lista os métodos mais indicados para apresentar possíveis soluções para</p><p>esses problemas:</p><p>27/08/2024, 13:02 PROVA ONLINE: 12 - Sistemas de Recomendação (2023)</p><p>https://pucminas.instructure.com/courses/146804/quizzes/398964 2/9</p><p>I: Content-based que explora as características dos itens; II: Collaborative filtering que correlaciona itens; III:</p><p>Content-based adaptado para as características dos usuários.</p><p>I: Collaborative filtering que correlaciona usuários pelos seus ratings; II: Não personalizado que não considera o</p><p>usuário; III: Content-based tradicional.</p><p></p><p>Pergunta 3</p><p>4 / 4 pts</p><p>VI, III, II, IV, V, I</p><p>V, VI, III, II, I, IV</p><p>V, III, VI, II, I, IV</p><p>Correto!</p><p>V, VI, III, IV, I, II</p><p></p><p>Escolha a alternativa que contém a ordem que melhor indica a definição de cada uma das métricas</p><p>abaixo:</p><p>( ) Esparsidade</p><p>( ) Precision</p><p>( ) Recall</p><p>( ) Acurácia</p><p>( ) F1</p><p>( ) MA</p><p>I. Média entre Precision e Recall com o viés direcionado ao menor valor.</p><p>II. O erro médio entre os scores computados para a recomendação e os ratings reais existentes para</p><p>todos os usuários e itens do conjunto de teste.</p><p>III. Proporção de instâncias relevantes que são recuperadas.</p><p>IV. Proporção de resultados corretos (positivos e negativos) sobre o número total de casos</p><p>examinados.</p><p>V. A fração de itens vazios com relação ao total de elementos preenchidos na matriz de usuários e</p><p>itens.</p><p>VI. A proporção de instâncias recuperadas que são relevantes.</p><p>27/08/2024, 13:02 PROVA ONLINE: 12 - Sistemas de Recomendação (2023)</p><p>https://pucminas.instructure.com/courses/146804/quizzes/398964 3/9</p><p>Pergunta 4</p><p>4 / 4 pts</p><p>Um modelo de Filtragem Colaborativa Item-Item, pois esse método não depende dos ratings dos usuários,</p><p>explorando os ratings que os livros receberam.</p><p>Correto!</p><p>Recomendador Content-based, pois esse método não depende dos ratings dos usuários, explorando as</p><p>características (e.g., título, autor, ano etc.) dos livros.</p><p>Um modelo de Filtragem Colaborativa User-User, pois esse método não depende dos ratings do usuário-alvo,</p><p>explorando os ratings dos usuários vizinhos.</p><p>Um modelo de Filtragem Colaborativa baseado no SVD, pois esse método explora os fatores latentes dos usuários</p><p>e itens.</p><p></p><p>Pergunta 5</p><p>4 / 4 pts</p><p>V, F, V, F</p><p>F, F, V, F</p><p>Você foi contratado para construir um sistema de recomendação para uma loja online de livros. Essa</p><p>loja possui mais de 1 milhão de livros, mas sua base de dados possui apenas 10.000 ratings. Qual</p><p>dentre as opções abaixo apresenta o recomendador mais indicado para esse cenário e a melhor</p><p>justificativa para sua escolha?</p><p>Com base no conhecimento adquirido sobre cada uma das classes de recomendação, classifique</p><p>como verdadeiras (V) ou falsas (F) as sentenças a seguir:</p><p>( ) Técnicas de filtragem colaborativa correlacionam usuários e itens a fim de utilizar as</p><p>informações dos mais semelhantes para recomendar as melhores opções.</p><p>( ) Técnicas de filtragem baseada em conteúdo correlacionam itens por meio de suas</p><p>características intrínsecas, como gênero de um filme, estilo de uma música, etc.</p><p>( ) Técnicas não-personalizadas se baseiam no histórico de consumo do usuário alvo para predizer</p><p>as suas recomendações futuras.</p><p>( ) Técnicas Knowledge-based são personalizadas, pois os usuários filtram por aquilo que mais</p><p>desejam através de opções da interface do sistema.</p><p>Realizada a classificação, assinale a alternativa que indica a sequência correta:</p><p>27/08/2024, 13:02 PROVA ONLINE: 12 - Sistemas de Recomendação (2023)</p><p>https://pucminas.instructure.com/courses/146804/quizzes/398964 4/9</p><p>F, V, F, V</p><p>Correto!</p><p>V, V, F, V</p><p></p><p>Pergunta 6</p><p>4 / 4 pts</p><p>Essa estratégia é mais eficiente que as estratégias tradicionais, pois consegue reduzir a dimensionalidade dos</p><p>dados, mas é menos eficaz, pois não consegue extrair as relações entre tópicos e documentos.</p><p>Correto!</p><p>Essa estratégia é mais eficaz e eficiente que as estratégias tradicionais, uma vez que o modelo consegue extrair</p><p>relações não triviais entre os dados e é capaz de reduzir a dimensionalidade dos dados.</p><p>Essa estratégia não é mais eficaz e nem mais eficiente que as estratégias tradicionais por se tratar de um modelo</p><p>complexo que não funciona bem na prática.</p><p>Essa estratégia é mais eficaz que as estratégias tradicionais, pois consegue extrair relações não triviais entre os</p><p>dados, mas é menos eficiente, pois lida com um maior volume</p><p>de dados.</p><p></p><p>Pergunta 7</p><p>4 / 4 pts</p><p>O modelo de Dirichlet é utilizado com base para o LDA, um dos principais algoritmos de extração de</p><p>tópicos latentes. Em linhas gerais, o modelo extrai e associa um conjunto de k tópicos aos m</p><p>documentos e as n palavras do domínio, tal qual mostrado pela representação plate notation abaixo:</p><p>Sabendo que eficácia refere-se à qualidade do modelo e eficiência ao seu custo computacional,</p><p>identifique as principais diferenças do LDA para as estratégias de content-based tradicionais:</p><p>Um dos modelos mais conhecidos em Sistemas de Recomendação são as estratégias de</p><p>Collaborative Filtering memory-based. Essas abordagens tentam correlacionar usuários e/ou itens,</p><p>identificando aqueles que são mais semelhantes entre si, a fim de recomendar com base nessas</p><p>informações. No modelo user-user, por exemplo, primeiro identifica-se os usuários mais similares ao</p><p>usuário alvo, para depois gerar as recomendações para ele. Contudo, essa estratégia possui um</p><p>27/08/2024, 13:02 PROVA ONLINE: 12 - Sistemas de Recomendação (2023)</p><p>https://pucminas.instructure.com/courses/146804/quizzes/398964 5/9</p><p>Uma simples solução seria aplicar uma métrica de similaridade capaz de lidar com esse problema. Poderíamos</p><p>utilizar a métrica de Pearson, por exemplo.</p><p>Uma simples solução seria considerar a confiança dessa similaridade. Basta multiplicarmos a métrica de</p><p>similaridade por max(c, 50)/50, onde c representa a quantidade de ratings em comum entre os usuários.</p><p>Correto!</p><p>Uma simples solução seria considerar a confiança dessa similaridade. Basta multiplicarmos a métrica de</p><p>similaridade por min(c, 50)/50, onde c representa a quantidade de ratings em comum entre os usuários.</p><p>Uma simples solução seria aplicar uma métrica de similaridade capaz de lidar com esse problema. Poderíamos</p><p>utilizar a métrica de Jaccard, por exemplo.</p><p></p><p>Pergunta 8</p><p>4 / 4 pts</p><p>Correto!</p><p>Você pode combinar as três bases de dados em uma só, mas você precisa normalizar a escala de ratings (para</p><p>valores entre 0-1, por exemplo) antes de juntar os dados.</p><p>Assumindo que pelo menos um item ou usuário de um sistema não exista em outro sistema, não é possível</p><p>combinar as duas bases de dados porque está faltando dados.</p><p>problema. Se dois usuários avaliaram pouquíssimos itens (1 ou 2, por exemplo) e coincidir de serem</p><p>os mesmos itens, o sistema dirá que eles são extremamente similares (similaridade = 1), mesmo</p><p>sendo “cedo” para tal afirmação. O ideal é que o sistema seja capaz de reconhecer que esses</p><p>usuários podem não ser tão similares assim.</p><p>O que você poderia propor para suavizar esse problema?</p><p>Suponha que você é o dono de uma grande empresa online de filmes e projetou utilizar um modelo</p><p>de filtragem colaborativa. Para fomentar o seu modelo, você adquiriu dados já existentes de três</p><p>plataformas de avaliação de filmes online (chamadas de A, B e C), em que os usuários acessam e</p><p>avaliam os filmes que já assistiram. Portanto, você pretende unir os três conjuntos de dados</p><p>adquiridos para serem utilizados pelo mesmo sistema. Contudo, no sistema A, usuários avaliam os</p><p>filmes numa escala de 1 a 5 estrelas. Por sua vez, no sistema B, os usuários avaliam os filmes na</p><p>escala de 1 - 10 e valores decimais (e.g., 7.5) são permitidos. E no sistema C, os usuários avaliam</p><p>em uma escala de 1 - 100. Você também tem informações suficientes para identificar os</p><p>usuários/itens de um sistema em outro.</p><p>Com base nessas informações, qual das alternativas é verdadeira?</p><p>27/08/2024, 13:02 PROVA ONLINE: 12 - Sistemas de Recomendação (2023)</p><p>https://pucminas.instructure.com/courses/146804/quizzes/398964 6/9</p><p>Você pode combinar as três bases de dados em uma só e simplesmente aplicar um processo de mean</p><p>normalization após a junção dos dados para utilizá-los.</p><p>Não é possível combinar essas três bases de dados. Você precisa implementar um modelo de recomendação para</p><p>cada uma delas.</p><p></p><p>Pergunta 9</p><p>4 / 4 pts</p><p>Na maioria dos cenários de recomendação, a distribuição de popularidade dos itens (i.e., número de</p><p>vezes que os itens foram vendidos, assistidos e/ou visualizados) consiste em uma distribuição</p><p>exponencial. Nela, existe um pequeno grupo de itens que são muito populares (a.k.a., head) e um</p><p>grande grupo de itens que são pouco populares (a.k.a., tail), tal qual mostra a figura abaixo.</p><p>Fonte: https://marcomoura.wordpress.com/2006/09/26/long-tail-e-como-a-grande-baleia-azul-que-se-alimenta-de-camaroes/</p><p>(https://marcomoura.wordpress.com/2006/09/26/long-tail-e-como-a-grande-baleia-azul-que-se-alimenta-de-camaroes/)</p><p>Sobre essa distribuição, classifique como verdadeiras (V) ou falsas (F) as seguintes sentenças:</p><p>( ) Os itens da cabeça da distribuição (head) são mais propensos a serem recomendados pois</p><p>existe mais informação sobre eles no sistema.</p><p>( ) Recomendar itens da cauda da distribuição (tail) pode ser interessante pois esses itens são</p><p>mais raros, podendo surpreender o usuário e agregar valor ao sistema.</p><p>( ) Recomendar itens da cauda da distribuição (tail) é mais fácil que itens da cabeça (head), pois</p><p>existem mais itens disponíveis.</p><p>27/08/2024, 13:02 PROVA ONLINE: 12 - Sistemas de Recomendação (2023)</p><p>https://pucminas.instructure.com/courses/146804/quizzes/398964 7/9</p><p>https://marcomoura.wordpress.com/2006/09/26/long-tail-e-como-a-grande-baleia-azul-que-se-alimenta-de-camaroes/</p><p>https://marcomoura.wordpress.com/2006/09/26/long-tail-e-como-a-grande-baleia-azul-que-se-alimenta-de-camaroes/</p><p>https://marcomoura.wordpress.com/2006/09/26/long-tail-e-como-a-grande-baleia-azul-que-se-alimenta-de-camaroes/</p><p>https://marcomoura.wordpress.com/2006/09/26/long-tail-e-como-a-grande-baleia-azul-que-se-alimenta-de-camaroes/</p><p>Correto!</p><p>V, V, F, F</p><p>V, F, F, V</p><p>F, F, V, V</p><p>F, V, V, F</p><p></p><p>Pergunta 10</p><p>4 / 4 pts</p><p>F, V, F, F</p><p>Correto!</p><p>V, F, V, V</p><p>F, F, V, F</p><p>V, V, F, F</p><p>( ) Uma boa recomendação deve apenas se preocupar com os itens da cabeça da distribuição</p><p>(head), pois são os preferidos para os usuários.</p><p>Realizada a classificação, marque a alternativa que indica a sequência correta:</p><p>No processo de avaliação de um Sistema de Recomendação, é possível realizar duas etapas</p><p>distintas: offline e online.</p><p>Sobre tais abordagens, assinale verdadeiro (V) ou falso (F) para as seguintes sentenças:</p><p>( ) Enquanto a avaliação offline é retrospectiva, pois avalia apenas a qualidade do modelo em</p><p>prever as preferências passadas, a avaliação online é prospectiva, pois de fato consegue mensurar</p><p>a qualidade do modelo em prever as preferências futuras dos usuários.</p><p>( ) Avaliações online são altamente reprodutíveis e realísticas, uma vez que o sistema interage com</p><p>usuários reais.</p><p>( ) Avaliações offline são inspiradas nos modelos clássicos de avaliação em Machine Learning e</p><p>Recuperação de Informação, uma vez que possuem um conjunto de treino, validação e teste.</p><p>( ) Avaliações online são constituídas de testes A/B com usuários reais que interagem com as</p><p>recomendações computadas por distintos modelos a fim de validar qual deles é melhor.</p><p>Marque a alternativa que indica a sequência correta:</p><p>27/08/2024, 13:02 PROVA ONLINE: 12 - Sistemas de Recomendação (2023)</p><p>https://pucminas.instructure.com/courses/146804/quizzes/398964 8/9</p><p>Pontuação do teste: 40 de 40</p><p>27/08/2024, 13:02 PROVA ONLINE: 12 - Sistemas de Recomendação (2023)</p><p>https://pucminas.instructure.com/courses/146804/quizzes/398964 9/9</p>