aula5-avaliacao-parte2-150605153933-lva1-app6892

Prévia do material em texto

<p>Avaliação de Usabilidade Parte 2</p><p>Prof. André Constantino da Silva IHC</p><p>Baseado nos slides da Prof. Dr. Heloísa Vieira da Rocha</p><p>Compreender a importância da avaliação em um processo de desenvolvimento de interfaces de usuário</p><p>Conhecer e aplicar dois métodos de avaliação de usabilidade</p><p>Objetivo das Aulas</p><p>Teste de Usabilidade</p><p>Processo	empírico	que	visa	avaliar	a	usabilidade	de	um</p><p>produto observando os usuários durante a sua utilização</p><p>Método fundamental de usabilidade</p><p>–Tem o objetivo de aprimorar a usabilidade do produto</p><p>–Os participantes do teste devem ser usuários reais, executando tarefas reais</p><p>–Realizado com 4 a 5 usuários representativos, já traz resultados satisfatórios</p><p>Teste de Usabilidade – Tipos de Teste</p><p>Tipos de Teste:</p><p>Teste de Exploração</p><p>Teste de Avaliação</p><p>Teste de Validação</p><p>Teste de Comparação</p><p>Teste de Usabilidade – Teste de Exploração</p><p>Teste de Exploração</p><p>Quando usar: fases iniciais do design. Que funcionalidades incluir?</p><p>Objetivo: Explorar o modelo mental do usuário a respeito das tarefas em questão. Verificar se o usuário aprova as funcionalidades propostas e da maneira proposta.</p><p>Metodologia: Walkthrough. O usuário explora o modelo da interface dando sugestões para o avaliador.</p><p>Exemplo: O usuário é apresentado a um problema concreto e estimulado a falar sobre suas expectativas suposições e intenções para a resolução do problema.</p><p>http://www.youtube.com/watch?v=0aHGLCAhxYY</p><p>Teste de Usabilidade – Teste de Avaliação</p><p>Teste de Avaliação</p><p>Quando usar: nas fases intermediárias do ciclo de design.</p><p>Objetivo: Determinar se os modelos conceituais foram implementados adequadamente. Busca verificar se o usuário consegue realizar as tarefas. Visa identificar problemas de usabilidade.</p><p>Metodologia: O usuários executa tarefas e o avaliador observa sem interferir. Alguns dados quantitativos de eficiência de uso são anotados (tempo, quantidade erros, etc), mas é dado mais ênfase ao comportamento do usuário.</p><p>Exemplo: Usuário é solicitado a renovar um livro no sistema on-line da</p><p>biblioteca.</p><p>Teste de Usabilidade – Teste de Validação</p><p>Teste de Validação</p><p>Quando usar: na fase final, perto do lançamento do produto.</p><p>Objetivo: Certificar que o produto está de acordo com o que foi especificado e se enquadra nos padrões de usabilidade e performance definidos.</p><p>Metodologia: Determinar tempos para as tarefas e verificar se o usuário</p><p>consegue realizá-las dentro daquele tempo.</p><p>Exemplo: Tarefa: renovar livro na biblioteca (tempo previsto 1 min).</p><p>http://www.youtube.com/watch?v=46fdXjLXhw8</p><p>Teste de Usabilidade – Teste de Comparação</p><p>Teste de Comparação</p><p>Quando usar: em qualquer estágio do ciclo de design. Nos primeiros estágios pode ser usado para comparar designs alternativos, nos estágios intermediários pode ser usado para medir a efetividade de um elemento da interface e no final pode ser usado para comparar se o produto atinge um concorrente.</p><p>Objetivo: Comparar soluções alternativas entre si e determinar qual delas é</p><p>mais fácil de usar.</p><p>Metodologia: Um teste exploratório onde diversas soluções são comparadas entre si. O resultado é um produto que combina o melhor dessas idéias.</p><p>Exemplo: Localize onde se encontra o help nos seguintes sites...</p><p>Teste de Usabilidade</p><p>Duas maiores preocupações:</p><p>Confiabilidade:	grau	de	certeza	de	que	o	mesmo resultado será obtido se o teste for repetido</p><p>Validade: o fato dos resultados de teste refletirem os aspectos de usabilidade que se deseja testar</p><p>2 fases principais:</p><p>Planejamento</p><p>Execução</p><p>Teste de Usabilidade – Planejamento (i)</p><p>Estabelecer a equipe</p><p>Quem participará da parte de planejamento?</p><p>Quem serão os experimentadores?</p><p>Características e tipo de teste</p><p>Público-alvo</p><p>Quem serão os usuários e como serão conseguidos?</p><p>Quantos usuários são necessários?</p><p>Teste de Usabilidade – Planejamento (ii)</p><p>–Recursos necessários para a realização do teste</p><p>Quais softwares precisam estar a disposição?</p><p>Quando e onde o teste irá acontecer?</p><p>Qual a duração prevista de cada sessão de teste?</p><p>Qual o suporte computacional necessário?</p><p>•</p><p>•</p><p>Qual deverá ser o estado do sistema no início do teste?</p><p>Objetivos e métricas</p><p>O que se deseja obter através do teste?</p><p>Quais dados serão coletados?</p><p>Teste de Usabilidade – Planejamento (iii)</p><p>–Cenários e tarefas</p><p>Quais as tarefas que serão solicitadas aos usuários?</p><p>Quanto o experimentador poderá ajudar o usuário durante o teste?</p><p>– Definição de como será a análise dos resultados</p><p>•</p><p>•</p><p>Como os dados serão analisados uma vez que tenham sido</p><p>coletados?</p><p>Qual critério será utilizado para definir que os usuários terminaram cada tarefa corretamente?</p><p>Qual o critério para determinar que a interface é um sucesso?</p><p>Teste de Usabilidade – Os experimentadores</p><p>Escolha usuários significativos</p><p>Envolva usuários reais</p><p>Se não for possível, selecione usuários tão próximos quanto possível</p><p>Idade</p><p>Nível educacional</p><p>Experiência com computadores</p><p>Conhecimento do domínio da tarefa</p><p>Erro	comum:	interface	para	público	em	geral	e	recrutar</p><p>alunos de computação como usuários nos testes</p><p>Devem	ter	conhecimento	extenso	sobre	a	aplicação	e	sobre	a interface</p><p>Não precisam saber como o sistema foi implementado</p><p>Mas devem estar prontos para lidar com problemas que afetam o teste (sistema ‘travar’)</p><p>Podem ser os designers, desde que mantenham isenção</p><p>Teste de Usabilidade – Os usuários</p><p>Teste de Usabilidade – Métricas</p><p>Tempo de cada tarefa</p><p>Porcentagem de tarefas completadas</p><p>Porcentagem de tarefas não-completadas</p><p>Números de erros</p><p>Tempo de navegação para encontrar uma informação</p><p>Número de passos</p><p>Número de cliques</p><p>Quantidade de informações encontradas</p><p>Número de acessos ao help</p><p>– ...</p><p>Teste de Usabilidade – Dados qualitativos</p><p>Dados qualitativos são coletados oralmente, por escrito, por questionário ou através de perguntas feitas para o usuário</p><p>As	percepções	e	a	satisfação,	apesar	de	dados	qualitativo</p><p>(subjetivos) podem ser quantificados usando-se “notas” para:</p><p>Facilidade de uso</p><p>Facilidade de navegação</p><p>Utilidade</p><p>Facilidade de aprendizagem</p><p>Facilidade de se recuperar de um erro</p><p>Help</p><p>Teste de Usabilidade – Tarefas</p><p>Tarefas mais representativas possíveis</p><p>Cobertura razoável das partes mais significativas da interface</p><p>As tarefas devem poder ser completadas no tempo definido para o teste</p><p>Grau de dificuldade gradativo</p><p>Planejar para que possam ser interrompidas a qualquer momento, caso o usuário deseje</p><p>Descreva a tarefa da forma mais realista possível</p><p>•</p><p>Evite redigi-las na linguagem do produto, elas devem estar na linguagem do usuário</p><p>Exemplo: “A partir da página do IBGE na Internet, identifique em que</p><p>estado do Brasil reside a maior concentração de pessoas com mais de 60</p><p>anos”</p><p>– As tarefas devem estar inseridas em um cenário</p><p>–Questionário de pré-teste: para definir o perfil dos participantes</p><p>–Questionário pós-teste: geralmente utilizado para obter a satisfação do usuário e opinião</p><p>–Autorização (termo de consentimento): declaração de que o usuário está de acordo em participar dos teste e que esses dados serão utilizados para um determinado fim “X”, mantendo-se o anonimato das informações</p><p>Teste de Usabilidade – Documentos de apoio</p><p>–Preparação</p><p>Preparar o ambiente e equipamentos</p><p>–Introdução</p><p>Explicar que não é o participante e sim a interface que será testada</p><p>Não devem se preocupar em ferir sentimentos dos experimentadores</p><p>(designers) com suas observações</p><p>Os resultados do teste servirão para melhorar a interface do usuário</p><p>Relembrar que o sistema é confidencial e não deve ser comentado</p><p>com outros (que inclusive podem vir a ser futuros usuários em outros</p><p>testes)</p><p>A participação no teste é voluntária e podem parar a qualquer tempo</p><p>Os resultados do teste não serão colocados publicamente e o</p><p>anonimato do participante estará garantido</p><p>Teste de Usabilidade – Execução (i)</p><p>–Introdução (cont.)</p><p>Explicar sobre o uso de gravações de vídeo ou áudio que estarão sendo feitas (o ideal é não gravar a face do usuário)</p><p>Explicar que podem fazer qualquer pergunta durante o teste, mas que nem sempre</p><p>o experimentador irá ajudá-los ou responder suas questões</p><p>Informar ao participante sobre o tempo de duração do teste</p><p>Solicitar a leitura e assinatura do termo de consentimento</p><p>Explicar como o teste vai acontecer</p><p>Explicar a técnica de “thinking aloud” (se for utilizada)</p><p>Perguntar se existem e esclarecer dúvidas</p><p>Solicitar o preenchimento do pré-teste</p><p>Teste de Usabilidade – Execução (ii)</p><p>–Teste</p><p>Apresentar o cenário e as tarefas por escrito</p><p>Iniciar a gravação (se houver) e anotar os tempos</p><p>Lembrar ao usuário sobre “thinking aloud” durante o teste</p><p>Solicitar que o usuário indique quando completar e mudar de tarefa</p><p>evite qualquer tipo de comentário ou expressões sobre a performance</p><p>ou observações do usuário</p><p>evite ajudar o usuário, a não ser que ele esteja realmente em dificuldades muito graves</p><p>–Sessão final</p><p>convidados a fazerem comentários ou sugestões gerais, ou a</p><p>responderem um questionário específico (questionário de pós-teste)</p><p>Teste de Usabilidade – Execução (iii)</p><p>Thinking aloud (pensando em voz alta):</p><p>Usuário verbaliza seus pensamentos</p><p>Permite observar como o usuário interpreta cada item da interface</p><p>Não adequado quando se deseja medidas de performance</p><p>Principal objetivo é mostrar o que os usuários estão fazendo e porque estão fazendo, enquanto estão fazendo, evitando as racionalizações posteriores</p><p>Torna o teste muito mais difícil de ser realizado</p><p>usuários ficam mais lentos mas cometem menos erros quando</p><p>pensam em voz alta</p><p>Teste de Usabilidade – Thinking aloud</p><p>–O avaliador tem que levar o usuário a falar sempre e nunca interferir no uso do sistema pelo usuário</p><p>O que você está pensando agora?</p><p>O que você acha que essa mensagem significa ? (depois do usuário</p><p>notar a mensagem)</p><p>–– Se o usuário pergunta se pode fazer alguma coisa:</p><p>O que você acha que vai acontecer se fizer isso?</p><p>–– Se o usuário se mostra surpreso:</p><p>Era isso que você esperava que iria acontecer? O que esperava?</p><p>Teste de Usabilidade – Thinking aloud</p><p>Interação construtiva</p><p>2 ou mais usuários trabalhando conjuntamente</p><p>–problema: diferenças de estilo de interação dos usuários</p><p>–Indicado: para testar interfaces para crianças</p><p>Retrospective testing</p><p>usuário comenta sua ação gravada em vídeo</p><p>todo teste demora pelo menos o dobro do tempo</p><p>não indicado para usuários caros</p><p>Coaching Method</p><p>manter o usuário no caminho correto</p><p>focado no usuário novato</p><p>–bom para testar help/manual, etc..</p><p>Teste de Usabilidade – Thinking aloud - alternativas</p><p>Teste de usabilidade - JEMS</p><p>Atividades</p><p>Preparação dos testes</p><p>Seleção dos usuários</p><p>Desenvolvimento das tarefas dos usuários</p><p>Definir critérios da observação/avaliação</p><p>Elaborar formulário dos experimentadores</p><p>Preparação do ambiente de teste</p><p>Execução dos testes</p><p>Análise dos resultados</p><p>Teste de usabilidade - JEMS</p><p>Análise dos perfis de usuários que utilizam o sistema</p><p>Chair</p><p>Avaliadores de artigos</p><p>Autores de artigos</p><p>Quantos usuários? 7 no total</p><p>2 Chairs</p><p>3 avaliadores de artigos</p><p>3 escritores de artigos</p><p>Por que 8? Por que estas proporções?</p><p>Seleção dos Usuários (i)</p><p>7 usuários</p><p>2 no papel de “Chair”</p><p>um doutorando em Ciência da Computação e outro professor doutor na mesma área</p><p>3 no papel de “Avaliadores de artigos”</p><p>Um dos usuários foi o mesmo doutorando que participou dos testes como usuário-coordenador, os demais foram uma doutoranda em Pedagogia, que costuma submeter e revisar artigos para congressos e periódicos da área de informática na educação, e um mestrando em Ciência da Computação</p><p>3 no papel de “Autores de artigos”</p><p>três usuários estudantes de graduação em Ciência da Computação, participantes de projetos de pesquisa, portanto possíveis candidatos à submissão de artigos para conferências, embora nenhum deles havia utilizado o JEMS anteriormente</p><p>Seleção dos Usuários (ii)</p><p>Desenvolvimento das tarefas dos usuários</p><p>Documento entregue para o Usuário com a definição das tarefas</p><p>Desenvolvimento das tarefas dos usuários</p><p>Definição das tarefas a serem executadas por cada usuário</p><p>A definição de um percurso de execução de cada tarefa</p><p>facilitou	identificar se o usuário</p><p>estava no caminho certo</p><p>Elaborar formulário dos experimentadores</p><p>softwares que capturam em áudio e vídeo a interação do usuário</p><p>Formulário para ser preenchido pelos experimentadores</p><p>Realizados em um laboratório improvisado, contendo um computador com acesso à internet, com microfone e programas para capturar o áudio e o vídeo da interação</p><p>O Ambiente</p><p>3 experimentadores</p><p>1 fazendo esclarecimentos, tirando dúvidas, etc</p><p>2 observando e fazendo anotações</p><p>O que foi observado/registrado:</p><p>Completude das tarefas</p><p>Tempo de execução</p><p>Erros (tipos e descrição dos erros)</p><p>Dúvidas, comentários</p><p>Comportamento (navegação)</p><p>Métodos Utilizados</p><p>Thinking aloud</p><p>Captura da interação em áudio e vídeo</p><p>Observação</p><p>Desenvolvimento dos testes</p><p>Dados coletados:</p><p>Anotações dos avaliadores (tempo, número de erros, acesso ao help,</p><p>solicitação de ajuda e comentários) + Vídeo</p><p>Análise:</p><p>Compilação das anotações de cada avaliador identificando os problemas</p><p>registrados e comentários dos usuários</p><p>Os vídeos foram observados apenas quando se pretendia resgatar algum evento específico ocorrido durante os testes</p><p>Elaboração de uma lista de problemas ordenada (mais grave –> menos</p><p>grave)</p><p>Unificação da lista</p><p>Elaboração do relatório de problemas</p><p>Sugestões para solução dos problemas</p><p>Análise dos Resultados</p><p>Análise dos Resultados</p><p>Um relatório de avaliação também tem que ter</p><p>“boa usabilidade” ?</p><p>Quem é o usuário do relatório?</p><p>Teste Ferramenta Educacional Estúdio de Cinema</p><p>Atividades</p><p>Preparação do teste:</p><p>Seleção dos usuários;</p><p>Elaboração de uma atividade;</p><p>Elaboração dos questionários;</p><p>Preparação do ambiente (instalação e teste);</p><p>Implementação do log da interação;</p><p>Execução</p><p>Análise dos resultados</p><p>Teste Ferramenta Educacional Estúdio de Cinema</p><p>Usuários</p><p>Grupo 1 (26 alunos – 6 a 8 anos)</p><p>Grupo 2 (31 alunos – 10 a 12 anos)</p><p>Atividade – 90 minutos para cada grupo.</p><p>Métodos e Dados coletados</p><p>Respostas aos questionários;</p><p>Log da interação;</p><p>Observação do avaliador;</p><p>Material produzido pelos alunos;</p><p>Teste Ferramenta Educacional Estúdio de Cinema</p><p>Teste Ferramenta Educacional Estúdio de Cinema</p><p>Emoticons</p><p>Linguagem Escala de valores</p><p>Análise das Respostas do questionário:</p><p>Teste Ferramenta Educacional Estúdio de Cinema</p><p>Teste Ferramenta Educacional Estúdio de Cinema</p><p>Análise do log</p><p>Análise Combinada dos três elementos</p><p>Teste Ferramenta Educacional Estúdio de Cinema</p><p>Teste Ferramenta Educacional Estúdio de Cinema</p><p>Laboratórios</p><p>Avaliação Remota de Usabilidade</p><p>Métodos Síncronos – Usuário e Avaliador (locais diferentes), testes realizados através de vídeo conferência e compartilhamento de desktop;</p><p>Métodos Assíncronos – Usuário e Avaliador (local e tempo diferentes).</p><p>Captura de log da interação – a avaliação do log da interação é feita</p><p>posteriormente e pode ser feita “manualmente” pelo avaliador ou de forma automática/semi-automática com auxílio de ferramentas;</p><p>Envio de Incidentes críticos pelo usuário – o usuário utiliza o sistema e relata</p><p>os problemas obtidos; Ex: algo como o Bugzilla.</p><p>Novas Abordagens</p><p>Equipamentos</p><p>Estamos lidando com pessoas!</p><p>–	http://www.youtube.com/watch?v=7vG67i1P vA4&NR=1</p><p>Cuidado!</p><p>image1.png</p><p>image2.png</p><p>image3.png</p><p>image4.png</p><p>image5.png</p><p>image6.png</p><p>image7.png</p><p>image8.png</p><p>image9.png</p><p>image10.png</p><p>image11.jpg</p><p>image12.png</p><p>image13.png</p><p>image14.png</p><p>image15.png</p><p>image16.jpg</p><p>image17.jpg</p><p>image18.png</p><p>image19.jpg</p><p>image20.jpg</p><p>image21.jpg</p><p>image22.jpg</p><p>image23.jpg</p><p>image24.jpg</p><p>image25.jpg</p><p>image26.jpg</p><p>image27.jpg</p>