aula5-avaliacao-parte2-150605153933-lva1-app6892

Prévia do material em texto

<p>Avaliação de Usabilidade</p><p>Parte 2</p><p>Prof. André Constantino da Silva</p><p>IHC</p><p>Baseado nos slides da</p><p>Prof. Dr. Heloísa Vieira da Rocha</p><p>• Compreender a importância da avaliação em um</p><p>processo de desenvolvimento de interfaces de usuário</p><p>• Conhecer e aplicar dois métodos de avaliação de</p><p>usabilidade</p><p>Objetivo das Aulas</p><p>Teste de Usabilidade</p><p>– Processo empírico que visa avaliar a usabilidade de um</p><p>produto observando os usuários durante a sua utilização</p><p>– Método fundamental de usabilidade</p><p>–Tem o objetivo de aprimorar a usabilidade do produto</p><p>–Os participantes do teste devem ser usuários reais,</p><p>executando tarefas reais</p><p>–Realizado com 4 a 5 usuários representativos, já traz</p><p>resultados satisfatórios</p><p>Teste de Usabilidade – Tipos de Teste</p><p>Tipos de Teste:</p><p>• Teste de Exploração</p><p>• Teste de Avaliação</p><p>• Teste de Validação</p><p>• Teste de Comparação</p><p>Teste de Usabilidade – Teste de Exploração</p><p>Teste de Exploração</p><p>Quando usar: fases iniciais do design. Que funcionalidades incluir?</p><p>Objetivo: Explorar o modelo mental do usuário a respeito das tarefas em</p><p>questão. Verificar se o usuário aprova as funcionalidades propostas e da</p><p>maneira proposta.</p><p>Metodologia: Walkthrough. O usuário explora o modelo da interface dando</p><p>sugestões para o avaliador.</p><p>Exemplo: O usuário é apresentado a um problema concreto e estimulado a</p><p>falar sobre suas expectativas suposições e intenções para a resolução do</p><p>problema.</p><p>http://www.youtube.com/watch?v=0aHGLCAhxYY</p><p>http://www.youtube.com/watch?v=0aHGLCAhxYY</p><p>Teste de Usabilidade – Teste de Avaliação</p><p>Teste de Avaliação</p><p>Quando usar: nas fases intermediárias do ciclo de design.</p><p>Objetivo: Determinar se os modelos conceituais foram implementados</p><p>adequadamente. Busca verificar se o usuário consegue realizar as tarefas.</p><p>Visa identificar problemas de usabilidade.</p><p>Metodologia: O usuários executa tarefas e o avaliador observa sem</p><p>interferir. Alguns dados quantitativos de eficiência de uso são anotados</p><p>(tempo, quantidade erros, etc), mas é dado mais ênfase ao comportamento</p><p>do usuário.</p><p>Exemplo: Usuário é solicitado a renovar um livro no sistema on-line da</p><p>biblioteca.</p><p>Teste de Usabilidade – Teste de Validação</p><p>Teste de Validação</p><p>Quando usar: na fase final, perto do lançamento do produto.</p><p>Objetivo: Certificar que o produto está de acordo com o que foi</p><p>especificado e se enquadra nos padrões de usabilidade e performance</p><p>definidos.</p><p>Metodologia: Determinar tempos para as tarefas e verificar se o usuário</p><p>consegue realizá-las dentro daquele tempo.</p><p>Exemplo: Tarefa: renovar livro na biblioteca (tempo previsto 1 min).</p><p>http://www.youtube.com/watch?v=46fdXjLXhw8</p><p>http://www.youtube.com/watch?v=46fdXjLXhw8</p><p>Teste de Usabilidade – Teste de Comparação</p><p>Teste de Comparação</p><p>Quando usar: em qualquer estágio do ciclo de design. Nos primeiros</p><p>estágios pode ser usado para comparar designs alternativos, nos estágios</p><p>intermediários pode ser usado para medir a efetividade de um elemento da</p><p>interface e no final pode ser usado para comparar se o produto atinge um</p><p>concorrente.</p><p>Objetivo: Comparar soluções alternativas entre si e determinar qual delas é</p><p>mais fácil de usar.</p><p>Metodologia: Um teste exploratório onde diversas soluções são</p><p>comparadas entre si. O resultado é um produto que combina o melhor</p><p>dessas idéias.</p><p>Exemplo: Localize onde se encontra o help nos seguintes sites...</p><p>Teste de Usabilidade</p><p>– Duas maiores preocupações:</p><p>• Confiabilidade: grau de certeza de que o mesmo</p><p>resultado será obtido se o teste for repetido</p><p>• Validade: o fato dos resultados de teste refletirem os</p><p>aspectos de usabilidade que se deseja testar</p><p>– 2 fases principais:</p><p>• Planejamento</p><p>• Execução</p><p>Teste de Usabilidade – Planejamento (i)</p><p>– Estabelecer a equipe</p><p>• Quem participará da parte de planejamento?</p><p>• Quem serão os experimentadores?</p><p>– Características e tipo de teste</p><p>– Público-alvo</p><p>• Quem serão os usuários e como serão conseguidos?</p><p>• Quantos usuários são necessários?</p><p>Teste de Usabilidade – Planejamento (ii)</p><p>–Recursos necessários para a realização do teste</p><p>• Quando e onde o teste irá acontecer?</p><p>• Qual a duração prevista de cada sessão de teste?</p><p>• Qual o suporte computacional necessário?</p><p>• Quais softwares precisam estar a disposição?</p><p>• Qual deverá ser o estado do sistema no início do teste?</p><p>– Objetivos e métricas</p><p>• O que se deseja obter através do teste?</p><p>• Quais dados serão coletados?</p><p>Teste de Usabilidade – Planejamento (iii)</p><p>–Cenários e tarefas</p><p>• Quais as tarefas que serão solicitadas aos usuários?</p><p>• Quanto o experimentador poderá ajudar o usuário durante o</p><p>teste?</p><p>– Definição de como será a análise dos resultados</p><p>• Como os dados serão analisados uma vez que tenham sido</p><p>coletados?</p><p>• Qual critério será utilizado para definir que os usuários</p><p>terminaram cada tarefa corretamente?</p><p>• Qual o critério para determinar que a interface é um sucesso?</p><p>Teste de Usabilidade – Os experimentadores</p><p>– Escolha usuários significativos</p><p>– Envolva usuários reais</p><p>– Se não for possível, selecione usuários tão próximos quanto</p><p>possível</p><p>– Idade</p><p>– Nível educacional</p><p>– Experiência com computadores</p><p>– Conhecimento do domínio da tarefa</p><p>– Erro comum: interface para público em geral e recrutar</p><p>alunos de computação como usuários nos testes</p><p>– Devem ter conhecimento extenso sobre a aplicação e sobre a</p><p>interface</p><p>– Não precisam saber como o sistema foi implementado</p><p>• Mas devem estar prontos para lidar com problemas que afetam o</p><p>teste (sistema ‘travar’)</p><p>– Podem ser os designers, desde que mantenham isenção</p><p>Teste de Usabilidade – Os usuários</p><p>Teste de Usabilidade – Métricas</p><p>– Tempo de cada tarefa</p><p>– Porcentagem de tarefas completadas</p><p>– Porcentagem de tarefas não-completadas</p><p>– Números de erros</p><p>– Tempo de navegação para encontrar uma informação</p><p>– Número de passos</p><p>– Número de cliques</p><p>– Quantidade de informações encontradas</p><p>– Número de acessos ao help</p><p>– ...</p><p>Teste de Usabilidade – Dados qualitativos</p><p>Dados qualitativos são coletados oralmente, por escrito, por</p><p>questionário ou através de perguntas feitas para o usuário</p><p>As percepções e a satisfação, apesar de dados qualitativo</p><p>(subjetivos) podem ser quantificados usando-se “notas” para:</p><p>– Facilidade de uso</p><p>– Facilidade de navegação</p><p>– Utilidade</p><p>– Facilidade de aprendizagem</p><p>– Facilidade de se recuperar de um erro</p><p>– Help</p><p>Teste de Usabilidade – Tarefas</p><p>– Tarefas mais representativas possíveis</p><p>– Cobertura razoável das partes mais significativas da interface</p><p>– As tarefas devem poder ser completadas no tempo definido para o teste</p><p>– Grau de dificuldade gradativo</p><p>– Planejar para que possam ser interrompidas a qualquer momento, caso o</p><p>usuário deseje</p><p>– Descreva a tarefa da forma mais realista possível</p><p>• Evite redigi-las na linguagem do produto, elas devem estar na linguagem</p><p>do usuário</p><p>• Exemplo: “A partir da página do IBGE na Internet, identifique em que</p><p>estado do Brasil reside a maior concentração de pessoas com mais de 60</p><p>anos”</p><p>– As tarefas devem estar inseridas em um cenário</p><p>–Questionário de pré-teste: para definir o perfil dos participantes</p><p>–Questionário pós-teste: geralmente utilizado para obter a</p><p>satisfação do usuário e opinião</p><p>–Autorização (termo de consentimento): declaração de que o</p><p>usuário está de acordo em participar dos teste e que esses dados</p><p>serão utilizados para um determinado fim “X”, mantendo-se o</p><p>anonimato das informações</p><p>Teste de Usabilidade – Documentos de apoio</p><p>–Preparação</p><p>• Preparar o ambiente e equipamentos</p><p>–Introdução</p><p>• Explicar que não é o participante e sim a interface que será testada</p><p>• Não devem se preocupar em ferir sentimentos dos experimentadores</p><p>(designers) com suas observações</p><p>• Os resultados do teste servirão para melhorar a interface do usuário</p><p>• Relembrar que o sistema é confidencial e não deve ser comentado</p><p>com outros (que inclusive podem vir a ser futuros usuários em outros</p><p>testes)</p><p>• A participação no teste é voluntária e podem parar a qualquer tempo</p><p>• Os resultados do teste não serão colocados publicamente e o</p><p>anonimato do participante estará garantido</p><p>Teste de Usabilidade – Execução (i)</p><p>–Introdução (cont.)</p><p>• Explicar sobre o uso de gravações de vídeo ou áudio que estarão</p><p>sendo feitas (o ideal é não gravar a face do usuário)</p><p>• Explicar que podem fazer qualquer pergunta durante o teste, mas que</p><p>nem sempre o experimentador irá ajudá-los ou responder suas</p><p>questões</p><p>• Informar ao participante sobre o tempo de duração do teste</p><p>• Solicitar a leitura e assinatura do termo de consentimento</p><p>• Explicar como o teste vai acontecer</p><p>• Explicar a técnica de “thinking aloud” (se for utilizada)</p><p>• Perguntar se existem e esclarecer dúvidas</p><p>• Solicitar o preenchimento do pré-teste</p><p>Teste de Usabilidade – Execução (ii)</p><p>–Teste</p><p>• Apresentar o cenário e as tarefas por escrito</p><p>• Iniciar a gravação (se houver) e anotar os tempos</p><p>• Lembrar ao usuário sobre “thinking aloud” durante o teste</p><p>• Solicitar que o usuário indique quando completar e mudar de tarefa</p><p>• evite qualquer tipo de comentário ou expressões sobre a performance</p><p>ou observações do usuário</p><p>• evite ajudar o usuário, a não ser que ele esteja realmente em</p><p>dificuldades muito graves</p><p>–Sessão final</p><p>• convidados a fazerem comentários ou sugestões gerais, ou a</p><p>responderem um questionário específico (questionário de pós-teste)</p><p>Teste de Usabilidade – Execução (iii)</p><p>Thinking aloud (pensando em voz alta):</p><p>– Usuário verbaliza seus pensamentos</p><p>– Permite observar como o usuário interpreta cada item da</p><p>interface</p><p>– Não adequado quando se deseja medidas de performance</p><p>– Principal objetivo é mostrar o que os usuários estão fazendo e</p><p>porque estão fazendo, enquanto estão fazendo, evitando as</p><p>racionalizações posteriores</p><p>– Torna o teste muito mais difícil de ser realizado</p><p>• usuários ficam mais lentos mas cometem menos erros quando</p><p>pensam em voz alta</p><p>Teste de Usabilidade – Thinking aloud</p><p>–O avaliador tem que levar o usuário a falar sempre e nunca</p><p>interferir no uso do sistema pelo usuário</p><p>• O que você está pensando agora?</p><p>• O que você acha que essa mensagem significa ? (depois do usuário</p><p>notar a mensagem)</p><p>–– Se o usuário pergunta se pode fazer alguma coisa:</p><p>• O que você acha que vai acontecer se fizer isso?</p><p>–– Se o usuário se mostra surpreso:</p><p>• Era isso que você esperava que iria acontecer? O que esperava?</p><p>Teste de Usabilidade – Thinking aloud</p><p>Interação construtiva</p><p>– 2 ou mais usuários trabalhando conjuntamente</p><p>–problema: diferenças de estilo de interação dos usuários</p><p>–Indicado: para testar interfaces para crianças</p><p>Retrospective testing</p><p>– usuário comenta sua ação gravada em vídeo</p><p>– todo teste demora pelo menos o dobro do tempo</p><p>– não indicado para usuários caros</p><p>Coaching Method</p><p>– manter o usuário no caminho correto</p><p>– focado no usuário novato</p><p>–bom para testar help/manual, etc..</p><p>Teste de Usabilidade – Thinking aloud -</p><p>alternativas</p><p>Teste de usabilidade - JEMS</p><p>Atividades</p><p>Preparação dos testes</p><p>– Seleção dos usuários</p><p>– Desenvolvimento das tarefas dos usuários</p><p>– Definir critérios da observação/avaliação</p><p>– Elaborar formulário dos experimentadores</p><p>– Preparação do ambiente de teste</p><p>• Execução dos testes</p><p>• Análise dos resultados</p><p>Teste de usabilidade - JEMS</p><p>– Análise dos perfis de usuários que utilizam o sistema</p><p>• Chair</p><p>• Avaliadores de artigos</p><p>• Autores de artigos</p><p>– Quantos usuários? 7 no total</p><p>• 2 Chairs</p><p>• 3 avaliadores de artigos</p><p>• 3 escritores de artigos</p><p>– Por que 8? Por que estas proporções?</p><p>Seleção dos Usuários (i)</p><p>– 7 usuários</p><p>• 2 no papel de “Chair”</p><p>– um doutorando em Ciência da Computação e outro professor doutor na</p><p>mesma área</p><p>• 3 no papel de “Avaliadores de artigos”</p><p>– Um dos usuários foi o mesmo doutorando que participou dos testes como</p><p>usuário-coordenador, os demais foram uma doutoranda em Pedagogia,</p><p>que costuma submeter e revisar artigos para congressos e periódicos da</p><p>área de informática na educação, e um mestrando em Ciência da</p><p>Computação</p><p>• 3 no papel de “Autores de artigos”</p><p>– três usuários estudantes de graduação em Ciência da Computação,</p><p>participantes de projetos de pesquisa, portanto possíveis candidatos à</p><p>submissão de artigos para conferências, embora nenhum deles havia</p><p>utilizado o JEMS anteriormente</p><p>Seleção dos Usuários (ii)</p><p>Desenvolvimento das tarefas dos usuários</p><p>Documento entregue para o</p><p>Usuário com a definição</p><p>das tarefas</p><p>Desenvolvimento das tarefas dos usuários</p><p>Definição das tarefas a serem</p><p>executadas por cada usuário</p><p>A definição de um percurso</p><p>de execução de cada tarefa</p><p>facilitou identificar se o usuário</p><p>estava no caminho certo</p><p>Elaborar formulário dos experimentadores</p><p>softwares que capturam em</p><p>áudio e vídeo a interação do</p><p>usuário</p><p>Formulário para ser preenchido</p><p>pelos experimentadores</p><p>• Realizados em um laboratório improvisado, contendo um</p><p>computador com acesso à internet, com microfone e programas</p><p>para capturar o áudio e o vídeo da interação</p><p>O Ambiente</p><p>3 experimentadores</p><p>• 1 fazendo esclarecimentos, tirando dúvidas, etc</p><p>• 2 observando e fazendo anotações</p><p>O que foi observado/registrado:</p><p>• Completude das tarefas</p><p>• Tempo de execução</p><p>• Erros (tipos e descrição dos erros)</p><p>• Dúvidas, comentários</p><p>• Comportamento (navegação)</p><p>Métodos Utilizados</p><p>• Thinking aloud</p><p>• Captura da interação em áudio e vídeo</p><p>• Observação</p><p>Desenvolvimento dos testes</p><p>Dados coletados:</p><p>• Anotações dos avaliadores (tempo, número de erros, acesso ao help,</p><p>solicitação de ajuda e comentários) + Vídeo</p><p>Análise:</p><p>– Compilação das anotações de cada avaliador identificando os problemas</p><p>registrados e comentários dos usuários</p><p>– Os vídeos foram observados apenas quando se pretendia resgatar algum</p><p>evento específico ocorrido durante os testes</p><p>– Elaboração de uma lista de problemas ordenada (mais grave –> menos</p><p>grave)</p><p>– Unificação da lista</p><p>– Elaboração do relatório de problemas</p><p>– Sugestões para solução dos problemas</p><p>Análise dos Resultados</p><p>Análise dos Resultados</p><p>Um relatório de avaliação</p><p>também tem que ter</p><p>“boa usabilidade” ?</p><p>Quem é o usuário do relatório?</p><p>Teste Ferramenta Educacional Estúdio de Cinema</p><p>Atividades</p><p>• Preparação do teste:</p><p>– Seleção dos usuários;</p><p>– Elaboração de uma atividade;</p><p>– Elaboração dos questionários;</p><p>– Preparação do ambiente (instalação e teste);</p><p>– Implementação do log da interação;</p><p>• Execução</p><p>• Análise dos resultados</p><p>Teste Ferramenta Educacional Estúdio de</p><p>Cinema</p><p>Usuários</p><p>• Grupo 1 (26 alunos – 6 a 8 anos)</p><p>• Grupo 2 (31 alunos – 10 a 12 anos)</p><p>• Atividade – 90 minutos para cada grupo.</p><p>Métodos e Dados coletados</p><p>• Respostas aos questionários;</p><p>• Log da interação;</p><p>• Observação do avaliador;</p><p>• Material produzido pelos alunos;</p><p>Teste Ferramenta Educacional Estúdio de</p><p>Cinema</p><p>Teste Ferramenta Educacional Estúdio de Cinema</p><p>Emoticons</p><p>Linguagem</p><p>Escala de valores</p><p>Análise das Respostas do questionário:</p><p>Teste Ferramenta Educacional Estúdio de</p><p>Cinema</p><p>Teste Ferramenta Educacional Estúdio de Cinema</p><p>Análise do log</p><p>Análise Combinada dos três elementos</p><p>Teste Ferramenta Educacional Estúdio de</p><p>Cinema</p><p>Teste Ferramenta Educacional Estúdio de Cinema</p><p>Laboratórios</p><p>• Avaliação Remota de Usabilidade</p><p>• Métodos Síncronos – Usuário e Avaliador (locais diferentes),</p><p>testes realizados através de vídeo conferência e</p><p>compartilhamento de desktop;</p><p>• Métodos Assíncronos – Usuário e Avaliador (local e tempo</p><p>diferentes).</p><p>• Captura de log da interação – a avaliação do log da interação é feita</p><p>posteriormente e pode ser feita “manualmente” pelo avaliador ou de forma</p><p>automática/semi-automática com auxílio de ferramentas;</p><p>• Envio de Incidentes críticos pelo usuário – o usuário utiliza o sistema e relata</p><p>os problemas obtidos; Ex: algo como o Bugzilla.</p><p>Novas Abordagens</p><p>Equipamentos</p><p>• Estamos lidando com pessoas!</p><p>– http://www.youtube.com/watch?v=7vG67i1P</p><p>vA4&NR=1</p><p>Cuidado!</p><p>http://www.youtube.com/watch?v=7vG67i1PvA4&NR=1</p>