Avaliacao12-15N

Prévia do material em texto

1
Avaliação de Sistemas
Aula 12-15
2
Áreas que abordam
Avaliação de Sistemas
Administração
Engenharia de 
Software
Interação Humano-
Computador
Como os usuários estão usando 
o sistema? 
Facilidade/Dificuldade de 
aprendizagem e de uso
Erros
Tempo de Uso
Qual a opinião dos usuários 
sobre o sistema?
Confiança
Rapidez
Atende ao que se propõe
3
Áreas que abordam
Avaliação de Sistemas
Interação Humano-
Computador
Texto Motivador
O que Mudou na Computação?
4
O que mudou na computação?
Precisamos 
compreender 
melhor as pessoas
5
Quem faz isso?
Interação Humano-
Computador
Conhecendo
Compreendendo
Considerando
Como?
Usuários
6
Avaliação de Sistemas
Como os usuários 
reagem ao uso do 
sistema?
Qual a opinião dos 
usuários sobre o 
sistema?
Será que eles 
usam o sistema 
eficientemente?
7
Avaliação de Sistemas em 
IHC
Visão Geral
8
Visão geral
“A avaliação de IHC é uma atividade 
fundamental em qualquer processo de 
desenvolvimento que busque produzir um 
sistema interativo com alta qualidade de uso”. 
(Barbosa e da Silva, 2010) pg.286
“Ela orienta o avaliador a fazer um 
julgamento de valor sobre a qualidade de uso 
da experiência particular do usuário durante o 
uso do sistema.” (Barbosa e da Silva, 2010) 
pg.286
9
Bibliografia
Design de Interação
Jennifer Preece, Rogers e Sharp
Cap 10, 11, 12, 13, 14 e 15
Interação Humano-Computador
Simone Diniz e Bruno Santana
Cap. 9 e 10
10
Visão geral
Antes de declarar um software pronto para 
uso, é importante saber se ele apóia os 
usuários, nas suas tarefas;
A avaliação de interface é necessária para 
analisar a qualidade de uso de um software;
Quanto mais cedo forem encontrados os
problemas de interação e de interface, menor 
o custo de consertá-los (Karat 1993).
A avaliação é uma etapa importante no 
processo de desenvolvimento de um sistema
interativo.
11
Objetivos da avaliação de IHC
(Preece et al. 1994, Rubin 1994, Mack & Nielsen 1994, Hix e Hartson 1993)
Verificar a compreensão da equipe de 
projeto sobre o mundo real e os requisitos 
dos usuários:
Como os usuários utilizam a tecnologia e os 
sistemas existentes no trabalho?
Pode-se tornar os projetos melhores e mais 
adequados para o ambiente de trabalho?
Fases: a elicitação de requisitos e na fase de 
prototipação.
Pode ter como insumo esboços de telas ou até 
mesmo aplicações existentes que sejam de 
alguma forma semelhantes à que se pretende 
projetar.
12
Objetivos da avaliação de IHC
(Preece et al. 1994, Rubin 1994, Mack & Nielsen 1994, Hix e Hartson 1993)
Comparar idéias e alternativas de design, 
geralmente de forma rápida e informal:
Qual das alternativas é melhor?
Esta comparação pode ser feita sobre aplicações 
existentes ou sobre propostas alternativas de 
design.
Em geral, estabelecem-se critérios para a seleção 
dentre as alternativas. Esses critérios são 
derivados dos resultados de análise dos usuários-
alvo, suas necessidades e preferências.
13
Objetivos da avaliação de IHC
(Preece et al. 1994, Rubin 1994, Mack & Nielsen 1994, Hix e Hartson 1993)
Verificar conformidade com um padrão:
Este produto está em conformidade com o 
padrão? Por exemplo, a legibilidade da tela é 
aceitável? O produto segue os padrões de 
acessibilidade do W3C?
Exemplos de padrão são: padrões do ambiente 
computacional (p.ex.: MacOS ou Windows); 
padrões voltados para um domínio específico 
(p.ex.: correio eletrônico, comércio eletrônico, 
sistemas de educação a distância); ou ainda 
padrões corporativos, definidos pela própria 
organização que desenvolve a aplicação.
14
Objetivos da avaliação de IHC
(Preece et al. 1994, Rubin 1994, Mack & Nielsen 1994, Hix e Hartson 1993)
Quais os padrões do Sistema 
SIPPA?
15
Objetivos da avaliação de IHC
(Preece et al. 1994, Rubin 1994, Mack & Nielsen 1994, Hix e Hartson 1993)
Prever a usabilidade (de alguns aspectos) 
do produto:
Se o usuário tiver um determinado perfil, vai 
entender o que significa cada elemento de 
interface? 
Conseguirá prever o que acontecerá se atuar 
sobre este elemento?
Consegue operar o sistema?
Consegue planejar e executar suas ações de 
forma a atingir seus objetivos?
16
Objetivos da avaliação de IHC
(Preece et al. 1994, Rubin 1994, Mack & Nielsen 1994, Hix e Hartson 1993)
Prever a usabilidade (de alguns aspectos) 
do produto:
Especialistas em IHC podem inspecionar a 
interface projetada, buscando avaliar sua 
qualidade como se fossem os usuários-alvo da 
aplicação, tentando prever os problemas que 
esses usuários enfrentariam ao utilizá-la.
Em geral isso é feito antes de se implementar a 
interface, para se reduzir o custo das alterações 
propostas.
17
Objetivos da avaliação de IHC
(Preece et al. 1994, Rubin 1994, Mack & Nielsen 1994, Hix e Hartson 1993)
Alcançar objetivos:
Está bom o suficiente? A medida X do fator 
Y de usabilidade está dentro do 
esperado?:
Neste caso, define-se um alvo, geralmente 
algum tipo de métrica (por exemplo, tempo 
estimado para a conclusão de uma tarefa e 
número de erros cometidos), e o objetivo 
do projetista é se certificar que o seu 
design alcança este objetivo.
18
Objetivos da avaliação de IHC
(Preece et al. 1994, Rubin 1994, Mack & Nielsen 1994, Hix e Hartson 1993)
Alcançar objetivos:
Com freqüência são realizados de forma 
comparativa: 
(1) antes do desenvolvimento da nova 
aplicação, sobre sistemas ou formas de 
trabalhar existentes, e
(2) depois da implantação da aplicação, para 
avaliar os benefícios alcançados.
19
Objetivos da avaliação de IHC
(Preece et al. 1994, Rubin 1994, Mack & Nielsen 1994, Hix e Hartson 1993)
Identificar problemas de usabilidade, ou 
seja, identificar, classificar e contar o número 
de problemas de usabilidade (tanto de 
interação como de interface) encontrados 
durante a inspeção ou os testes:
Que tipos de problemas foram encontrados? 
Onde eles se manifestam? Com que freqüência 
estima-se que os usuários se deparem com tais 
problemas? Qual é a gravidade destes 
problemas?
Em geral são aplicadas mais do que uma técnica 
de avaliação, cujos resultados devem ser 
comparados e consolidados num relatório 
unificado.
20
Objetivos da avaliação de IHC
(Preece et al. 1994, Rubin 1994, Mack & Nielsen 1994, Hix e Hartson 1993)
Propor alterações para aumentar a 
qualidade de uso do sistema interativo e 
selecionar os problemas que devem ser 
corrigidos.
Dados os resultados das avaliações, que 
correções são mais prioritárias? Qual é o
custo/benefício de cada correção? Existem 
alternativas de custo mais baixo? Com que 
ganhos e perdas? Qual o impacto de cada
alteração no sistema existente? Que alterações
requerem novas avaliações?
21
Objetivos da avaliação de IHC
(Preece et al. 1994, Rubin 1994, Mack & Nielsen 1994, Hix e Hartson 1993)
Propor alterações para aumentar a 
qualidade de uso do sistema interativo e 
selecionar os problemas que devem ser 
corrigidos.
Após identificar os problemas, a equipe de projeto 
deve reprojetar a interface para corrigir o maior 
número possível de problemas. Os problemas a 
serem corrigidos são priorizados de acordo com a 
gravidade do problema e o custo associado à 
correção.
22
Objetivos da avaliação de IHC
(Livro Interação Humano-Computador, Simone Barbosa e Bruno Santana)
Ver Tabela 9.1 Exemplos de perguntas que uma 
avaliação de IHC pode responder. Pag. 293
23
Atividades de avaliação quanto à etapa 
em que são realizadas
Formativa (construtiva)
É realizada ao longo de todo o processo de 
design;
Deve ser realizada sempre que os projetistas 
precisam compreender melhor o que os usuários 
querem, ou quando precisam verificar se suas 
idéias estão atendendo as necessidades 
conhecidas dos usuários.
Artefatos: cenários, storyboards, modelagem da 
interação e protótipos de sistema.
Benefício: os problemas de interação e de 
interface são identificados cedo no processo de
design, quando os custos de modificação ainda 
são baixos.
24
Atividades de avaliaçãoquanto à etapa 
em que são realizadas
Somativa (conclusiva)
É realizada é nas etapas finais do 
desenvolvimento, quando o produto (ou 
protótipo final) está pronto.
Objetivos: (1) julgar a qualidade do
produto, avaliando se as metas de 
usabilidade foram alcançadas; (2) e se o 
uso que os usuários fazem da aplicação 
está de acordo com o esperado e 
projetado.
25
Atividades de avaliação quanto à etapa 
em que são realizadas
A Tabela relaciona as formas de 
avaliação com alguns de seus objetivos 
típicos.
26
Onde coletar dados sobre 
experiências de uso?
Avaliação em contexto:
Uma forma de estudo de campo;
Aumenta a chance de verificarmos a 
qualidade de uso;
Entende melhor como o usuário se 
apropria da tecnologia em seu cotidiano e 
quais problemas podem ocorrer em 
situações reais de uso;
Todavia é difícil controlar a execução de 
uma avaliação em contexto para assegurar 
que certos aspectos do sistema sejam 
27
Onde coletar dados sobre 
experiências de uso?
Avaliação em laboratório:
Tem controle maior sobre as interferências 
do ambiente;
Facilita o registro de dados das 
experiências de uso;
Atividades sem interrupção e 
incovenientes que podem ocorrer em um 
contexto real e até mesmo atrapalhar a 
avaliação;
Permite comparar de forma consistente as 
experiências de diferentes usuários;
28
Onde coletar dados sobre 
experiências de uso?
Avaliação em laboratório:
Usuário possui condições de manter o foco 
nas tarefas;
Espaço: sala de reunião com mesa e 
cadeiras ou laboratório
29
Onde coletar dados sobre 
experiências de uso?
Avaliação em laboratório:
30
Tipos de dados capturados 
durante a avaliação
Nominais:
Representam conceitos na forma de 
rótulos;
Não existe relação de ordem, p.e. Não se 
pode dizer que um é maior que outro, 
melhor ou pior, mais alto ou mais baixo, 
etc.
Pode-se dizer se é igual ou diferente;
Ex: atividades que um usuário realiza no 
sistema, sistemas semelhantes que o 
usuário utilizou, formas de acesso à 
31
Tipos de dados capturados 
durante a avaliação
Ordinais:
Representam conceitos com relações que 
definem algum tipo de ordem entre eles;
Produzem ranqueamento entre pessoas ou 
coisas; Ex: a relação entre o “site” que um 
usuário mais utiliza e o segundo mais 
utilizado por ele;
É possível dizer qual é o maior ou melhor.
32
Tipos de dados capturados 
durante a avaliação
Quantitativos:
Representam numericamente uma 
grandeza resultante de uma contagem ou 
medição.
Medidas observadas diretamente, com 
relação ao desempenho do usuário ao 
utilizar a aplicação;
Ex: tempo e o número de passos para 
alcançar umobjetivo, o número de erros 
cometidos, quantas vezes a ajuda foi 
consultada, quantos usuários alcançaram 
33
Tipos de dados capturados 
durante a avaliação
Qualitativos:
Representam conceitos que não são 
representados numericamente;
Representam a opinião, geralmente dos 
usuários, com relação à qualidade de uso 
da interface.
Ex: dados nominais, respostas livres 
coletadas em questionários e entrevistas, 
tais como, expectativas, explicações, 
críticas, sugestões, etc.
34
Tipos de dados capturados 
durante a avaliação
Dados quantitativos são utilizados com 
frequencia para verificar hipóteses;
Ex: a hipótese de que uma solução A é 
melhor do que a solução B poderia ser 
verificada, dentre outras maneiras, 
contabilizando quantos usuários conseguem 
concluir certas tarefas em um tempo 
determinado; Neste caso, teríamos solução 
do tipo: na solução A, 61% dos usuários 
concluíram as tarefas com sucesso, 23% 
concluiram metade das tarefas e 16% não 
concluiram nem a metade.
35
Tipos de dados capturados 
durante a avaliação
Diferente do foco na contagem e medição de 
quantidades a análise qualitativa envolve a 
interpretação de conceitos. Por isso, ao 
escolher trabalhar com dados qualitativos, 
um avaliador está interessado em explorar e 
explicar o que ocorreu e não em testar uma 
hipótese.
36
Tipos de dados capturados 
durante a avaliação
Alguns dados qualitativos podem ser
transformados em quantitativos.
Exemplo: a satisfação do usuário
poderia ser quantificada como sendo 
um valor de 1 a 5, onde 1 denota total 
insatisfação e 5 total satisfação.
37
Aula 15
38
Exercício
Imagine que você foi apresentado a um 
produtor de software que lhe conta 
sobre seus planos para produzir uma 
nova versão de um sistema comercial. 
Quais argumentos você elaboraria para 
convencê-lo a realizar uma avaliação 
da interação humano-computador?
39
Exercício
Comentários exercício 1:
– Alguns não responderam sobre os 
argumentos;
– Ortografia;
– Texto coloquial.
40
Exercício
Comentários exercício 2:
– Trocaram funcionalidade por 
característica;
– Respostas sucintas;
– Algumas respostas bem 
interessantes.