Método de Avaliação de Comunicabilidade

Prévia do material em texto

CSH30 - Introdução à IHC
Método de Avaliação de Comunicabilidade
Profª Drª Sílvia Amélia Bim
DECIDE - um framework para orientar a avaliação
Determine - determinar objetivos
Explore - explorar as questões
Choose - escolher os métodos de avaliação
Identify - identificar as questões práticas
Decide - decidir como lidar com as questões éticas
Evaluate - avaliar, analisar, interpretar e apresentar os 
dados
2
Método de Avaliação de Comunicabilidade - MAC
Engenharia Semiótica
Baseado em Teoria
Proposto em 1999
Método qualitativo
Análise em profundidade
3
Método de Avaliação de Comunicabilidade - MAC
Tipo de método
OBSERVAÇÃO*
envolve diretamente usuários (5 a 10 participantes)
pelo menos 2 avaliadores(as)
*método empírico 4
Método de Avaliação de Comunicabilidade - MAC
O que avalia?
COMUNICABILIDADE (recepção)
problemas de IHC (+++)
apropriação da tecnologia (+++)
alternativas de design (++)
conformidade com padrão (-)
5
Comunicabilidade
Capacidade da interface de comunicar ao usuário a 
lógica do design*: as intenções do designer e os 
princípios de interação resultantes das decisões 
tomadas durante todo o processo de design.
*a quem se destina o sistema, para que ele serve, qual a 
vantagem de utilizá-lo, como ele funciona e quais são os princípios 
gerais de interação com o sistema.
6
Método de Avaliação de Comunicabilidade - MAC
Quando avalia?
Avaliação somativa (++)
com uma solução concluída
Avaliação formativa (+)
durante o processo de design, antes de uma solução concluída
7
8
MIS MAC
Método de Avaliação de Comunicabilidade
Atividade Tarefa
Preparação - inspecionar os signos metalinguísticos, estáticos e dinâmicos
- definir tarefas para os participantes executarem
- definir o perfil dos participantes e recrutá-los
- preparar material para observar e registrar o uso
- executar um teste-piloto
Coleta de dados - observar e registrar sessões de uso em laboratório
- gravar o vídeo da interação de cada participante
Interpretação - etiquetar cada vídeo de interação individualmente
Consolidação 
dos resultados
- interpretar as etiquetagens de todos os vídeos de interação
- elaborar perfil semiótico
Relato dos 
resultados
- relatar a avaliação da comunicabilidade da solução de IHC, sob o ponto de vista 
do receptor da metamensagem
9
10
© Bernardo Mattos
11
© Bernardo Mattos
Preparação (parte 1)
• Inspeção do artefato (similar ao que se faz em métodos de 
inspeção em geral) e estudo da documentação disponível
• Identificação do foco da avaliação (porção do artefato, funções, 
etc.)
• Elaboração de cenários de uso (qual o tipo de usuário visado, 
quais atividades deveria estar realizando, em que contexto, para 
que fins, etc.)
12
Preparação (parte 2)
• Seleção de participantes (quantidade e perfil)
• Elaboração de entrevista/questionário para participantes
• Preparação das instalações e do material do teste (roteiros, 
termos de consentimento, sala de teste, configuração do 
artefato, equipamento de registro, etc)
• TESTE PILOTO
13
14
© Bernardo Mattos
Execução dos testes
• Garantir o bom andamento do teste
• Receber o participante com educação e gentileza
• Roteiro
– Termo de consentimento
– Questionário pré-teste
– Teste (cenário)
– Entrevista pós-teste
– Agradecimento
• Brinde
– Gravar todos os registros
15
Sugestões de gravadores de vídeo
– CamStudio para o Windows (http://camstudio.org/) 
– Jing para Mac (http://www.jingproject.com/)
– Wink para Linux (http://www.debugmode.com/wink/)
16
17
© Bernardo Mattos
Etiquetas de comunicabilidade
1. Cadê?
2. Ué, o que houve?
3. E agora?
4. Onde estou?
5. Epa!
6. Assim não dá.
7. O que é isto?
8. Socorro!
9. Por que não funciona?
18
10. Não, obrigado.
11. Vai de outro jeito.
12. Pra mim, está bom.
13. Desisto.
19
20
© Bernardo Mattos
Interpretação
Perguntas-guia para analisar os filmes etiquetados
– Apoio para a identificação de quais são os problemas de comunicabilidade e de 
por que eles existem.
• Qual a frequência das etiquetas por participante, por atividade (do cenário 
de teste), por elemento da interface ou qualquer outro critério que a equipe 
de avaliadores considerar relevante?
• Quais padrões de ocorrência das etiquetas no contexto das atividades de 1 
participante ou no contexto de todos os participantes para a mesma 
atividade?
• Os tipos ou sequências de etiquetas podem ser associados a problemas no 
estabelecimento das metas e submetas de comunicação? 
21
22
© Bernardo Mattos
Perfil semiótico
• Reconstrução da metamensagem
– Caracterização profunda da comunicabilidade da aplicação
– Perguntas-guia desta fase (reconstrução da mensagem a partir da evidência da 
RECEPÇÃO: o que o designer está de fato dizendo?)
– No meu entendimento, quem são (ou serão) os usuários do produto do meu design? – 
comparação do usuário-alvo com o ‘real’
– O que eu aprendi sobre as necessidades e desejos destes usuários?
– No meu entendimento, quais são as preferências destes usuários com respeito a seus 
desejos e necessidades, e por quê? – checar consistência entre os sistemas de significação 
designer e usuários
– Portanto, qual sistema eu desenhei para estes usuários, e como eles podem ou devem 
usá-lo?
– Qual é a minha visão de design?
23
“Este é o meu entendimento, como designer, de 
quem você, usuário, é, do que aprendi que 
você quer ou precisa fazer, de que maneiras 
prefere fazer, e por quê. Este, portanto, é o 
sistema que projetei para você, e esta é a forma 
como você pode ou deve utilizá-lo para 
realizar um conjunto de objetivos que se 
enquadram nesta visão.” 24
Metamensagem
Indicação de leitura para esta aula
Barbosa, D.J.S; da Silva, B.S. Interação Humano-Computador. Editora Campus-Elsevier, 2010.
→ capítulo 3 - Abordagens Teóricas em IHC (seção 3.8)
→ capítulo 9 - Planejamento da Avaliação de IHC
→ capítulo 10 - Métodos de Avaliação de IHC (seção 10.2.2)
Leitão, C.F.; Silveira, M.S.; de Souza, C.S. (2013) Uma introdução à engenharia semiótica: conceitos 
e métodos. In Proceedings of the 12th Brazilian Symposium on Human Factors in Computing Systems 
(IHC '13). Brazilian Computer Society, Porto Alegre, Brazil, Brazil, 356-358.
http://www2.serg.inf.puc-rio.br/index.php/published-work/302--uma-introducao-a-engenharia-semiotica-co
nceitos-e-metodos
Prates, R.O.; Barbosa, S.D.J. (2007) Introdução à Teoria e Prática da Interação Humano Computador 
fundamentada na Engenharia Semiótica. In Tomasz Kowaltowski and Karin Breitman (orgs.) 
atualizações em informática 2007. XXVII Congresso da Sociedade Brasileira de Computação. Jornadas 
de Atualização em Informática (JAI), JAI/SBC 2007. Julho de 2007.
http://www2.serg.inf.puc-rio.br/docs/JAI2007_PratesBarbosa_EngSem.pdf
25
Material complementar
Modelos de Termos de Consentimento da UTFPR
http://www.utfpr.edu.br/comites/cep-o-comite-de-etica-em-pesquisa-envolvendo-s
eres-humanos/comite-de-etica-em-pesquisa#Documentos
Resoluções para pesquisas com seres humanos
http://conselho.saude.gov.br/resolucoes/2016/Reso510.pdf
http://conselho.saude.gov.br/resolucoes/2012/Reso466.pdf
Estudo de caso da aplicação do MAC
http://www.id-book.com/secondedition/casestudy_14-1_2.htm
26