Buscar

R&R_Industrida_de_Usinagem_TCC2_Finalizado

Faça como milhares de estudantes: teste grátis o Passei Direto

Esse e outros conteúdos desbloqueados

16 milhões de materiais de várias disciplinas

Impressão de materiais

Agora você pode testar o

Passei Direto grátis

Você também pode ser Premium ajudando estudantes

Faça como milhares de estudantes: teste grátis o Passei Direto

Esse e outros conteúdos desbloqueados

16 milhões de materiais de várias disciplinas

Impressão de materiais

Agora você pode testar o

Passei Direto grátis

Você também pode ser Premium ajudando estudantes

Faça como milhares de estudantes: teste grátis o Passei Direto

Esse e outros conteúdos desbloqueados

16 milhões de materiais de várias disciplinas

Impressão de materiais

Agora você pode testar o

Passei Direto grátis

Você também pode ser Premium ajudando estudantes
Você viu 3, do total de 53 páginas

Faça como milhares de estudantes: teste grátis o Passei Direto

Esse e outros conteúdos desbloqueados

16 milhões de materiais de várias disciplinas

Impressão de materiais

Agora você pode testar o

Passei Direto grátis

Você também pode ser Premium ajudando estudantes

Faça como milhares de estudantes: teste grátis o Passei Direto

Esse e outros conteúdos desbloqueados

16 milhões de materiais de várias disciplinas

Impressão de materiais

Agora você pode testar o

Passei Direto grátis

Você também pode ser Premium ajudando estudantes

Faça como milhares de estudantes: teste grátis o Passei Direto

Esse e outros conteúdos desbloqueados

16 milhões de materiais de várias disciplinas

Impressão de materiais

Agora você pode testar o

Passei Direto grátis

Você também pode ser Premium ajudando estudantes
Você viu 6, do total de 53 páginas

Faça como milhares de estudantes: teste grátis o Passei Direto

Esse e outros conteúdos desbloqueados

16 milhões de materiais de várias disciplinas

Impressão de materiais

Agora você pode testar o

Passei Direto grátis

Você também pode ser Premium ajudando estudantes

Faça como milhares de estudantes: teste grátis o Passei Direto

Esse e outros conteúdos desbloqueados

16 milhões de materiais de várias disciplinas

Impressão de materiais

Agora você pode testar o

Passei Direto grátis

Você também pode ser Premium ajudando estudantes

Faça como milhares de estudantes: teste grátis o Passei Direto

Esse e outros conteúdos desbloqueados

16 milhões de materiais de várias disciplinas

Impressão de materiais

Agora você pode testar o

Passei Direto grátis

Você também pode ser Premium ajudando estudantes
Você viu 9, do total de 53 páginas

Faça como milhares de estudantes: teste grátis o Passei Direto

Esse e outros conteúdos desbloqueados

16 milhões de materiais de várias disciplinas

Impressão de materiais

Agora você pode testar o

Passei Direto grátis

Você também pode ser Premium ajudando estudantes

Prévia do material em texto

UNIDADE DE PORTO ALEGRE – ZONA NORTE 
 
CURSO SUPERIOR DE ENGENHARIA DE PRODUÇÃO 
 
 
 
 
 
THIAGO SILVA FERREIRA 
 
 
 
 
 
ANÁLISE DO SISTEMA DE MEDIÇÃO EM UMA EMPRESA METAL 
MECÂNICO 
 
 
 
 
 
 
 
 
 
Porto Alegre 
2020
 
 
 
 
THIAGO SILVA FERREIRA 
 
 
 
 
ANÁLISE DO SISTEMA DE MEDIÇÃO EM UMA EMPRESA METAL 
MECÂNICO 
 
 
 
 
Trabalho apresentado para o Curso de 
Engenharia de Produção, da Faculdade de 
Tecnologia Ftec, como parte dos requisitos 
para avaliação da unidade curricular de TCC. 
Orientador: Prof. Bruno Venanzio Trasatti 
 
 
 
 
Orientador (a): Prof. Bruno Venanzio Trasatti 
Coorientador (a): Prof. Me Alexsander Longhi 
 
 
 
Porto Alegre 
2020 
 
 
 
 
 
THIAGO SILVA FERREIRA 
 
ANÁLISE DO SISTEMA DE MEDIÇÃO EM UMA EMPRESA METAL 
MECÂNICO 
 
 
Trabalho apresentado para o Curso de 
Engenharia de Produção, da Faculdade de 
Tecnologia Ftec, como parte dos requisitos 
para avaliação da unidade curricular de TCC. 
 
 
Aprovado em ___/____/____ 
 
 
BANCA EXAMINADORA 
 
___________________________________________ 
Professor Orientador: Bruno Venanzio Trasatti 
 
__________________________________________ 
Professor Avaliador: Ricardo Leivas Bastos 
 
__________________________________________ 
Professor Avaliador: Marcos Vinicius Guterres Ibias 
 
 
Porto Alegre 
2020 
 
 
 
 
 
 
 
Dedico a meus pais que sempre foram meus pilares, 
a Deus por me dar oportunidades que pude trilhar. 
 
“Há apenas duas maneiras de viver a vida. Uma, é 
como se nada fosse um milagre. A outra, é como se 
tudo fosse.” (Albert Einstein). 
 
 
 
 
 
AGRADECIMENTOS 
 
 
Agradeço a meu pai Vilson de Fraga, por me obrigar a estudar quando era 
apenas uma criança, que tinha preguiça de estudar, muitas e muitas noites de choro 
e angústia, chineladas, pois sem isso hoje não chegaria onde cheguei, e nenhuma 
de minhas conquistas teriam sido alcançadas. 
Agradeço a minha mãe Eliana Maria, que sempre esteve do meu lado, e nos 
dias chuvosos ao chegar todo molhado, por sempre depender de uma motocicleta, 
me fazia uma bebida quente e um banho quente. 
Agradeço a minha irmã Emille Ferreira, que apesar de ser mais nova sempre 
foi um orgulho e um espelho para me guiar com dedicação, e tenacidade nos 
estudos. 
Agradeço a meu irmão que sempre foi compreensivo quando precisei do 
carro da família para ir às aulas, mesmo ele tendo seus próprios compromissos 
acabava cedendo. 
Agradeço a meu orientador Professor Bruno Venanzio Trasatti e Professor 
Ricardo Leivas Bastos, que sempre me estimularam a ser o melhor que eu poderia 
ser, não deixando que apresentasse menos do que eu poderia oferecer 
 
 
 
 
 
“No meio da dificuldade encontra-se a oportunidade.” 
(Albert Einstein). 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
“Desejo que você não tenha medo 
da vida, tenha medo de não a viver. Não há 
céu sem tempestades, nem caminhos sem 
acidentes. Só é digno do pódio quem usa 
as derrotas para alcançá-lo. Só é digno da 
sabedoria quem usa as lágrimas para 
irrigá-la. Os frágeis usam a força; os fortes, 
a inteligência. Seja um sonhador, mas una 
seus sonhos com disciplina, pois sonhos 
sem disciplina produzem pessoas 
frustradas. Seja um debatedor de ideias. 
Lute pelo que você ama.” 
 
(Augusto Cury) 
 
 
 
 
 
ANÁLISE DOS SISTEMAS DE MEDIÇÃO EM UMA EMPRESA METAL 
MECÂNICO 
 
 
Nome do aluno THIAGO SILVA FERREIRA 
Autor THIAGO SILVA FERREIRA 
Professor Orientador: Bruno Venanzio Trasatti 
Ricardo: emaildotrasatti@gmail.com 
 
 
 
 
Resumo 
 
O presente trabalho visa utilizar a metodologia de Análise dos Sistemas de Medição (MSA), para validar 
a qualidade dos sistemas de medição no setor de usinagem metal mecânico de uma empresa de médio 
porte. Inicialmente vamos definir a caracterização dos instrumentos de medição, depois será 
estabelecido o planejamento, coleta e análise de dados e suas ações de melhorias, como substituição 
de instrumentos, alteração de metodologia de processo ou treinamentos. O estudo busca demonstrar 
que é possível aplicar Análise De Sistema De Medição – MSA no setor de usinagem, e quais os 
sistemas de medição que apresentam problemas. Serão apresentados modelos que sejam tangíveis e 
alcançáveis, sendo que no primeiro momento, o sistema de medição será a linha de frente a ser 
atacada. Através de uma busca avançada vemos qual a necessidade de uma cultura que busca a 
qualidade de melhoria contínua. A melhoria contínua é um dos pilares para estabelecermos uma cultura 
estável e cociente, onde qualquer um pode ser capaz de diminuir custos e aumentar a qualidade da 
produtividade através de sugestões. 
 
 
Palavras-chave: ANÁLISE DOS SISTEMAS DE MEDIÇÃO; METAL MECÂNICO, 
USINAGEM. 
 
 
 
 
 
 
 
ANALYSIS OF MEASUREMENT SYSTEMS IN A METAL MECHANICAL 
COMPANY 
 
 
 
Nome do aluno THIAGO SILVA FERREIRA 
Autor: THIAGO SILVA FERREIRA 
Professor Orientador: Bruno Venanzio Trasatti 
Ricardo: emaildotrasatti@gmail.com 
 
 
 
Summary 
 
This work aims to use the Measurement Systems Analysis (MAS) methodology, to validate the quality 
of measurement systems in the metal-mechanic sector of a medium-sized company. Initially, we will 
define the characterization of the measurement instruments, then the planning, collection, and analysis 
of data and their improvement actions will be established, such as instrument replacement, change of 
process methodology, or training. The study seeks to demonstrate that it is possible to apply 
Measurement System Analysis - MSA in the machining sector, and which measurement systems have 
problems. Models that are tangible and achievable will be presented, and in the first moment, the 
measurement system will be the front line to be attacked. Through an advanced search, we see the 
need for a culture that seeks the quality of continuous improvement. Continuous improvement is one of 
the pillars for establishing a stable and conscious culture, where anyone can be able to reduce costs 
and increase the quality of productivity through suggestions. 
 
Keywords: ANALYSIS OF MEASUREMENT SYSTEMS; MECHANICAL METAL, MACHINING. 
 
 
 
 
 
 
LISTA DE ILUSTRAÇÕES – FIGURAS 
 
 
Figura 1. Melhoria Contínua dos Processos de SGQ ........................................................................................17 
Figura 2. Ciclo PDCA ........................................................................................................................................19 
Figura 3. Variabilidade do Sistema de Medição. .............................................................................................22 
Figura 4. Exemplo das Características da Variação do Processo de Medição ...................................................23 
Figura 5. Tendência .........................................................................................................................................24 
Figura 6. Linearidade ......................................................................................................................................25 
Figura 7. Equações para cálculo da linearidade ...............................................................................................25 
Figura 8. Análise Gráfica da Linearidade .........................................................................................................26 
Figura 9. Repetitividade ..................................................................................................................................27 
Figura 10. Reprodutibilidade ..........................................................................................................................28 
Figura 11. R&R ................................................................................................................................................29 
Figura 12. Cartasde Média e Amplitude .........................................................................................................30 
Figura 13. Run Chart .......................................................................................................................................31 
Figura 14. Gráfico de Dispersão ......................................................................................................................31 
Figura 15. Gráfico X-Y de médias por tamanho ...............................................................................................32 
Figura 16. Gráfico de comparação X-Y .............................................................................................................32 
Figura 17. Micrômetro Analisado no Estudo de MSA. .....................................................................................36 
Figura 18. Fluxograma do processo .................................................................................................................37 
Figura 19. Eixo Aeroespacial ...........................................................................................................................39 
Figura 20. Componente de Variância ..............................................................................................................40 
Figura 21. Avaliação das Medições..................................................................................................................41 
Figura 22. Componentes de Variação ..............................................................................................................41 
Figura 23. Carta R por Operador .....................................................................................................................41 
Figura 24. Valores Encontrados por Peças .......................................................................................................42 
Figura 25. Valor Encontrado por Operador .....................................................................................................42 
Figura 26. Dados Finais ...................................................................................................................................43 
Figura 27. Resultados RR .................................................................................................................................44 
Figura 28. Critérios de Análise RR ...................................................................................................................45 
 
 
 
 
 
 
 
 
 
 
 
 
LISTA DE ABREVIATURAS E SIGLAS 
(Opcional para menos de três) 
 
 
MSA Análise De Sistema De Medição 
IM Instrumentos de Medição 
ABDI Agência Brasileira de Desenvolvimento Industrial 
ABNT Associação Brasileira de Normas Técnicas 
AIAG Automotive Industry Action Group 
ANOVA Analysis of Variance 
APQP Advance Product Quality Plan 
BSI British Standards Institution 
FMEA Failure Mode Effective Analysis 
IATF International Automotive Task Force 
IM-R Individual and Moving-Range 
IQA Instituto da Qualidade Automotiva 
ISSO International Organization for Standardization 
MAS Measurement System Analysis 
NQA National Quality Assurance 
PPAP Production Part Approval Process 
R&R Repetitividade e Reprodutibilidade 
SGQ Sistema de Gestão da Qualidade 
SPC Statistical Process Control 
TS Technical Specification 
 ISO Organização Internacional para Padronização 
 CEP Controle Estatístico do Processo 
RR Repetibilidade e Reprodutibilidade 
 
 
 
 
 
 
Sumário 
 
 
1. INTRODUÇÃO ......................................................................................... 10 
2. OBJETIVOS DA PESQUISA .................................................................... 12 
2.1. OBJETIVOS GERAIS ............................................................................... 12 
2.2. OBJETIVOS ESPECÍFICOS .................................................................... 12 
2.3. JUSTIFICATIVA ....................................................................................... 12 
2.4. ESTADO DA ARTE .................................................................................. 14 
2.5. ESTRUTURA DO TRABALHO ................................................................. 14 
3. REFERENCIAL TEÓRICO ....................................................................... 16 
3.1. QUALIDADE ............................................................................................. 16 
3.2. NORMALIZAÇÃO ..................................................................................... 18 
3.2.1. ISO 9001:2008 SISTEMA DE GESTÃO DA QUALIDADE ....................... 18 
3.2.2. ISO/TS 16949 – QUALIDADE AUTOMOTIVA ......................................... 19 
3.3. MEASUREMENT SYSTEM ANALYSIS (MSA) ........................................ 20 
3.3.1. FONTES DE VARIAÇÃO ......................................................................... 21 
3.3.2. VARIAÇÃO DO PROCESSO DE MEDIÇÃO ............................................ 22 
3.4. TENDÊNCIA ............................................................................................. 23 
3.5. LINEARIDADE.......................................................................................... 24 
3.6. REPETITIVIDADE .................................................................................... 26 
3.7. REPRODUTIBILIDADE ............................................................................ 27 
3.8. REPETITIVIDADE E REPRODUTIBILIDADE (R&R) DO DISPOSITIVO DE 
MEDIÇÃO 28 
3.9. DIRETRIZES PARA A DETERMINAÇÃO DA REPETITIVIDADE E 
REPRODUTIBILIDADE (R&R) .................................................................................. 29 
4. METODOLOGIA ....................................................................................... 33 
4.1. CARACTERIZAÇÃO DA PESQUISA ....................................................... 33 
4.2. DELIMITAÇÕES DA PESQUISA.............................................................. 35 
4.3. TÉCNICAS DE COLETAS DE DADOS .................................................... 36 
4.4. ANÁLISE DOS DADOS ............................................................................ 37 
5. DESENVOLVIMENTO .............................................................................. 39 
5.1. SEPARAÇÃO DAS AMOSTRAS .............................................................. 39 
5.2. COLETA DE DADOS ............................................................................... 39 
5.3. APLICAÇÃO DO SOFTWARE MINITAB .................................................. 40 
5.4. RESULTADOS ......................................................................................... 43 
6. CONCLUSÃO ........................................................................................... 45 
7. CONSIDERAÇÕES FINAIS ..................................................................... 47 
8. REFERÊNCIAS ........................................................................................ 48 
 
 
10 
 
 
 
1. INTRODUÇÃO 
No presente cenário, conforme Tidd (2015), o crescimento de mercado e a 
competitividade aumentam o nível de exigência dos consumidores. Assim as 
organizações buscam a cada dia melhorar a qualidade agregada em seus produtos. 
De acordo com Oakland (1994), a qualidade é um requisito básico exigido pelo 
consumidor final, assim uma empresa que deseja se manter em constante 
crescimento e possuir competitividade no mercado, deve estar sempre atenta as 
exigências de seus clientes. 
Produzir com qualidade e preços atrativos é de extrema relevância no mercado 
e isso se torna possível, por meio de metodologias aplicadas ao processo produtivo. 
A definição de qualidade que elucida um produto é aquela que apresenta 
conformidade com as especificações definidas (OTTONI, 1992). 
As especificações podem ser avaliadas através do processo de medição,que 
é responsável por comprovar que a grandeza medida está conforme os requisitos 
esperados. Essa medição é feita através do uso de métodos e instrumentos de 
medição, padrões, pessoas e ambiente (CROSBY,1992). 
Dessa forma, pode-se observar que a qualidade está diretamente ligada ao 
processo de aferição ou medição, sendo o método de medição que permite avaliar se 
o produto que está sendo fabricado está de acordo com as especificações 
(MONTGOMERY, 2009). 
Para AIAG (2010) é preciso comprovar e garantir que a aferição está adequada 
e seja confiável, somente assim, ela irá trazer assertividade entre os sistemas de 
medição, pois estes são sujeitos a variações, que podem obstruir e prejudicar a 
confiabilidade, podendo gerar uma tomada de decisão, certa ou errada, e colocando 
a qualidade do produto em dúvida. 
Nesse contexto, a Análise dos Sistemas de Medição é um estudo importante 
por demonstrar como as empresas podem qualificar seus processos e garantir a 
redução de perdas durante o processo produtivo (AIAG, 2010). 
Um dos Sistemas de Análise de Medição muito utilizado atualmente, é o manual 
de referência de Análise dos Sistemas de Medição – MSA, que está na sua 4° edição. 
Ele foi desenvolvido pelo Grupo de Trabalho de Análise do Sistema de Medição 
(M.S.A.), sancionada pelo Grupo de Força Tarefa de Requisitos da Qualidade, sobre 
patrocínio do Automotive Industry Motors Action Grup (AIAG, 2010). 
11 
 
 
 
Conforme AIAG (2010, p.5): “Sistema de medição é o conjunto de instrumentos 
ou dispositivos de medição, padrões, operações, métodos, dispositivos de produção, 
software, pessoal, ambiente e premissas usadas para quantificar uma unidade de 
medição ou corrigir a avaliação da característica sendo medida; o processo completo 
utilizado para obter medições.” 
Entre os problemas atuais existentes nos processos de aferição e medição, a 
incerteza nas aferições, em um sistema de medição é uma das grandes questões que 
será avaliada no presente trabalho, pois sem um sistema eficaz de medição fica 
subentendido o que deveria ser o correto. 
Assim, o objetivo deste estudo é identificar através da metodologia de Análise 
de Sistema de Medição – MSA, como garantir a assertividade das medições 
realizadas e estabelecer melhorias nos setores por meio da validação dos 
instrumentos utilizados, da assertividade nas operações. Assim como identificar se o 
operador possui a qualificação adequada para realizar as medições. 
Conforme Santos (2006), só é possível efetivar a observação de um processo 
que possui variações através de medições. É a medição que permite mensurar a 
variação dos dados, através do monitoramento da produção; assegurando a qualidade 
de produtos e processos de fabricação, diminuindo a taxa de defeitos, falhas e erros. 
Adicionalmente, para Ribeiro (2004), os métodos estatísticos podem ser utilizados 
para estabelecer: (a) o valor mais provável de uma medição, a partir de um conjunto 
limitado de medições, (b) o erro provável de uma medição e (c) o valor da incerteza 
na melhor resposta obtida. Por isso, as organizações investem em procedimentos de 
medição visando conhecer melhor o seu processo para oferecer maior confiabilidade 
aos consumidores. 
Segundo Junior e Sousa (2008), o parâmetro denominado R&R é bastante 
utilizado na indústria de forma conclusiva com o intuito de verificar a adequabilidade 
do processo de medição. Este parâmetro resulta da combinação da Repetitividade 
com a Reprodutibilidade e frequentemente é considerada como a variabilidade total 
da medição. Os métodos estatísticos utilizados para a determinação do R&R são: o 
Método da Média e Amplitude e o Método baseado na Análise de Variâncias (ANOVA). 
O presente estudo será embasado na viabilidade de medição através dos 
métodos de R&R, a fim de identificar as adequações do processo de medição 
realizados atualmente, bem como as possíveis melhoria. 
12 
 
 
 
2. OBJETIVOS DA PESQUISA 
O sistema de medição dos micrômetros, presente na produção e inspeção final 
na usinagem da indústria estudada, é aceitável de acordo com os parâmetros 
indicados no R&R e com manual de MSA? 
 
2.1. OBJETIVOS GERAIS 
O presente trabalho tem o objetivo de analisar se o sistema de medição dos 
micrometros, presentes na produção e inspeção final utilizado pela empresa está 
adequado frente a sua capacidade de produção, por meio do estudo de R&R que 
permite especificar e catalogar a variabilidade de medição e também indicar a 
capacidade de fornecer resultados confiáveis e assertivos. 
 
2.2. OBJETIVOS ESPECÍFICOS 
Para atender o objetivo geral, foram estabelecidos os seguintes objetivos 
específicos: 
• Avaliar o nível criticidade dos equipamentos de aferição micrometros, utilizados 
nos processos para garantir as especificações técnicas, reduzindo o volume de 
perdas; 
• Analisar e estudos de Repetitividade, reprodutibilidade, tendência, linearidade 
e estabilidade na indústria. Através da ferramenta de Análise De Sistema De 
Medição, estudo R&R. 
• Identificar as possíveis substituições dos métodos atuais ou melhorias, com 
base em critérios de aumento da eficiência e eficácia; e 
• Avaliar a continuidade e desenvolvimento da ferramenta, de Análise dos 
Sistemas de Medição - MSA. 
 
2.3. JUSTIFICATIVA 
A Análise do Sistema de Medição é um método estatístico para identificar 
variações do sistema de medição, é essencial no controle e tomada de decisões, não 
consiste simplesmente na calibração de instrumentos, mas também estuda os 
aspectos principais como: equipamento, método, procedimento, ambiente (AIAG, 
2010). 
 
13 
 
 
 
A avaliação dos sistemas de aferição e a metodologia MSA, são cruciais para 
empresas, que objetivam o fornecimento a indústria automobilística, já que tal 
avaliação é requisito da Organização Internacional para Padronização ISO e 
Technical SpecificationTS. 
Além da certificação, o estudo do sistema de medição possibilita outros 
objetivos de mesma importância, de acordo com o manual de Análise dos Sistemas 
de Medição - MSA desenvolvido pelo AIAG (2010): a decisão de se ajustar um 
processo de manufatura normalmente é baseada em dados de medição. 
Segundo Ribeiro et al. (2012), o parâmetro R&R é bastante utilizado na 
indústria com o intuito de verificar a adequabilidade do processo de medição. O R&R 
do dispositivo de medição é conceituado pelo MSA (2002) como sendo o resultado da 
variação combinada da repetitividade e da reprodutibilidade. 
Esta pesquisa tem como objetivo realizar um estudo de Repetitividade e 
Reprodutibilidade (R&R) para avaliar o Sistema de Medição de uma empresa do ramo 
aeroespacial, que controla as dimensões de suas peças, para dar um “feedback” ao 
setor. A relevância deste estudo é justificada pela possibilidade existente do sistema 
de medição da empresa não ser satisfatório, o que gera atuações incorretas por parte 
do controle de processos. 
Os dados de medição e os cálculos estatísticos derivado das coletas são 
comparados com limites de controle dos processos, e partindo dessa comparação, é 
determinado se o processo está fora ou não do controle estatístico. 
O estudo aqui aplicado, com base nas estatísticas permitem avaliar o grau de 
confiabilidade dos dados gerados pelo sistema de medição da empresa Alfa, que 
serão a base para a tomada de decisões, justificando assim a importância do estudo 
e da validação estatística dos dados de medição nas empresas (CURCIO, 2010). 
Através do estudo de caso, a utilização do parâmetro R&R e as pesquisas 
técnicas realizadas ao longo do desenvolvimento do trabalho permitem compreender 
se o sistema de medição esta coerente e atendendo as necessidades das empresa 
Alfa, para a validação e melhoria de processos e equipamentos, apontando a redução 
de perdas e desperdícios gerados, além de auxiliar estudantes de engenharia e 
profissionais da área a encontrarem soluções aplicáveis.14 
 
 
 
2.4. ESTADO DA ARTE 
As buscas de melhorias na qualidade são continuamente focadas na 
produção, buscando reduzir a quantidade de defeitos, minimizando a variabilidade. 
Ações de melhoria são implementadas para melhorar a capabilidade do processo, 
porém, em um processo já capaz, o erro de medição é ainda inaceitável quando 
comparado à variabilidade do processo. Assim, verificar a variabilidade do processo 
de medição e a variabilidade do processo de manufatura, é crucial para tomada de 
decisões (PERUCHI, 2014, AIAG, 2010; WOODALL e BORROR, 2008). 
Segundo Scaglia (Werkema; 2013; pg. 180), a principal finalidade do estudo 
de MSA é agregar valor ao produto, além disso, serve para verificar as influências 
no processo. Também conforme, o item 7.6.1 da norma ISO/TS 16949:2002, onde 
consta que as empresas devem realizar estudos estatísticos para analisar a variação 
presente nos resultados de cada tipo de medição e teste. Esse requisito deve ser 
aplicado a sistemas de medição referidos no plano de controle. 
Segundo Pedott e Fogliatto (2013), nos estudos de R&R, o instrumento de 
medição é utilizado para medir repetidas vezes as amostras de um produto. A 
repetitividade se refere à variabilidade característica do instrumento de medição e 
decorre da sua capacidade de fornecer leituras repetidas muito próximas, sob as 
mesmas condições. A reprodutibilidade se refere à capacidade de um sistema de 
medição apresentar os mesmos resultados diante de alterações nas condições de 
medição, como mudanças de avaliadores, diferentes turnos de trabalho ou 
alterações de processo. 
Atento ao processo a Harbor (2017) e compreendendo os conceitos de R&R, 
o ideal é realizar um estudo antes mesmo de iniciar a implementação do CEP 
(Controle Estatístico do Processo). O uso de um sistema de medição inadequado 
pode levar a interpretações errôneas do processo, causando ajustes desnecessários 
no processo ou ausência de tomada de ação quando houver causas especiais 
agindo no mesmo. 
 
2.5. ESTRUTURA DO TRABALHO 
O presente trabalho apresenta sua estrutura baseada nos seguintes capítulos: 
Capítulo 1 – Introdução: Apresenta alguns conceitos gerais do tema, bem como 
seus objetivos e situações que justificam e fundamentam a necessidade do estudo 
15 
 
 
 
Capítulo 2 – Referencial teórico: Conceitos da Qualidade de produto, e 
conceitos e definições do estudo de R&R baseados na Análise do sistema de medição 
– MAS. 
Capítulo 3 – Metodologia: Apresenta os procedimentos metodológicos serão 
apresentando junto a metodologia que será adotada para realizar a pesquisa. 
Capítulo 4 – Resultados: Este capítulo denota sobre o s casos apresentados 
na análise do sistema de medição e se o estudo com base no R&R encontra os 
resultados necessários para tomada de decisão. 
Capítulo 5 – Conclusão: Apresenta através das análises realizadas, resultados 
obtidos com a aplicação do método proposto. 
 
 
16 
 
 
 
3. REFERENCIAL TEÓRICO 
 
3.1. QUALIDADE 
Segundo Gomes (2004), a qualidade é fácil de reconhecer, mas é difícil definir. 
De acordo com Reeves e Bednar (1994), não existe uma definição global e diferentes 
definições de qualidade surgem em diferentes circunstâncias, tornando-o um 
fenômeno complexo. 
A qualidade de um produto ou serviço está diretamente ligada à satisfação total 
do consumidor. A satisfação total do consumidor é à base de sustentação da 
sobrevivência de qualquer empresa. Essa satisfação do consumidor deve ser buscada 
nas duas formas, defensiva e ofensiva. A satisfação na forma defensiva se preocupa 
em eliminar os fatores que desagradam o consumidor, por meio da retroalimentação 
das informações do mercado, já a satisfação na forma ofensiva, busca antecipar as 
necessidades do consumidor e incorporar esses fatores no produto ou serviço. 
(FALCONI, 1990). 
Segundo Deming (1990, p.125): 
“A qualidade só pode ser definida em termos de quem a avalia, na opinião do 
operário, ele produz qualidade se puder se orgulhar de seu trabalho, uma vez 
que baixa qualidade significa perda de negócios e talvez de seu emprego. Alta 
qualidade pensa ele, manterá a empresa no ramo. Qualidade para o 
administrador de fábrica significa produzir a quantidade planejada e atender às 
especificações. Uma das frases mais famosas de Deming para conceituar 
qualidade é “atender continuamente às necessidades e expectativas dos 
clientes a um preço que eles estejam dispostos a pagar”. 
 
Seguindo a linha da qualidade voltada para sua gestão, a ISO (9001:2008) 
define o Sistema de Gestão da Qualidade (SGQ) da seguinte forma: “É um sistema 
de gestão que permite dirigir e controlar uma organização no que respeita à 
Qualidade”, Sashkin e Kiser (1994, p. 34) definem que “sistema de gestão da 
qualidade significa que a cultura da organização é definida pela busca constante da 
satisfação do cliente através de um sistema integrado de ferramentas, técnicas e 
treinamento. Isso envolve a melhoria contínua os processos organizacionais, 
resultando em produtos e serviços de alta qualidade”. 
Mello et. al (2002) também desenvolveu uma definição relevante de Sistema 
de Gestão da Qualidade (SGQ), ao afirmar que tal sistema faz referência a tudo o que 
uma organização realiza para gerir seus processos e atividades. 
17 
 
 
 
O Sistema de Qualidade, segundo a ISO 9001, objetiva a prevenção de não-
conformidades, o que reflete nos requisitos de adoção de práticas de correção de não-
conformidades e ações corretivas para evitar a recorrência das mesmas (CHAN, 
1999). 
Gustafsson et al. (2001) afirma que o Sistema de Gestão da Qualidade cria o 
apoio e base para a garantia da qualidade em uma organização. O sistema deve ser 
documentado de acordo com a norma. Tal documentação é um suporte tanto para a 
melhoria dos procedimentos e produtos da organização, como uma base para a 
auditoria da qualidade da empresa. 
O SGQ muitas vezes é monitorado por auditorias e sujeito a normas, tópicos 
estes que serão abordados no item 2.3 (normalização) do presente trabalho. 
A figura 1 relaciona os diversos processos dentro de um Sistema de Gestão da 
Qualidade e o processo de melhoria contínua. 
 
Figura 1. Melhoria Contínua dos Processos de SGQ 
 
Fonte: ABNT (2001) 
 
Sobre a pertinência e implementação de um Sistema de Gestão da Qualidade 
(SGQ), a Associação Brasileira de Normas Técnicas - ABNT ressalva que a adoção 
18 
 
 
 
de um sistema de gestão da qualidade deve ser uma decisão estratégica da 
organização. 
 
3.2. NORMALIZAÇÃO 
Segundo AIAG (2010), o objetivo desta organização é fornecer uma série de 
normas ou padrões internacionais, os quais uma vez adotados podem ser auditados 
por auditores externos independentes e especializados para esse fim. Desta forma, o 
comércio internacional é facilitado, e os termos de qualidade e padrão harmonizados. 
A Associação Brasileira de Normas Técnicas (2009) define normalização como 
“atividade que estabelece, em relação a problemas existentes ou potenciais, 
prescrições destinadas à utilização comum e repetitiva com vistas à obtenção do grau 
ótimo de ordem em um dado contexto.” 
 
3.2.1. ISO 9001:2008 SISTEMA DE GESTÃO DA QUALIDADE 
Segundo a International Organization for Standardization (2013), a ISO/TS 
16949:2009 juntamente com a ISO 9001:2008 define os sistemas de gerenciamento 
da qualidade, produção, e quando relevante, instalações e serviços relacionados aos 
produtos fornecidos para o setor automotivo. Auditorias externas são realizadas nas 
empresas para manter a certificação da ISO/TS 16949, bem como auditorias internas 
para a manutenção e verificação dos requisitos. 
O sistema de gestão fundamentado na ISO 9001, os quais apresentam uma 
abordagem de processos, são embasados na metodologia PDCA - Plan, Do, Check, 
Act (ABNT, 2008). Plan significa planejar, estabelecer os objetivos e processos 
necessários de acordo com os requisitosdos clientes. Do diz respeito a fazer, ou seja, 
implementar e executar os processos. Check denota checar, monitorar e medir os 
resultados, estabelecendo uma comparação com os objetivos estabelecidos. Act 
significa agir, melhorando continuamente os processos. A figura 2 demonstra a 
metodologia PDCA. 
 
 
 
 
 
19 
 
 
 
Figura 2. Ciclo PDCA 
 
Fonte: adaptado de ISO 9001 (2008). 
 
 
De acordo com a ISO (2009), como um dos principais clientes da empresa em 
estudo é a indústria automotiva, a entendimento, e a correta aplicação e 
monitoramento dos requisitos da ISO/TS são indispensáveis para a vantagem 
comercial da organização estudada. A ISO/TS, lançada em 1999, é uma adaptação 
da ISO 9001 com o objetivo de atender aos requisitos normativos das principais 
montadoras americanas, alemãs, francesas, italianas e orientais. 
 
3.2.2. ISO/TS 16949 – QUALIDADE AUTOMOTIVA 
De acordo com a ISO (2009), a ISO/TS 16949:2009, em conjunto com a ISO 
9001:2008, define os requisitos de Sistema de Gestão da Qualidade para o design, 
desenvolvimento, produção, e quando aplicável, instalação e serviços dos produtos 
relacionados à indústria automotiva. A ISO/TS pode ser aplicada a toda cadeia de 
suprimento automotiva. 
Segundo a British Standards Institution (2014), A ISO/TS 16949 foi 
desenvolvida pela Força Tarefa Automotiva Internacional (IATF - International 
20 
 
 
 
Automotive Task Force), com o intuito de estimular a melhoria da cadeia de 
suprimentos e do processo de certificação. 
A norma ISO/TS especifica os requisitos para a concepção, desenvolvimento, 
produção, instalação e manutenção de todos os produtos automotivos. Esta norma foi 
publicada em março de 1999 e revisada em 2002 e em 2009, e apresenta 47.500 
certificados nas principais áreas de negócios das Américas, Europa e Ásia (BSI, 
2014). 
A ISO/TS 16949:2009 contêm critérios específicos sobre o MSA, conforme o 
item 7.6 da norma, Controle de Dispositivos de Medição e Monitoramento (ISO, 2009): 
“7.6.1 Análise do Sistema de Medição Estudos estatísticos 
devem ser conduzidos para analisar a variação presente nos 
resultados de cada tipo de sistema de equipamento de 
medição e ensaio. Este requisito deve aplicar aos sistemas de 
medição referenciados no plano de controle. Os métodos 
analíticos e os critérios de aceitação usados devem estar 
conforme àqueles no manual de referência do cliente para as 
análises dos sistemas de medição. Outros métodos analíticos 
e critérios de aceitação podem ser usados se aprovados pelos 
clientes.” 
 
3.3. MEASUREMENT SYSTEM ANALYSIS (MSA) 
Segundo o Instituto da Qualidade Automotiva - IQA (2004), a função básica do 
MSA é verificar se o sistema de medição é adequado ou não, objetivando-se avaliar 
ou controlar um determinado processo ou produto, e se possível, identificar as causas 
da não adequação do sistema. Já o grupo AIAG (2010) salienta que a 4° edição do 
manual do MSA tem como propósito apresentar diretrizes para a avaliação da 
qualidade de um sistema de medição. O foco principal de aplicação do MSA são os 
sistemas de medição onde as leituras podem ser replicadas em cada peça. 
O grupo Iveco Itália (2011), define o MSA como um conjunto de método de 
avaliação com o escopo de determinar a variação dos resultados obtidos através do 
sistema de medição (instrumento de medição, método de medição, funcionários 
envolvidos com as medições, etc.) é aceitável em relação ao campo de tolerância 
prescrito pela característica do produto/ parâmetro do processo objeto da medição. 
A análise do sistema de medição requer o uso de ferramentas estatísticas, que 
permitem a avaliação do grau de confiabilidade dos dados gerados pelos sistemas de 
21 
 
 
 
medição utilizados pela empresa. Tendo em vista que no gerenciamento de 
processos, os dados representam a base para a tomada de decisão, é necessário 
determinar anteriormente, a qualquer análise, se os sistemas de medição fornecem 
resultados aceitáveis. Desta forma, a avaliação estatística da qualidade das medidas 
geradas pelos sistemas de medição é um estudo indispensável para o gerenciamento 
de processos (ABDI, 2013). 
Para a Agência Brasileira de Desenvolvimento Industrial (2013), devido a 
importância dos dados para as atividades de gerenciamento de processos, é 
imprescindível que as medições realizadas para a coleta de dados sejam confiáveis, 
com o intuito de garantir que as ações a serem tomadas, baseadas nas análises dos 
dados de medição, sejam realmente adequadas. 
Repetibilidade e reprodutibilidade (R&R) é a soma das variações obtidas com 
cada estimativa (PORTAL ACTION, 2015b). As possíveis causas são a variação entre 
peças, instrumentos, padrões, métodos, operadores e ambiente e erro de aplicação 
ou então falta de treinamento do operador (AIAG, 2010). 
O manual de MSA da AIAG (2010) orienta que a qualidade dos dados de 
medição está relacionada com as propriedades estatísticas das múltiplas medições 
obtidas de um sistema de medição operando sob condições estáveis. Uma das razões 
que mais contribui para a baixa qualidade dos dados é a variação excessiva. 
O Manual de Referência do MSA sugere a seguinte regra para análise do 
sistema de medição: 
 - %RR menor que 10% → sistema de medição aceitável. 
- %RR entre 10% e 30% → sistema de medição marginal, podendo ser aceito 
dependendo da situação, custos etc. 
- %RR maior que 30% → sistema de medição inaceitável, sendo necessário 
melhorá-lo ou substituí-lo. 
 
3.3.1. FONTES DE VARIAÇÃO 
Assim como em todos os processos, o sistema de medição é impactado por 
ambas as fontes de variação, aleatórias e sistemáticas. 
A AIAG (2010) afirma que embora as causas específicas dependam da 
situação, algumas fontes de variação típicas podem ser identificadas através das 
ferramentas disponibilizadas atualmente. 
22 
 
 
 
Os fatores que afetam essas áreas devem ser compreendidos e assim, poderão 
ser eliminados. A figura 3, um diagrama de causa e efeito (Diagrama de Ishikawa), 
demonstra exemplos de variação. Desde que as fontes de variação reais afetem um 
sistema de medição específicos, elas serão únicas daquele sistema (AIAG, 2010). 
 
Figura 3. Variabilidade do Sistema de Medição. 
 
Fonte: AIAG (201 
 
Os efeitos das várias fontes de variação sobre o sistema de medição devem 
ser avaliados no decorrer de um período. Geralmente, assume-se que as medições 
são exatas, e comumente a análises e conclusões são embasados nessas premissas. 
(AIAG, 2010). 
 
3.3.2. VARIAÇÃO DO PROCESSO DE MEDIÇÃO 
De acordo com o manual de MSA do AIAG (2010), para a maioria dos 
processos de medição, a variação total de medição é usualmente descrita como uma 
distribuição normal. A probabilidade normal é uma premissa dos métodos padrões de 
análise dos sistemas de medição. A Figura 4 demonstra a variação no processo de 
medição. 
23 
 
 
 
Figura 4. Exemplo das Características da Variação do Processo de Medição 
 
Fonte: AIAG (2010). 
 
Como em qualquer processo, a distribuição que pode ser usada para descrever 
a variação do sistema de medição pode ser caracterizada por IQA (2002) localização, 
estabilidade, tendência, linearidade, largura ou dispersão, repetitividade, 
reprodutibilidade 
 
3.4. TENDÊNCIA 
A tendência é a diferença entre o valor verdadeiro (valor de referência) e a 
média observada das medições numa característica, em uma mesma peça (ZATT, 
2009) 
O valor de referência, também conhecido como o valor de referência aceito ou 
valor padrão, é um valor que serve como uma referência concordada para os valores 
medidos (ZATT,2009). 
Um valor de referência pode ser determinado tirando-se a média de várias 
medições feitas com um equipamento de medição de maior exatidão. (AIAG, 2010). 
Em suma, a tendência é a diferença entre o valor de referência e a média 
observada, como demonstrada na Figura 5 (IQA, 2002). 
 
24 
 
 
 
Figura 5.Tendência 
 
Fonte: AIAG (2010). 
 
Segundo o IQA (2002), a tendência pode ser calculada da seguinte forma: 
1. Tendência: Média Observada - Valor de Referência 
2. A tendência pode ser expressa em termos percentuais, no qual a base de 
comparação é a variação total do processo (ABDI 2013): 
2.1. Tendência% = 100 x Tendência / (6 σ) 
2.2. Tendência% = 100 x Tendência/ Tolerância 
 
3.5. LINEARIDADE 
A Linearidade pode ser determinada escolhendo-se peças ao longo da faixa de 
operação do dispositivo de medição. (MORETTO, 2017) 
A tendência de cada peça escolhida é determinada pela diferença entre o valor 
de referência e a medição média observada. (AIAG, 2010). 
 A inclinação da reta de regressão, que melhor ajusta a tendência média versus 
os valores de referência, multiplicada pela variação do processo (ou pela tolerância) 
das peças é um índice que representa a linearidade do dispositivo de medição (IQA, 
2002). A Figura 6 demonstra a Linearidade. 
 
 
 
 
 
 
 
25 
 
 
 
Figura 6. Linearidade 
 
Fonte: AIAG (2010). 
 
 O IQA (2002) afirma que a linearidade e a percentagem da linearidade do 
sistema são calculadas a partir da inclinação da reta de regressão e da variação (ou 
a tolerância) das peças. 
 
 Figura 7. Equações para cálculo da linearidade 
 
Fonte: adaptado de IQA (2002). 
 
 Geralmente, quanto menor a inclinação, melhor a linearidade do dispositivo de 
medição e o inverso também é valido, quanto maior a inclinação, pior a linearidade do 
dispositivo de medição (IQA, 2002). A AIAG (2010) determina que para a linearidade 
do sistema de medição ser aceitável, a linha de tendência igual a =0 deve estar 
inteiramente contida na faixa de confiança da linha de melhor ajuste, conforme Figura 
8. 
26 
 
 
 
 
 
Figura 8. Análise Gráfica da Linearidade 
 
Fonte: AIAG (2010). 
 
3.6. REPETITIVIDADE 
 A repetitividade é a variação nas medições obtidas com um instrumento de 
medição, quando usada várias vezes pelo mesmo operador, enquanto medindo uma 
característica idêntica de uma mesma peça (AIAG, 2010). 
Em outras palavras, verifica-se se o grau de consistência de repetidas 
medições, realizadas sob as mesmas condições. De acordo com o IAQ (2012), a 
repetitividade é uma variação de causa comum (erro aleatório) decorrente de 
sucessivas repetições feitas sob condições definidas de medição. 
A repetitividade pode ser definida também como uma variação dentro do 
sistema. A Figura 9 demonstra a Repetitividade. (AIAG, 2010). 
 
 
 
 
27 
 
 
 
Figura 9. Repetitividade 
 
Fonte: AIAG (2010). 
 
 Os métodos para calcular a repetitividade são diretrizes para a Determinação 
da Repetitividade e Reprodutibilidade (R&R). 
 
3.7. REPRODUTIBILIDADE 
 De acordo com a AIAG (2010) é conhecida como a variabilidade entre 
os avaliadores. A reprodutibilidade pode ser definida como a variação das médias das 
medições feitas por diferentes operadores, utilizando um mesmo instrumento de 
medição, enquanto medindo uma mesma característica de uma mesma peça.
 Desta forma, a reprodutibilidade pode ser definida também como a variação 
média entre sistemas ou entre condições de medição conforme Figura 10. 
 
 
 
 
 
 
 
 
 
 
 
 
28 
 
 
 
Figura 10. Reprodutibilidade 
 
Fonte: Reprodutibilidade adequada (2010). 
Os métodos para calcular a reprodutibilidade serão diretrizes para a Determinação 
da Repetitividade e Reprodutibilidade (R&R). 
 
3.8. REPETITIVIDADE E REPRODUTIBILIDADE (R&R) DO DISPOSITIVO DE 
MEDIÇÃO 
 O R&R do dispositivo de medição pode ser definido como uma estimativa da 
variação combinada da repetitividade e reprodutibilidade. Em outras palavras, o R&R 
é a variância igual a soma das variâncias dentro do sistema e entre sistemas (AIAG, 
2010), conforme Figura 11. 
 
 
 
 
 
 
 
 
29 
 
 
 
Figura 11. R&R 
 
Fonte: AIAG (2010). 
 
3.9. DIRETRIZES PARA A DETERMINAÇÃO DA REPETITIVIDADE E 
REPRODUTIBILIDADE (R&R) 
 Para a AIAG (2010), o melhor método para o estudo de R&R é o ANOVA, uma 
vez que esse método mede o erro de interação do operador com a peça no dispositivo 
de medição enquanto os outros métodos não incluem essa variação. 
 O método da amplitude, também conhecido como método rápido, fornece uma 
rápida aproximação da variabilidade das medições. Tal método apresenta somente 
uma visão geral do sistema de medição. Este método não decompõe a variabilidade 
em repetitividade e reprodutibilidade (COSTA, 2016). 
 O método da média e amplitude (x̄ e R) é uma técnica que fornece uma 
estimativa da repetitividade e da reprodutibilidade de um sistema de medição. Esta 
abordagem permite que a variação do sistema de medição seja decomposta em 
repetitividade e reprodutibilidade (AIAG, 2010). 
 A utilização de ferramentas gráficas é indispensável para a análise dos 
resultados. A verificação sistemática de dados, decorrentes de causas especiais de 
variação, através do uso de ferramentas gráficas deve preceder qualquer outra análise 
estatística (AIAG, 2010). 
Conforme (AIAG, 2010), as seguintes ferramentas gráficas são extremamente 
úteis para essa análise: 
30 
 
 
 
 
1. Cartas médias: as médias das leituras feitas por cada operador sobre cada 
uma das amostras são plotadas em um gráfico cujo eixo das abscissas é 
composto pela identificação das amostras e o eixo das coordenadas pela 
linha média, as médias de cada avaliador e os limites de controle. Essa 
ferramenta gráfica não identifica, de imediato, a diferença entre os 
operadores. Porém a “usabilidade” do sistema é indicada. 
 
2. Cartas de amplitude: as amplitudes das leituras realizadas por cada 
operador, sobre cada peça são plotadas. Desta forma, a consistência do 
processo de medição entre os operadores pode ser determinada, bem como 
o controle estatístico com respeito à repetitividade. Exemplo de Carta de 
Média e Amplitude conforme Figura 12. 
 
Figura 12. Cartas de Média e Amplitude 
 
Fonte: Ritme Informatique (2009) 
 
3. Gráfico sequencial (Run Chart): neste gráfico, as leituras são plotadas por 
peça, abrangendo todos os operadores. Desta forma, é avaliado o efeito das 
peças individualmente na consistência da variação e se há leituras anormais. 
A Figura 13 demonstra um gráfico sequencial. 
31 
 
 
 
 
Figura 13. Run Chart 
 
Fonte: Minitab 15 (2011) 
 
4. Gráfico de dispersão: as leituras individuais são plotadas por peça e por 
operadores. Tem como objetivo obter informações sobre a consistência entre 
operadores, indicações de discrepâncias e interações peça x avaliador, 
conforme Figura 14. 
 
Figura 14. Gráfico de Dispersão 
 
Fonte: Minitab 15 (2011). 
32 
 
 
 
5. Gráfico X-Y de médias por tamanho: as médias das leituras efetuadas por 
cada operador em cada uma das peças são plotadas contra o valor de 
referência ou contra as médias gerais. A Figura 15 demonstra um gráfico X-
Y de médias por tamanho. 
 
 Figura 15. Gráfico X-Y de médias por tamanho 
 
Fonte: Minitab 15 (2011) 
 
6. Gráfico de comparação X-Y: As médias das leituras por cada operador em 
cada uma das peças são plotadas. Então, os valores de um operador são 
comparados com os valores obtidos pelos outros operadores. Se existir 
concordância entre os dados, os pontos plotados descreverão uma linha reta 
que passa pela origem e uma inclinação de 45° em relação aos eixos. A 
Figura 16 demonstra um gráfico de comparação X-Y. 
Figura 16. Gráfico de comparação X-Y 
 
Fonte: Minitab 15 (2011) 
 
 
33 
 
 
 
4. METODOLOGIA 
O intuito deste capítulo é apresentar a metodologia utilizada para o 
desenvolvimento do estudo de caso, incluindo os objetivos, a questão da pesquisa, a 
forma da abordagem metodológica escolhida e o detalhamento das etapas da 
pesquisa. 
 
4.1. CARACTERIZAÇÃO DA PESQUISA 
O objetivo da metodologia de pesquisa aplicada éconduzir o autor à direção 
correta de estudo, proporcionar a organização aqui estudada seu entendimento as 
aferições. A partir da caracterização e classificação da pesquisa o autor passa a dispor 
de elementos para decidir sobre a aplicabilidade da solução dos problemas propostos 
e da investigação realizada (Gil, 2010). 
Boente; Braga (2004) classifica a pesquisa em acadêmica quando possui fins 
científicos e pesquisa de ponta, na qual é considerada pelo autor como científico, mas 
com enfoque ao mercado e não ao conhecimento. Dentro destas duas classificações 
os mesmos autores ainda caracterizam a pesquisa de acordo com algumas fases da 
pesquisa. 
Pesquisa de caráter aplicada e defendida pela divisão, mas ressalta em 
conhecimento para que seja sempre trabalhada em conjunto o autor que trabalha com 
as mesmas definições, porém com conceitos diferentes segundo sua visão Gil (1991; 
1997). 
A natureza da pesquisa é de caráter aplicada, pois segundo Barros e Lehfeld 
(2000, p. 78) a pesquisa classificada como aplicada tem como principal motivação a 
necessidade de produzir conhecimentos para aplicação de seus resultados, e tem 
como objetivo contribuir para fins práticos, visando a solução mais ou menos imediata 
do problema encontrado na realidade. 
 Uma vez que os dados obtidos na coleta de dados são mensuráveis, e uma 
análise estatística, onde os dados são analisados com apoio da Estatística (inclusive 
multivariada) ou outras técnicas matemáticas. Também, os tradicionais levantamentos 
de dados são o exemplo clássico do estudo de campo quantitativo (POPPER, 1972). 
Ao contrário da pesquisa pura, pesquisas de natureza aplicada apresentem 
complexidades metodológicas mais complexas, segundo Appolinário (2004, p. 152) 
as pesquisas aplicadas têm o objetivo de resolver problemas ou necessidades 
34 
 
 
 
concretas e imediatas. 
 O presente estudo apresenta uma metodologia de abordagem quantitativa, 
segundo Diehl (2004) apresenta um esboço acerca desta estratégia. A pesquisa 
quantitativa da quantificação, tanto na coleta quanto no tratamento das informações, 
utilizando-se técnicas estatísticas, objetivando resultados que evitem possíveis 
distorções de análise e interpretação, possibilitando uma maior margem de 
segurança. 
 Seguindo ensinamentos de Richardson (1989), este método caracteriza-se 
pelo emprego da quantificação, tanto nas modalidades de coleta de informações, 
quanto no tratamento dessas através de técnicas estatísticas, desde as mais simples 
até as mais complexas. 
A pesquisa qualitativa tende a salientar os aspectos dinâmicos, holísticos e 
individuais da experiência humana, para apreender a totalidade no contexto daqueles 
que estão vivenciando o fenômeno (POLIT, BECKER E HUNGLER, 2004, p. 201). 
 Sobre a pesquisa quantitativa, Fonseca (2002, p. 20) afirma o seguinte: 
 
“Diferentemente da pesquisa qualitativa, os resultados 
da pesquisa quantitativa podem ser quantificados. 
Como as amostras geralmente são grandes e 
consideradas representativas da população, os 
resultados são tomados como se constituíssem um 
retrato real de toda a população alvo da pesquisa. A 
pesquisa quantitativa se centra na objetividade. 
Influenciada pelo positivismo, considera que a 
realidade só pode ser compreendida com base na 
análise de dados brutos, recolhidos como auxílio de 
instrumentos padronizados e neutros. A pesquisa 
quantitativa recorre à linguagem matemática para 
descrever as causas de um fenômeno, as relações 
entre variáveis, etc.” 
 
 Para Filippini (1997), o estudo de caso é uma análise aprofundada de um ou 
mais objetos (casos), com o uso de múltiplos instrumentos de coleta de dados e 
presença da interação entre pesquisador e objeto de pesquisa. 
 
35 
 
 
 
4.2. DELIMITAÇÕES DA PESQUISA 
Este estudo de caso será feito em empresa multinacional brasileira com sede 
matriz em Gravataí-RS localizada no Distrito Industrial de Gravataí - RS, que deu início 
às suas atividades em 1977 com a fabricação de sistemas de medição de alta precisão 
para máquinas operatrizes. Em uma história repleta de pioneirismo e inovação, o 
grupo Alfa foi diversificando seus produtos, assim nasceram os primeiros 
dispensadores de cédulas do país. 
O sucesso na tecnologia de equipamentos para bancos projetou a empresa e 
motivou a criação da aqui chamada de BETA para preservação, empresa que hoje 
pertence ao Grupo Alfa. Paralelamente, a empresa Alfa especializou-se em 
segmentos de mercado como de transporte público, controle de acesso, componentes 
aeronáuticos entre outros. 
Essa excelência tecnológica e a verticalidade dos processos produtivos 
permitiram que a empresa Alfa participasse de projetos de lançamento de satélites 
brasileiros e fabricação de componentes para aviões comerciais e militares. 
A empresa tem sua área de atuação bastante ampliada, projetando e desenvolvendo 
soluções em equipamentos, software e serviços. Com um total de 1700 funcionários, 
a demanda desta divisão gira em torno de 10.000 mil peças em seu mix produtivo, 
onde será analisado o sistema de aferição da produção e inspeção final dos 
micrometros que se dá através da R&R. Assim será possível coletar diversos dados 
fundamentais para o desenvolvimento e análise deste estudo. 
Inicialmente o trabalho será aplicado na produção e na inspeção final na célula 
de conjunto onde existem itens seriados que juntos, formão conjuntos usados em 
componentes das aeronaves. 
A análise do estudo de casos será direcionada para peças de conjunto para 
trem de pouso. 
Com o intuito de realizar as análises mencionadas, será utilizado como base o 
estudo R&R que compõe uma parte do MAS citado anteriormente. 
 O sistema de medição dos micrômetros, presente na produção e inspeção final 
na usinagem da indústria estudada, é aceitável de acordo com os parâmetros 
indicados no manual de MSA? 
 
36 
 
 
 
4.3. TÉCNICAS DE COLETAS DE DADOS 
As informações de pesquisa científica são realizadas através de análise 
documental e levantamento bibliográfico, as informações são analisadas dentro do 
ambiente fabril através de coleta direta no chão de fábrica (LAKATOS & MARCONI, 
2003). 
Segundo (RICHARDSON, 1989), o estudo de campo qualitativo não tem um 
significado preciso em quaisquer das áreas onde sejam utilizados. Para alguns, todos 
os estudos de campo são necessariamente qualitativos e, mais ainda, como já 
comentados, identificam-se com a observação participante. 
A literatura de referência considera que a presença do pesquisador não é 
suficiente para inviabilizar a representatividade do método, porém alega que esta 
presença pode ter impacto em situações específicas, como nos contatos informais, na 
iminência de conflitos e no início do processo de observação (BORTOLI; TEIXEIRA, 
1984). 
Com base nesta construção inicial, muitos conceitos e abordagens surgiram, 
com isso usou-se também a coleta de dados por grupos focais que para Vergara 
(2004, p. 56) é um grupo de pessoas com que o pesquisador pode discutir suas ideias 
e o problema a ser investigado, no intuito de obter mais informações sobre o tema, 
poder direcionar-se um foco e dar uma direção aos trabalhos. 
 Caracterização dos instrumentos de medição do setor: nessa etapa foi 
realizado um levantamento dos instrumentos de medição Micrometro Micrômetro 
Externo Digital 0-25mm (0,001mm) com Catraca, conforme Figura 17. Existentes na 
usinagem, verificando os tipos, quantidade, a resolução dos micrômetros, a situação 
de operação em que se encontram e as tolerâncias que eles devem medir conforme 
por AIAG (2010). 
Figura 17. Micrômetro Analisado no Estudo de MSA. 
 
Fonte: dados da pesquisa 
37 
 
 
 
 Planejar a coleta de dados, realizar a coleta e a análise dos dados: com base 
na metodologia de análise dos sistemas de medição (AIAG, 2010) foi realizado o 
planejamento para a coleta de dados e a análise estatística dos dados coletadosconforme a metodologia. Estes dados estarão disponíveis no capítulo 5 onde será 
apresentado todo desenvolvimento dos dados. 
Para esta pesquisa foi utilizada o padrão da entrevista não estruturada, através 
da formatação das informações repassadas pelos responsáveis para o pesquisador 
apresentando as experiências práticas e a solução empírica dos problemas, para 
posterior análise qualitativa. 
 
Figura 18. Fluxograma do processo 
 
 
 
Fonte: Elaborado pelo autor (2019) 
 
 Propor melhorias no sistema de medição: depois de analisar os dados 
coletados concluir a respeito do sistema de medição e propor ações de melhoria. 
 
4.4. ANÁLISE DOS DADOS 
 Uma análise aprofundada será efetuada, com o objetivo de comparar os 
resultados obtidos (mensuráveis) com os parâmetros especificados no manual de 
MSA. Para tanto, as seguintes etapas serão seguidas: 
38 
 
 
 
 
1. Estruturação da pesquisa: 
1.1. Elaboração do cronograma do presente trabalho de conclusão de curso; 
1.2. Identificação da área da empresa em estudo a ser abordada e qual o sistema 
de medição será analisado; 
1.3. Estudos preliminares e simulações de análise de R&R junto à equipe de 
metrologia; 
1.4. Pesquisa bibliográfica, uma vez que o conhecimento sobre o, MSA e conceito 
do R&R, bem como as ferramentas estatísticas envolvidas, é indispensável 
para a realização deste estudo. 
2. Esquema de aplicação prática da pesquisa: 
2.1. Definição do equipamento e operadores envolvidos; 
2.2. Estruturação da coleta de dados; 
2.3. Desenvolvimento da coleta de dados, na qual os dados serão analisados 
estatisticamente; 
2.4. Comparação dos resultados obtidos com os parâmetros indicados no manual 
de MSA e avaliação do sistema de medição da empresa em estudo; 
2.5. Elaboração das sugestões de melhoria; 
2.6. Apresentação dos resultados. 
 
 
39 
 
 
 
5. DESENVOLVIMENTO 
 No capítulo a seguir, serão apresentadas as pesquisas realizadas, as coletas 
realizadas e as possíveis soluções estudadas para as coletas e pesquisas. 
 
5.1. SEPARAÇÃO DAS AMOSTRAS 
Nesta primeira parte do processo o avaliador realiza a separação das amostras 
que se encontram no processo de fabricação, como o lote de fabricação é pequeno 
separa-se 10 peças deste lote para realização dessas medições. 
As peças denominadas eixos aeroespaciais da retifica cilíndrica que compõem 
um conjunto de uma determinada peça e processo de medição e estudo do R&R são 
apresentadas na figura 19. 
 
Figura 19. Eixo Aeroespacial 
 
Fonte: Elaborado pelo autor 
 
5.2. COLETA DE DADOS 
Nesta etapa foi analisado e acompanhado a coleta de dados das medições dos 
componentes aeroespaciais denominado eixos, onde dois operadores e um inspetor 
da qualidade fazem parte da equipe que irá compor o processo de medição das peças. 
40 
 
 
 
Os operadores terão três medições para cada amostra totalizando um número 
de dez amostras. Os dois primeiros operadores realizam as medições em seus postos 
de trabalho no chão de fábrica, após este processo o inspetor realiza a terceira e 
última medição da peça em seu de trabalho. Os valores serão calculados pela 
introdução do valor da tolerância dividido por seis no denominador das fórmulas de 
cálculo, em substituição à variação total (VT). 
Os respectivos dados estão disponíveis nos resultados. 
Após finalizar as medições, o avaliador coleta os dados e desenvolve uma 
planilha contendo a médias de cada operador para fins de comparação. Os dados são 
repassados para um software para fins de geração dos cálculos necessários. 
 
5.3. APLICAÇÃO DO SOFTWARE MINITAB 
A partir da aplicação do software Minitab estatístico para o estudo do R&R da 
medição foi apresentado inicialmente o método xbarra/R1 onde foi possível obter os 
seguintes valores mostrados na figura 20 (MOZOCCO, 2014). 
 
Figura 20. Componente de Variância 
 
Fonte: Autor 
 
Avaliação das Medições: A segunda etapa contém a avaliação de todas as 
medições que compõem o processo conforme mostra a figura 21. 
 
1 Carta Xbarra-R consiste em monitorar a média e a variação de um processo quando existem 
dados contínuos e subgrupos de tamanhos de 8 ou menos. A carta de controle é utilizada para 
monitorar a estabilidade do processo ao longo do tempo para que seja possível identificar e corrigir as 
instabilidades em um processo (MAZOCCO, 2014). 
41 
 
 
 
 
Figura 21. Avaliação das Medições 
 
Fonte: Autor 
A partir destes dados o software gera um gráfico para fins de avaliação visual 
de todos os componentes descritos acima, conforme a figura 22. 
 
Figura 22. Componentes de Variação 
 
Fonte: Autor 
 O software desenvolve também dados por operador e xbarra por operador, 
permitindo observar em uma nestas cartas as variações, os seus limites e as amostras 
dentro e fora das especificações aceitáveis. A figura 23 especifica os dados. 
 
Figura 23. Carta R por Operador 
42 
 
 
 
 
Fonte: Autor 
Nos valores encontrados por peça, o software desenvolve um gráfico que 
apresenta os seguintes valores mostrados na figura 24. 
 
Figura 24. Valores Encontrados por Peças 
 
Fonte: Autor. 
Por último, as amostras por operador que estão representadas na figura 25. 
Figura 25. Valor Encontrado por Operador 
43 
 
 
 
Fonte: Autor 
5.4. RESULTADOS 
 
A base de todos os cálculos e gráficos apresentados estão descritos na tabela 
26. 
Figura 26. Dados Finais 
 
Fonte: Autor 
Após todas as coletas e resultados realizados pelo software, obtém-se o 
resultado que está descrito na figura 27. 
 
44 
 
 
 
Figura 27. Resultados RR 
 
Fonte: Autor 
 
Para fins de conclusão, entende-se que o valor encontrado está acima das 
especificações segundo manual de referência do MAS citado anteriormente. 
 
 
45 
 
 
 
6. CONCLUSÃO 
Os critérios de análise do estudo de R&R estão definidos no Manual de Análise 
dos Sistemas de Medição – MSA que tem o propósito de analisar um processo, tem-
se descrito na figura 28 uma regra geral para aceitação de um sistema de medição. 
 
Figura 28. Critérios de Análise R&R 
 
Fonte: Portal Action 
O uso do R&R como único índice para avaliar um sistema de medição não é 
aceitável. Ao aplicar os critérios de aceitação como simples valores de corte, 
assumimos que as estatísticas são estimativas determinísticas da variabilidade do 
sistema de medição. Especificar os valores de corte como critério pode levar a um 
comportamento inadequado. Por exemplo, o fornecedor pode ser "criativo" ao 
encontrar um determinado valor de R&R, eliminando as principais fontes de variação 
ou simplesmente manipular o estudo. 
Quando analisamos a variação de um sistema de medição é importante olhar 
para cada aplicação individualmente, para sabermos o que é requerido e como esta 
medição será utilizada. 
Para sistemas de medição no qual o resultado da medição é utilizado para 
determinar a "conformidade" ou "não conformidade" do produto com respeito a uma 
especificação as amostras selecionadas NÃO precisam abranger toda a 
especificação. Além disso, a análise do R&R deve ser realizada em relação à 
tolerância. Neste caso, foi calculado a porcentagem R&R em relação à tolerância. 
Os micrometros são verificados a fim de avaliar os seus níveis de criticidade. 
No processo, os equipamentos passam pela aferição para garantir o processo de 
46 
 
 
 
especificação exigida, porém no estudo, foi detectado que apesar de ser o 
equipamento utilizado atualmente pela empresa, o equipamento não atende conforme 
desejado, visto que, pode ser influenciado por outros componentes externos que 
podem prejudicar o processo de medição e a qualidade das peças. 
Foi realizado levantamento dos conceitos de tendência, linearidade e 
estabilidade, além de Repetibilidade e Reprodutibilidade para avaliar qual das 
metodologias seriam estudadas a fim de realizar o levantamento de dados. Conforme 
conclusão, definiu-se queo estudo da Repetibilidade e Reprodutibilidade para 
avaliação do sistema de medição é compatível para obter os resultados desejados. 
Para fins de conclusão, entende-se que o valor encontrado está acima das 
especificações segundo manual de referência do MSA citado anteriormente. Os 
estudos mostram que é possível obter melhorias e até adquirir novos equipamentos 
que traga melhorar os critérios de medição. 
 
 
 
47 
 
 
 
7. CONSIDERAÇÕES FINAIS 
O estudo identifica as necessidades de alteração no método utilizado 
atualmente, porém necessita de maiores avaliações que apenas o R&R não é capaz 
de obter. 
A busca por um cenário adequado e com menos falhas e retrabalhos no 
processo produtivo torna-se objetivo principal, visto que o grande número de peças 
com especificações fora do limite tolerado é a grande fuga e perda para a organização. 
Pensando nisso, observou-se a necessidade de um estudo mais complexo 
embasado no, MAS, visto que, apenas o R&R não seria cabível para obter decisões 
de alterações nos métodos de medições. As avaliações devem conter critérios mais 
rigorosos e não apenas o entendimento de substituição de equipamento para correção 
das falhas. Os critérios de peças, ambientes e métodos e operadores devem ser 
levados em consideração para fins de tomada de decisão. 
Como sugestão, acompanhar o estudo do MSA e desenvolver o processo, de 
modo adequado e eficaz que direcione o processo produtivo para um processo com 
menos falhas, a fim de obter um fluxo capaz e com métodos rígidos de correções 
rápidas. 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
48 
 
 
 
8. REFERÊNCIAS 
 
AGÊNCIA BRASILEIRA DE DESENVOLVIMENTO INDUSTRIAL. Análise dos 
Sistemas de Medição. Brasília: ABDI, 2013. 
 
ASSOCIAÇÃO BRASILEIRA DE NORMAS TÉCNICAS – ABNT. Coletâneas de 
normas de sistemas da qualidade. Rio de Janeiro: ABNT, 2009. 
 
AUTOMOTIVE INDUSTRY ACTION GROUP - AIAG. Measurement Systems 
Analysis MSA. 4ºed. Detroit: Chrysler Corporation; Ford Motor Company and 
General Motors Corporation, 2010. 
 
BHUIYAN, N.; BAGHEL, A. An overview of continuous improvement: from the 
past to the present. Management Decision, v. 43, n. 5, p. 761-771, 2005. 
 
CARPINETTI, Luiz C. R; MIGUEL, Paulo Augusto C. Miguel; GEROLAMO Mateus, 
Cecílio. Gestão da Qualidade ISO 9001:2000: princípios e requisitos. São Paulo: 
Atlas, 2007. 
 
CARTA DE MÉDIAS E AMPLITUDE. Disponível em http://www.ritme.com/fr. 
Acesso em: 18 maio. 2019. 
 
CHAN, T. M. Impact of ISO 9000 certification on quality management practices: 
A comparative study. Total Quality Management, Vol. 13,Nº. 1, pp. 53-67, 2002. 
 
COSTA, Éderson D.'M. et al. TRANSMISSION AND REFLECTION COEFFICIENTS 
BY THE VARIABLE AMPLITUDE METHOD. Química Nova, v. 39, n. 7, p. 882-885, 
2016. 
 
DEMING, W. Edwards; Qualidade: a revolução da administração. Rio de Janeiro: 
Marques Saraiva, 1990; 
 
FONSECA, J. J. S. Metodologia da pesquisa científica. Fortaleza: UEC, 2002. 
Apostila. 
 
FALCONI CAMPOS, V. Gerência da qualidade total: estratégia para aumentar a 
competitividade da empresa brasileira. Belo Horizonte; Fundação Christiane Ottoni, 
UFMG, 1990. 
 
GOMES, P. A evolução do conceito de qualidade: dos bens manufacturados aos 
serviços de informação, Cadernos BAD, Vol. 2, pp. 6-18, 2004. 
 
49 
 
 
 
GALBINSKI, J. ISO publica nova edição da ISO 9001. Banas Qualidade, n. 199, p. 
9, 2008. 
 
GARVIN, D. A. Manufacturing Strategy Planning. California Management Review, 
v. 35, n. 4, p. 85-106, 1993. 
 
GRÁFICOS DO ESTUDO DE MSA. Disponível em http://www.minitab.com.br. 
Acesso em: 18 maio. 2019. 
 
GUSTAFSSON, R.; KLEFSJÖ, B.; BERGGREN, E. e GRANFORSWELLEMETS, U. 
Experiences from implementing ISO 9000 in small enterprises: A study of 
Swedish organizations. The TQM Magazine, Vol. 13, Nº. 4, pp. 232-246, 2001. 59 
 
HOGG, R.V., LEDOLTER, J. Applied Statistics for Engineers and Physical 
Scientists. Macmillan Publishing Company, NY. 1987 
 
Harbor, O que é R&R por que você precisa dele. Disponível em: < 
https://www.harbor.com.br/harbor-blog/2017/08/07/o-que-e-rr/> Acesso 20 maio 2020 
 
 
INSTITUTO DA QUALIDADE AUTOMOTIVA. Análise de sistemas de medição – 
MSA, Manual de referência Instituto da Qualidade Automotiva, 4. ed., São Paulo: 
IQA., 2010. 
 
ISO. International Organization for Standardization. Disponível em: 
<http://www.iso.org/iso/catalogue_detail?csnumber=52844>. 
Acesso em: 11 Abril. 2019. 
 
ISO/TS 16949:2009 Quality management systems – Particular requirements for the 
application of 
 
ISO 9001:2008 for automotive production and relevant service part 
organizations, 2009. 
 
JUNIOR, A.A.G; SOUSA, A.R. Fundamentos de metrologia científica e industrial. 
1ª. ed. Barueri - SP: Manole, 2008. 
 
KISER, Kenneth J.; MARSHALL, Sashkin. Gestão da qualidade total na prática. 1° 
Ed. Rio de Janeiro: Editora Campus, 1994. 
 
50 
 
 
 
LAGROSEN, Y. Quality management and health: a double connection. 
International Journal of Quality & Reliability Management, v. 24, n. 1, p. 49-61, 
2007. 
 
 
MELLO, P. H. C.; SILVA, C. E. S. da; TURRIORI, J. B.; SOUZA, L. G. M. de. ISO 
9001:2000. 1 ed. São Paulo: Editora Atlas S/A, 2002. 
 
MORETTO, Caroline et al. Avaliação do desempenho do processo de medição 
com apalpadores em centros de usinagem. 2017. 
 
NBR ISO 9001:2000. Sistema de gestão da qualidade – requisitos. Associação 
Brasileira de Normas Técnicas – Rio de Janeiro: ABNT, 2000. 
 
OAKLAND, John S. Gerenciamento da Qualidade Total (TQM). São Paulo: Nobel, 
1994. 
 
PALADINI, E. P. Avaliação estratégica da qualidade. 2ª ed. São Paulo: Atlas, 2011. 
 
PALADINI, E. P. Gestão da qualidade: teoria e prática. São Paulo: Atlas, 2004. 
SANTOS, A.B. Modelo de referência para estruturar o programa de qualidade 
seis sigma: proposta e avaliação (tese de doutorado), 2006. 
 
PERUCHI, R. S. MDMAIC – Um Roadmap Seis Sigma Multivariado. Tese 
(Doutorado em Engenharia de Produção) – Universidade Federal de Itajubá, Itajubá, 
2014. 
 
PORTAL ACTION. Análise dos Sistemas de Medição. Disponível em:< 
http://www.portalaction.com.br/analise-dos-sistemas-de-medicao/24-repetitividade-e-
reprodutibilidade>. Acesso em: 23 junho. 2020. 
 
PEDOTT, A. H.; FOGLIATTO, F. S.; Estudo de repetitividade e reprodutividade 
para dados funcionais. Produção, v. 23, n. 3, p. 548 – 560, 2013. 
 
RIBEIRO, J. L. D; CATEN, C. S.T. Série Monográfica Qualidade - Controle 
Estatístico do Processo. FEENG/UFRGS, Porto Alegre - RS, 2012. 
 
REEVES, C.; BEDNAR, D. Defining quality: alternatives and implications, Academy of 
Management Review, Vol. 19, n° 3, pp. 419-445, 1994.HEUVEL, J. V. D. et al. An ISO 
9001 quality management system in a hospital: bureaucracy or just benefits? 
International Journal of Health Care Quality Assurance, v. 18, n. 5, p. 361-36, 
2005. 
51 
 
 
 
 
ZENG, S. X.; TIAN, P.; SHI, J. J. Implementing integration of ISO 9001 and ISO 
14001 for construction. Managerial Auditing Journal, v. 20, n. 4, p. 394-407, 2005. 
ZATT, Ancilla Dall’Onder. Moda Estatística: Uma Medida de Tendência 
Central. Competência (Porto Alegre), Porto Alegre: RS, p. 129-140, 2009.

Continue navegando