Sistemas da Qualidade II (Parte I)

Prévia do material em texto

1
1
Sistemas da Qualidade II
Eng. Produção Filipe Albano
Doutor em Engenharia de Produção
filipe.albano@pucrs.br
2
Cronograma
2
3
Avaliação
G1 = conforme documento 
entregue ao aluno e moodle
Referências
• ABNT NBR ISO/IEC 17025 – Requisitos gerais para a competência de 
laboratórios de ensaio e calibração.
• ABNT NBR ISO/IEC 17043 – Requisitos gerais para ensaios de proficiência
• ALBANO & RAYA-RODRIGUEZ (2015). Validação e Garantia da 
Qualidade de Ensaios Laboratoriais. RMRS, 2° Edição. Porto Alegre.
• ISO 5725 – 5 – Accuracy (trueness and precision) of measurement 
methods ans results – Part 5: Alternative methods for the determination of 
the precision of a standard measurement method.
• ISO 5725 – 6 – Accuracy (trueness and precision) of measurement 
methods ans results – Part 6:Use in practice of accuracy values.
• ISO 13528 – Statistical methods for use in proficiency testing by 
interlaboratory comparisons.
• ISO GUM – Guia para a Expressão da Incerteza de Medição. 
• MONTGOMERY, D.C. (2004), Introdução ao controle estatístico da 
qualidade. LTC: Rio de Janeiro.
• PROFICIENCY TESTING AUSTRALIA (PTA). Guide to Proficiency Testing 
Australia. Revised July, 2012.
4
3
5
Garantia da Qualidade e 
Validação de Resultados
Contexto
• A implementação da Gestão da Qualidade em sistemas de 
produção tem como objetivo garantir o fornecimento de produtos e 
serviços com eficiência, sem falhas e com perdas progressivamente 
menores.
• A interação entre as partes componentes de um sistema pode ser 
estabelecida por normas, métodos, procedimentos, instruções, 
processos, regulamentos e leis. 
• Aos recursos humanos de um sistema são conferidas atribuições e 
responsabilidades, que visam ordenar e hierarquizar as funções e 
interações entre os diversos elementos desse sistema.
6
4
7
Garantia da Qualidade
• Garantir resultados:
– Exatos;
– Precisos;
– Confiáveis.
Exatidão
• Exatidão é o grau de concordância entre o resultado de uma 
medição e o valor verdadeiro de um mensurando. A exatidão 
traduz a concordância dos valores experimentais com o valor 
verdadeiro.
• Possui relação com o ERRO SISTEMÁTICO. Erro sistemático 
pode ser estimado pela média que resultaria de um infinito 
número de medições do mesmo mensurando, efetuadas sob 
condições de repetibilidade, menos o valor verdadeiro do 
mensurando. O erro sistemático é igual ao erro total da 
medição menos o erro aleatório.
• O Erro Sistemático pode ser ajustado, “zerando” a influência 
do mesmo. 8
5
Exatidão
• Exatidão pode ser definida como a tendência em apresentar 
resultado maior ou menor que o valor real, indicando a existência ou 
não de Erro Sistemático, que pode ser expresso pelo Erro Relativo 
(ER):
9
Precisão
• A Precisão reflete a concordância entre vários valores 
experimentais obtidos. Quanto menor for a amplitude das 
medidas, maior será a precisão. Esta medida reflete a 
tendência de maior ou menor afastamento (erro) entre os 
resultados dos ensaios. 
• Possui relação com o ERRO ALEATÓRIO. O erro aleatório 
é o resultado de uma medição menos a média que 
resultaria de um infinito número de medições do mesmo 
mensurando efetuadas sob condições de repetibilidade. O 
erro aleatório é igual ao erro total de medição menos o erro 
sistemático.
• O Erro Aleatório NÃO pode ser ajustado/compensado.
10
6
Precisão 
• A repetibilidade (repe) e a reprodutibilidade interna (repro) 
são parâmetros estatísticos relacionados com a precisão.
• Este erro pode ser expresso pelo desvio padrão (s) da série 
de valores de um experimento ou pelo respectivo Coeficiente 
de Variação (CV), que é o desvio padrão expresso como 
percentagem da média: 
11
100(%) 
Média
padrãoDesvio
CV
Repetibilidade
• A repetibilidade é definida como grau 
de concordância entre os resultados de 
medições sucessivas de um mesmo 
mensurando efetuadas sob as mesmas 
condições de medição.
7
Repetibilidade
• Condições de Repe: 
– Mesmo procedimento de medição;
– Mesmo analista;
– Mesmo instrumento de medição, utilizado 
nas mesmas
– condições;
– Mesmo local;
– Repetição em curto período de tempo.
Reprodutibilidade
• Reprodutibilidade é o grau de concordância entre os 
resultados das medições de um mesmo mensurando, 
efetuadas sob condições variadas de medição. 
• Reprodutibilidade: associada a comparações 
interlaboratoriais;
• A precisão intermediária, também denominada de 
reprodutibilidade interna ou reprodutibilidade 
intralaboratorial, refere-se à precisão avaliada sobre a 
mesma amostra, amostras idênticas ou padrões, 
utilizando o mesmo método, no mesmo laboratório, mas 
definindo exatamente quais as condições a variar;
8
Reprodutibilidade
• Condições de Repro: 
– Diferentes analistas;
– Diferentes equipamentos;
– Diferentes condições ambientais;
– Etc.
6 7 8 9 10
Preciso, porém 
inexato
Exato e 
preciso
Exato,porém 
impreciso
Inexato e 
Impreciso
Erro 
Sistemático
Erro 
Aleatório + 
Sistemático 
Erro 
Aleatório
9
17
FATORES DE VARIAÇÃO
18
FATORES DE VARIAÇÃO
10
Verificar as Principais Fontes 
de Variação no Processo
• Amostragem e coleta;
• Condições ambientais;
• Equipamentos;
• Manuseio de itens;
• Insumos;
• Materiais de referência;
• Recursos humanos – equipe;
• Métodos de ensaios.
11
21
Como saber qual é o 
melhor analista / operador?
Conceitos Adicionais (VIM):
22
12
Calibração
• Operação que estabelece, sob condições 
especificadas, numa primeira etapa, uma relação 
entre os valores e as incertezas de medição 
fornecidos por padrões e as indicações 
correspondentes com as incertezas associadas; numa 
segunda etapa, utiliza esta informação para 
estabelecer uma relação visando a obtenção dum 
resultado de medição a partir duma indicação. 
• Resultados: Certificado de calibração de um 
equipamento.
23
24
13
Rastreabilidade
• Propriedade dum resultado de medição pela qual tal 
resultado pode ser relacionado a uma referência 
através duma cadeia ininterrupta e documentada de 
calibrações, cada uma contribuindo para a incerteza 
de medição. 
• É visível no certificado de calibração
25
26
14
27
Sistemas de Garantia da Qualidade II - Eng. Filipe Albano, Msc.
28
15
Incerteza de Medição
• Esta estimativa representa um parâmetro associado ao 
resultado de uma medição que caracteriza a dispersão 
dos valores que podem ser fundamentalmente 
atribuídos a um mesmo mensurando. 
• É importante destacar que nenhum resultado está livre 
de dúvidas e que a incerteza é um parâmetro não 
negativo. 
• Possui relação com o Erro Aleatório e não pode ser 
“corrigida”.
29
Sistemas de Garantia da Qualidade II - Eng. Filipe Albano, Msc.
30
16
Ajuste
• Está associado a “compensação do erro sistemático” em 
uma medição;
• O ajuste dum sistema de medição não deve ser 
confundido com calibração, a qual é um pré-requisito 
para o ajuste;
• Após um ajuste dum sistema de medição, tal sistema 
geralmente deve ser recalibrado. 
31
Estudo Prático Repe, Repro e 
Exatidão
17
Critérios:
• Exatidão: ER < |5%|
• Precisão:
– Repe: CV<10%
– Repro: D% <10%
34
18
Exercício:
Padrão 20,2 mg/L de Al
Repetições Equipamento 1 Equipamento 2 Equipamento 3
1 19,3 21,5 22,0
2 19,5 22,1 22,0
3 19,7 19,8 22,0
4 20,1 16,2 22,4
5 19,4 17,2 22,1
19
Estudo de R&R (Diretiva 657)
RR – Diretiva 657
• Aplicado em amostras analisadas 6 vezes em 3 
concentrações diferentes, com pelo menos 2condições variadas ao mesmo tempo;
• Exemplo:
– Condição 1: Operador
– Condição 2: Temperatura
20
OPERADOR A – 25°C
21
Critério para Repe:
Ex:
Conc (g/g) CV (%)
1 0,001 5,656854
1,5 0,0015 5,321948
2 0,002 5,096423
OPERADOR B – 25°C
ANÁLISE DA REPETIBILIDADE
OPERADOR A – 25°C
OPERADOR B – 25°C
22
Critério para Repro:
CV entre as médias dos fatores variáveis < 10%
ANÁLISE DA REPRODUTIBILIDADE
Exercício:
• Avaliar a precisão dos dados no 
exercício da Planilha Excel.
23
Estudo Repe, Repro e 
Exatidão
(Qualitativo)
Lógica da Avaliação
• Análise de resultados de atributos, como 
“presença/ausência” / “quebra/não-quebra”;
• É possível avaliar a confiabilidade dos dados (repe, 
repro, exatidão);
• Critério: 100% de concordância! 
24
“B”
“B”
“B”
“B”
25
Exercício:
49
Amostras Operador 1 Operador 2 Padrão
1 0 1 0
2 1 0 1
3 0 0 1
4 1 1 1
5 1 1 1
6 0 0 0
7 1 1 1
Amostras Operador 1 Operador 2 Padrão
1 1 1 1
2 0 0 0
3 0 0 1
4 0 1 1
5 1 1 1
6 0 0 0
7 1 1 1
Amostras Operador 1 Operador 2 Padrão
1 0 1 0
2 1 0 1
3 1 1 1
4 1 1 0
5 1 1 1
6 0 0 0
7 1 1 0
Rodada 1
Rodada 2
Rodada 3
50
Quando NÃO existe um valor 
padrão estabelecido 
(conhecido)
26
51
Avaliação de Desempenho
via Z - Score
• Avaliação de diferentes equipamentos, 
laboratórios, operadores, analistas, 
métodos, etc;
• É possível avaliar os dados MESMO SEM 
A EXISTÊNCIA DE UM PADRÃO!!
52
Cálculo do Z - Score
• xi é a medida obtida em um ensaio ou medição;
• Val.referência é o valor do padrão , da média ou 
mediana do grupo (entre o fator avaliado);
• S é o desvio padrão das medidas.
s
referênciavalx
Z i
.

27
53
Classificação segundo 
Z – Score (para exatidão)
Se |Z| ≤ 2 = Satisfatório
Se 2 < |Z| < 3 = Questionável
Se |Z| ≥ 3 = Insatisfatório
54
Medidas Robustas:
Mediana e IQN
28
• Mediana é uma medida de tendência central, 
um número que caracteriza as observações de 
uma determinada variável de tal forma que este 
número (a mediana) de um grupo de dados 
ordenados separa a metade inferior da amostra, 
população ou distribuição de probabilidade, da 
metade superior. 
• Mais concretamente, 1/2 da população terá 
valores inferiores ou iguais à mediana e 1/2 da 
população terá valores superiores ou iguais à 
mediana.
55
Mediana
• No caso de dados ordenados de amostras de 
tamanho n:
• se n for ímpar, a mediana será o elemento 
central : 
MED = (n+1) / 2 
• Se n for par, a mediana será o resultado da 
média simples entre os elementos centrais
MED = [ (n) / 2 + (n) / 2 + 1] / 2
56
Mediana
29
IQN 
(Amplitude Interquartílica Normalizada)
57
IQ = 3°Q – 1°Q IQN = IQ*0,7413
Para avaliar a exatidão:
Z = indice que irá avaliar a exatidão
Mediana = Mediana das médias dos fatores avaliados (lab, 
equipamento, etc)
IQN = Amplitude Interquatílica Normalizada das médias dos 
fatores avaliados (lab, equipamento, etc) 
58
IQN
medianax
Z i


30
59
Z – Score (para exatidão)
Se |Z| ≤ 2 = Satisfatório
Se 2 < |Z| < 3 = Questionável
Se |Z| ≥ 3 = Insatisfatório
60
Avaliação da Dispersão 
(Repetibilidade)
)2(
_
raiz
viasAmplitude
D 
D = amplitude padronizada
Zint = índice que irá avaliar a precisão entre as repetições
Mediana (D) = Mediana das amplitudes padronizadas das vias
IQN (D) = Amplitude Interquartílica Normalizada das amplitudes 
normalizadas dos fatores avaliados (lab, equipam, etc)
)(
)(
int
DIQN
DmedianaD
Z i


31
61
Z – Score 
(para repetibilidade)
Se Z ≤ 2 = Satisfatório
Se 2 < Z < 3 = Questionável
Se Z ≥ 3 = Insatisfatório
(interpretar sem módulo!)
62
Avaliação da Dispersão 
(Reprodutibilidade)
• Coeficiente de Variação do Grupo (CV)
CV = (IQN / Mediana)*100%
Ideal: CV grupo < 30%
32
Desempenho dos Equipamentos
(revisado)
63
Equip. 1ª via 2ª via 3ª via
Média das 
3 vias
Amplitude 
Padronizada
Z Score 
interno 
(Precisão)
Z Score 
da Média 
(Exatidão)
A 3,790 4,060 4,060 3,970 0,191 0,363 1,411
B 3,760 3,820 3,780 3,787 0,042 -0,726 0,558
C 4,800 3,800 3,990 4,197 0,707 4,151 2,465
D 3,560 3,580 3,860 3,667 0,212 0,519 0,000
E 3,830 3,690 3,750 3,757 0,099 -0,311 0,419
F 5,500 5,600 5,400 5,500 0,141 0,000 8,528
G 3,590 3,590 3,580 3,587 0,007 -0,986 -0,372
H 3,900 3,660 2,900 3,487 0,707 4,151 -0,837
I 3,590 3,600 3,580 3,590 0,014 -0,934 -0,357
J 3,600 3,600 3,590 3,597 0,007 -0,986 -0,326
K 1,400 1,100 1,200 1,233 0,212 0,519 -11,319
64
Valor Alvo
Variabilidade 
Alvo 
Parâmetros Estatísticos:
3,667 unidade
3,588 -
3,878 -
0,215 -
5,863 %
0,1414 unidade
0,0283 -
0,2121 -
0,1363 -
Para avaliação da Exatidão
Para avaliação da Repetibilidade
Mediana das amplitudes
1Q
3Q
IQN
Mediana das médias
1Q
3Q
IQN
CV do grupo
33
ANÁLISE:
• Equipamentos F e K com exatidão insatisfatória.
• Equipamento C com exatidão questionável.
• Equipamentos C e H com repetibilidade 
insatisfatória.
• Caso seja permitido ajuste nos equipamentos, 
recomenda-se ajustar os equipamentos F e K.
• Os demais estão dentro de padrões adequados.
• O grupo apresenta boa reprodutibilidade, uma vez 
que o CV geral é < 30%.
65
66
Gráfico Escore Z
 
Escore Z da Média - Determinação de Cloreto (mg de Cl- /L)
-4
-3
-2
-1
0
1
2
3
4
Cro
01
Cro
03
Cro
17
Cro
12
Cro
02
Cro
09
Cro
10
Cro
13
Cro
06
Cro
25
Cro
19
Cro
07
Cro
21
Cro
11
Cro
05
Cro
16
Cro
26
Cro
14
Cro
04
Cro
08
Cro
24
Cro
23
Cro
22
Cro
20
Código dos Laboratórios
Z E
sco
re
34
67
Exercício
LAB 1° VIA 2° VIA 3° VIA
lab 1 20 21 22
lab 2 12 11 13
lab 3 20 20 21
lab 4 23 20 25
lab 5 15 16 17
lab 6 20 21 25
lab 7 30 25 20
lab 8 23 24 22
lab 9 32 33 34
35
Dados:
• 1° Quartil das médias: 20,33
• 3° Quartil das médias: 23,00
• 1° Quartil das amplitudes padronizadas: 1,41
• 3° Quartil das amplitudes padronizadas: 3,53
68
35
69
Medidas Robustas:
Média Robusta e Desvio Robusto
Média e desvio Robusto
• Médias sem influência de outliers (valores 
dispersos)
• Desvio-padrão sem influência de outliers.
70
36
71
Média e desvio robusto
Teste de Outliers:
• Teste de Grubbs
• Distribuição normal;
1) Calcular a diferença (em módulo) ‘di’ de cada 
ponto em relação à média
2) Calcular o desvio-padrão s
3) Calcular G=di/s
4) Um valor é considerado como outlier quando G 
é maior do que o valor crítico correspondente na 
tabela.
72
37
73
Fonte: http://www.estv.ipv.pt/PaginasPessoais/psarabando/
74
38
75
Fazer o teste de Grubbs 
para os dados ‘x’ da tabela
76
APLICAR GRUBBS
LAB 1° VIA 2° VIA 3° VIA MÉDIA
LAB 1 20 21 22 21,0
LAB 2 20 22 21 21,0
LAB 3 23 24 23 23,3
LAB 4 23 20 25 22,7
LAB 5 15 16 17 16,0
LAB 6 20 21 25 22,0
LAB 7 30 25 20 25,0
LAB 8 23 24 22 23,0
LAB 9 23 22 24 23,0
LAB 10 22 21 22 21,7
39
77
LAB 1° VIA 2° VIA 3° VIA MEDIA DIF GRUBBS
LAB 1 20 21 22 21,0 0,867 0,364
LAB 2 20 22 21 21,0 0,867 0,364
LAB 3 23 24 23 23,3 1,467 0,615
LAB 4 23 20 25 22,7 0,800 0,336
LAB 5 15 16 17 16,0 5,867 2,461
LAB 6 20 21 25 22,0 0,133 0,056
LAB 7 30 25 20 25,0 3,133 1,314
LAB 8 23 24 22 23,0 1,133 0,475
LAB 9 23 22 24 23,0 1,133 0,475
LAB 10 22 21 22 21,7 0,200 0,084
MÉDIA 21,87
DESVIO2,38
CV 10,9%
GRUBBS 
TABELADO
2,29
TESTE DE GRUBBS
78
EXCLUIR OUTLIER REFAZER OS CÁLCULOS!
VALORES DA MÉDIA E DESVIO ROBUSTO – SEM OUTLIER
LAB 1° VIA 2° VIA 3° VIA MEDIA CV ZSCORE
LAB 1 20 21 22 21,0 4,8% -1,20
LAB 2 20 22 21 21,0 4,8% -1,20
LAB 3 23 24 23 23,3 2,5% 0,64
LAB 4 23 20 25 22,7 11,1% 0,12
LAB 5 15 16 17 16,0 6,3% -5,13
LAB 6 20 21 25 22,0 12,0% -0,41
LAB 7 30 25 20 25,0 20,0% 1,95
LAB 8 23 24 22 23,0 4,3% 0,38
LAB 9 23 22 24 23,0 4,3% 0,38
LAB 10 22 21 22 21,7 2,7% -0,67
MÉDIA robusta 22,52
DESVIO robusto 1,27
CV 5,6%
GRUBBS 
TABELADO
2,29
40
79
CALCULAR Z-SCORE E CV INTERNO
LAB 1° VIA 2° VIA 3° VIA MEDIA CV ZSCORE
LAB 1 20 21 22 21,0 4,8% -1,20
LAB 2 20 22 21 21,0 4,8% -1,20
LAB 3 23 24 23 23,3 2,5% 0,64
LAB 4 23 20 25 22,7 11,1% 0,12
LAB 5 15 16 17 16,0 6,3% -5,13 **
LAB 6 20 21 25 22,0 12,0% -0,41
LAB 7 30 25 20 25,0 20,0% 1,95
LAB 8 23 24 22 23,0 4,3% 0,38
LAB 9 23 22 24 23,0 4,3% 0,38
LAB 10 22 21 22 21,7 2,7% -0,67
MÉDIA robusta 22,52
DESVIO robusto 1,27
CV 5,6%
GRUBBS 
TABELADO
2,29
CV interno (%) = (desvio das repetições / média) x 100
80
Se |Z| ≤ 2 = Satisfatório
Se 2 < |Z| < 3 = Questionável
Se |Z| ≥ 3 = Insatisfatório
INTERPRETAR TESTE DE ACORDO 
COM RESULTADOS OBTIDOS
• Avaliar Repetitividade (CV interno)
• Avaliar Reprodutibilidade (CV do Grupo)
•Avaliar Exatidão (z-score)
41
81
Piores Laboratórios: 4, 5, 6, 7
Melhor Repe = LAB 3
Pior Repe = LAB 7
Melhor Exatidão = LAB 4
Pior Exatidão = LAB 5
Concordância do Grupo = 5,6% (repro ok)
LAB 1° VIA 2° VIA 3° VIA MEDIA CV ZSCORE
LAB 1 20 21 22 21,0 4,8% -1,20
LAB 2 20 22 21 21,0 4,8% -1,20
LAB 3 23 24 23 23,3 2,5% 0,64
LAB 4 23 20 25 22,7 11,1% 0,12
LAB 5 15 16 17 16,0 6,3% -5,13 **
LAB 6 20 21 25 22,0 12,0% -0,41
LAB 7 30 25 20 25,0 20,0% 1,95
LAB 8 23 24 22 23,0 4,3% 0,38
LAB 9 23 22 24 23,0 4,3% 0,38
LAB 10 22 21 22 21,7 2,7% -0,67
MÉDIA robusta 22,52
DESVIO robusto 1,27
CV 5,6%
GRUBBS 
TABELADO
2,29
82
Exercício
• Para os dados abaixo avalie o desempenho dos diferentes analistas nos 
ensaios de açucares em vinhos (g/kg). Utilize a média e o desvio robusto 
e calcule o z-score. Apresente a interpretação dos dados.
Analista 1° 2° 3°
Analista 1 32,5 31,5 33,1
Analista 2 32,4 34,2 33,4
Analista 3 42,2 41,6 47,8
Analista 4 32,5 42,1 30,5
Analista 5 17,5 18,9 18,6
Analista 6 33,2 32,5 31,5
Analista 7 33,4 32,4 34,2
Analista 8 32,1 32,2 32,1
Analista 9 39,5 38,7 41,2
Analista 10 32,4 32,5 31,5
Analista 11 34,5 32,4 34,2