Buscar

Aula controle de qualidade - 3 Slides por folha

Faça como milhares de estudantes: teste grátis o Passei Direto

Esse e outros conteúdos desbloqueados

16 milhões de materiais de várias disciplinas

Impressão de materiais

Agora você pode testar o

Passei Direto grátis

Você também pode ser Premium ajudando estudantes

Faça como milhares de estudantes: teste grátis o Passei Direto

Esse e outros conteúdos desbloqueados

16 milhões de materiais de várias disciplinas

Impressão de materiais

Agora você pode testar o

Passei Direto grátis

Você também pode ser Premium ajudando estudantes

Faça como milhares de estudantes: teste grátis o Passei Direto

Esse e outros conteúdos desbloqueados

16 milhões de materiais de várias disciplinas

Impressão de materiais

Agora você pode testar o

Passei Direto grátis

Você também pode ser Premium ajudando estudantes
Você viu 3, do total de 45 páginas

Faça como milhares de estudantes: teste grátis o Passei Direto

Esse e outros conteúdos desbloqueados

16 milhões de materiais de várias disciplinas

Impressão de materiais

Agora você pode testar o

Passei Direto grátis

Você também pode ser Premium ajudando estudantes

Faça como milhares de estudantes: teste grátis o Passei Direto

Esse e outros conteúdos desbloqueados

16 milhões de materiais de várias disciplinas

Impressão de materiais

Agora você pode testar o

Passei Direto grátis

Você também pode ser Premium ajudando estudantes

Faça como milhares de estudantes: teste grátis o Passei Direto

Esse e outros conteúdos desbloqueados

16 milhões de materiais de várias disciplinas

Impressão de materiais

Agora você pode testar o

Passei Direto grátis

Você também pode ser Premium ajudando estudantes
Você viu 6, do total de 45 páginas

Faça como milhares de estudantes: teste grátis o Passei Direto

Esse e outros conteúdos desbloqueados

16 milhões de materiais de várias disciplinas

Impressão de materiais

Agora você pode testar o

Passei Direto grátis

Você também pode ser Premium ajudando estudantes

Faça como milhares de estudantes: teste grátis o Passei Direto

Esse e outros conteúdos desbloqueados

16 milhões de materiais de várias disciplinas

Impressão de materiais

Agora você pode testar o

Passei Direto grátis

Você também pode ser Premium ajudando estudantes

Faça como milhares de estudantes: teste grátis o Passei Direto

Esse e outros conteúdos desbloqueados

16 milhões de materiais de várias disciplinas

Impressão de materiais

Agora você pode testar o

Passei Direto grátis

Você também pode ser Premium ajudando estudantes
Você viu 9, do total de 45 páginas

Faça como milhares de estudantes: teste grátis o Passei Direto

Esse e outros conteúdos desbloqueados

16 milhões de materiais de várias disciplinas

Impressão de materiais

Agora você pode testar o

Passei Direto grátis

Você também pode ser Premium ajudando estudantes

Prévia do material em texto

Como implantar o 
Controle Interno da 
Qualidade no Laboratório 
Clínico
• DR. ANDRÉ VALPASSOS PACIFICI GUIMARÃES
• DR. JUNO DAMASCENO
1
Procedimentos de Controle de Qualidade 
em Laboratórios
� Controle para Assegurar a Qualidade
SGQ, ISO, Boas Práticas, Acreditação (Sistema 
Nacional de Acreditação - DICQ)
 
� Controle de Qualidade Interno
Material referência para Controle Interno 
� Controle de Qualidade Externo
Participação em Programas de Avaliação Externa 
(Programa Nacional de Controle de Qualidade – PNCQ)
2
Pré-Analítica Analítica Pós-AnalíticaCliente Laudo
Controle de
Qualidade
Interno
Controle de Qualidade Externo
Sistema de Garantia da Qualidade
LABORATÓRIO CLÍNICO: FASES
3
 
Controle Interno da Qualidade
� Porque?
 Qual o motivo de realizar o controle 
interno da Qualidade? 
� Para que?
 Quais os benefícios para o laboratório 
em realizar o Controle Interno da 
Qualidade
4
Controle Interno da Qualidade
� Para obter bons resultados laboratoriais e de 
qualidade para os clientes
� Para obter o Gerenciamento Global do Laboratório 
e sistemas analíticos
� Ética – Dedicação ao CIQ
� Profissionalismo – assegurar a qualidade da 
informação que entrega (laudo)
� Avanço tecnológico e estatístico favorece a 
implantação do CI.
� Acreditação – Reconhecimento formal por uma 
organização independente e especializada em 
normas técnicas
5
Controle Interno da Qualidade
� A qualidade em termos quantitativos, é a 
aplicação do CIQ do Controle Estatístico dos 
Processos.
 “ Para que um processo seja previsível é 
necessário que ele esteja sob controle 
estatístico.” MCC Werkema
6
 
Controle Interno da Qualidade
Planejamento
� Estabeleça as bases do Controle Interno 
� Pessoal: Treinamento / Atualização
� Coleta / Recebimento de amostras
� Fornecedores: Reativos / equipamentos
� Calibração / Validação
� Assistência técnica / Manutenção
� Interpretação dos resultados
� Transcrição dos resultados
� Controle de Qualidade Interno
� Controle de Qualidade Externo
7
Exame clínico
`
Pedido de exame
Preparo do paciente
Obtenção da amostra
Procedimento de medição 
Procedimento pós-analítico
Resultado
Avaliação médica do resultado 
 
 Pré-analítico
 Pós-analítico
Frequência
de erros
~60 - 70%
~20 - 30%
~10%
Analítico
8
• Garantir que os resultados de exames não 
contenham erros de importância médica.
• Assegurar que todas as etapas do ciclo do exame 
sejam cumpridas de modo a não adicionar erros 
significativos nos resultados.
9
 
• O objetivo do controle dessa fase é garantir que as amostras e 
os materiais biológicos mantenham a integridade de 
composição e funcionalidade;
• A maioria dos erros pré-analíticos não são percebidos ou são 
negligenciados na avaliação ou interpretação dos resultados de 
laboratório. 
10
• Não existem meios físicos para controlar os efeitos pré-analíticos 
como existem materiais de controle para a fase analítica;
• Para realizar esse controle deve-se basear em educação, 
treinamento de pessoal, padronização dos procedimentos e 
registro das atividades;
• Para avaliar o resultado das ações de controle pré-analítico, o 
estado da qualidade e as oportunidades de melhoria, deve-se criar 
e utilizar indicadores de desempenho; 
11
• A disponibilidade de pessoal qualificado é essencial;
• Base educacional, experiência e treinamento no trabalho 
para manter a capacitação e o aprendizado em normas de 
conduta ética e profissional;
• O treinamento no trabalho deve capacitar, instilar metas de 
qualidade, implementar procedimentos de CQ e promover 
desenvolvimento continuado.
12
 
• A qualidade é conseguida com a utilização de 
procedimentos técnicos eficazes e eficientes;
• Um conjunto de procedimentos para controle das 
condições e variáveis pré-analíticas serão 
discutidos. 
13
• Mecanismos de estudo de causas e solução de erros é 
rigorosamente necessário e muitas vezes negligenciado;
• O mecanismo cria uma ligação entre a identificação do erro e 
sua solução ou remoção e caracteriza resposta ao erro; 
• Deve-se aperfeiçoar continuamente as capacidades de 
identificação e exclusão das causas de erros. 
14
Diagrama de Ishikawa
Cadastro de 
Pacientes
Amostra
SILFuncionário
15
 
• Inclui as etapas compreendidas entre o pedido médico e a 
fase instrumental da realização do exame de laboratório;
• Estão incluídos o preparo do paciente e a coleta, preparo, 
distribuição e armazenamento da amostra. 
16
• Escolha incorreta do teste de laboratório
• Escrita ilegível
• Identificação incorreta do paciente (internado)
• Falta de especificação dos requisitos essenciais
• Pedido em tempo inadequado
• Pedido de custo elevado
• Admite-se que pode introduzir ~13% de erro
Pedido médico
Fase prepré-analítica
17
Preparo do paciente
Fatores a considerar
• As orientações de preparo deveriam estar a cargo do 
médico assistente que deveria conhecer alguns 
procedimentos básicos do laboratório;
• Entretanto, essas ações não são executadas pelo 
médico e devem ser realizadas pelo laboratório;
• É desejável que o médico assistente recomende ao 
paciente que faça contato prévio antes de colher 
qualquer material ou se dirigir ao laboratório para 
coleta da amostra.
18
 
Preparo do paciente
Fatores a considerar
URINA JATO MÉDIO
É recomendável a primeira urina da manhã, sempre que possível. 
Não aumentar a ingestão de líquidos. Havendo suspeita clínica de 
infecção urinária aguda, a urina poderá ser coletada e processada em 
qualquer horário. Em pacientes assintomáticos, coletar 3 amostras em 
dias consecutivos.
PREPARO: 
O ideal é coletar a urina antes do uso de antimicrobianos. Fazer a 
higiene da região genital com água e sabão neutro. Não usar anti-
sépticos. Enxugar com toalha limpa ou gaze.
COLETA: 
MULHERES - Sentar no vaso sanitário com as pernas afastadas, 
destampar o frasco estéril. Com uma das mãos, afastar os grandes 
lábios e com a outra segurar o frasco já destampado. Desprezar o 
primeiro jato de urina. Coletar a porção média no frasco estéril, 
urinando em jato para que a urina não escorra na região genital. 
Tampar o frasco imediatamente. Desprezar o restante da micção.
HOMENS - Destampar o frasco estéril. Retrair o prepúcio com uma 
das mãos e coma outra segurar o frasco, já destampado. Desprezar o 
primeiro jato de urina. Coletar a porção média no frasco estéril. 
Tampar o frasco imediatamente. Desprezar o restante da micção.
19
Preparo do paciente
Fatores a considerar
PSA Total
Condição de Coleta:
Jejum de 4 horas. 
Evitar exercícios físicos antes da coleta 
Manter abstinência sexual por 48h antes da coleta. 
A coleta só deverá ser realizada 72h após exame de toque retal, 
ultrasonografia transretal ou 30 dias após biópsia de próstata.
Colesterol Total
Condição de Coleta:
Jejum de 12 horas. Preconiza-se uma dieta estável por 3 semanas.
20
Preparo do paciente
Exercício físico
• Exercícios de longa duração produzem aumento das 
enzimas musculares como CK, Aldolase, AST e LDH;
• Exercícios de longo prazo produzem modificações em 
aldosterona, androstenediona, cortisol, estradiol, hGH, 
HDL, LH, prolactina, proteína total, testosterona, T3 
livre, T4 livre e outros.
21
 
Preparo do paciente 
Jejum Prolongado
• Maior que 24 horas
– elevação da bilirrubina;
• Maior que 72 horas
– redução da glicemia;
– aumento de triglicérides, glicerol livre e ácidos graxos livres, sem 
alteração significativa do colesterol;
• É recomendável jejum de 8 - 12 horas como 
procedimento padrão. A coleta pela manhã reduz a 
variação biológica. 
22
Preparo do paciente 
Dieta
• As alterações nas concentrações dos analitos, dependem da 
qualidade e quantidade do alimento e do tempo em relação à 
colheita;
• Pode produzir aumento de triglicérides, potássio e fosfatase 
alcalina e redução do Ca ionizado;
• Dieta hiperprotéica aumenta uréia, amônia e ácido úrico, 
−sem alterar a creatinina (urina );
• Dieta rica em purinas aumenta ácido úrico;
23
Preparo do pacienteDieta
Pesquisa de Sangue Oculto
Dieta:
Deve se evitar por 3 dias: carnes, ovos, legumes coloridos, bertalha, 
espinafre e banana.
Coleta:
Coleta: No quarto dia mantendo a dieta, coletar uma amostra de fezes 
em recipiente apropriado e enviar ao SF. Nota: não coletar fezes 
durante a menstruação ou quando houver sangramento local. 
Obs.: nas suspeitas de sangramento devem ser examinadas pelo 
menos 3 amostras de fezes.
Medicamentos à base de ferro podem dar resultados falsos-positivos.
24
 
Protocolos de preparo
• É fundamental estabelecer protocolos de preparo do 
paciente com divulgação de orientações claras para 
médicos e pacientes;
• Definir procedimentos de verificação da adequação ao 
preparo;
• Deve-se registrar todas as observações de verificação 
da adequação ao preparo - Indicador 
25
Coleta e obtenção da amostra
• Erros de identificação e coleta
• Local da coleta
• Contaminação
• Anticoagulantes e preservativos
• FUNDAMENTAL: Identificação Positiva 
 (confirmar sempre o nome do paciente no momento da coleta)
26
Erros de Identificação da amostra
• O responsável pela coleta ou recepção da amostra deve 
assegurar que o paciente correto está contribuindo com 
a amostra apropriada;
• Confirmar o nome do paciente com a requisição de 
coleta e as etiquetas de identificação;
• Certificar que os tubos ou recipientes de amostra 
estejam corretamente identificados;
• Indicador
27
 
Evitando erros de coleta
• As instruções de coleta devem ser escritas em 
linguagem simples e clara para o paciente;
• Somente instruções muito simples podem ser 
transmitidas de forma oral;
• Mesmo nas instruções simples deve-se certificar que o 
paciente entende claramente e é capaz de seguir 
corretamente.
• O local de punção venosa deve ser distal ao ponto de 
entrada de soluções endovenosas e, quando não for 
possível, o torniquete deve ser colocado entre os dois 
pontos.
 28
Coleta da amostra
Evitando contaminações 
• Deve-se certificar de que os recipientes de amostra 
não introduzem contaminações capazes de produzir 
erros importantes;
• Detergentes e tampas ou frascos de vidro podem 
modificar os analitos de modo imprevisível;
• Preservativo para amostras de urina deve ser 
selecionado para não conter interferentes ou não 
modificar a concentração do analito.
29
Coleta da amostra
Efeito do torniquete
• A aplicação de torniquete e ação de ordenha pode produzir 
resultados variáveis;
• Torniquete prolongado produz aumento de proteínas, enzimas 
e analitos ligados às proteínas como colesterol, cálcio, ferro e 
triglicérides;
30
 
Efeitos da estase venosa provocada por 
garroteamento prolongado 
Adaptado de Clin Chem Lab Med 2005;43:869-875
Clique para editar os estilos do texto mestre
Segundo nível
Terceiro nível
Quarto nível
Quinto nível
31
Coleta da amostra
Anticoagulantes e preservativos
• EDTA e citrato reduzem valores do cálcio e magnésio. 
Podem também se ligar ao cálcio ou magnésio necessários 
para ativar as enzimas em reagentes;
• Sais de sódio e potássio em heparina, EDTA, citrato e 
fluoreto produzem resultados falsamente elevados por 
contaminação ou quelação;
• Fluoreto pode inibir urease e glicose oxidase, diminuir a 
atividade da fosfatase ácida e aumentar a atividade da 
amilase;
• Ordem de colheita com tubos a vácuo: soro, citrato, 
heparina, EDTA e fluoreto. ???
32
Coleta da amostra
Anticoagulantes e preservativos 
• Independente do sistema usado, todos os tubos contendo 
anticoagulante devem ser suavemente invertidos 5 a 10x para 
misturar o conteúdo, exceto citrato que deve invertido 3 a 4x;
• Entretanto, deve-se seguir as recomendações do fabricante do 
material de colheita, que pode sugerir procedimentos 
diferentes.
33
 
Transporte da amostra
• As amostras devem ser transportadas para a área de 
processamento o mais rápido possível, para prevenir 
deterioração de analitos por efeito de temperatura elevada;
• Os tubos devem ser mantidos na posição vertical e 
manuseados suavemente para prevenir hemólise;
34
Transporte da amostra
35
Processamento da amostra
• A menos que evidências conclusivas indiquem que longos 
contatos do plasma ou soro com as células não contribuem 
para modificações importantes, o plasma ou soro devem ser 
fisicamente separados das células o mais rápido possível;
• É recomendado respeitar o limite máximo de 2 horas a 
partir da hora da coleta. 
36
 
Processamento da amostra
• Analitos não afetados por contato do soro com as células até 
48 horas: ácido úrico, albumina, ALT, bilirrubina, cálcio, 
colesterol, CK, creatinina, fosfatase alcalina, fósforo, 
magnésio, proteínas, sódio, triglicérides, T3, T4, uréia;
• Analitos afetados por contato do soro com as células até 2 
−− −− ¯ −horas: cálcio ionizado , fósforo , glicose , LDH , 
−potássio ;
• −Contato até 8 horas: ferro ;
• −Contato 12 horas: frutosamina .
37
Processamento da amostra
• Obtenção de soro: as amostras devem estar coaguladas 
antes de centrifugar. Coagulação espontânea ocorre após 
30 a 60 minutos (22-25°C); Não acelerar a coagulação 
com aquecimento a 37°C;
• O resfriamento aumenta o tempo necessário para se obter 
a coagulação completa;
• Quando a coagulação é incompleta, pode ocorrer 
hemólise e/ou formação latente de fibrina, capazes de 
gerar erros. 
38
Critérios de rejeição da amostra 
• O laboratório deve definir critérios de rejeição de 
amostras incluindo no mínimo:
� identificação incorreta ou incompleta;
� tubo de coleta incorreto; 
� ordem incorreta de coleta; 
� volume inadequado;
� hemólise; 
� armazenamento ou transporte incorreto 
39
 
Causas de hemólise em amostras
• Aspiração do álcool utilizado para assepsia; 
• Seringa contendo umidade;
• Agulha de fino calibre;
• Aspiração forçada do sangue;
• Transferência forçada do sangue para o tubo;
• Agitação vigorosa do tubo com a amostra;
• Centrifugação antes que coagulação se complete;
• Centrifugação em velocidade elevada por longo tempo;
• Exposição da amostra a temperaturas extremas;
 
40
Efeitos da hemólise
Os efeitos são dependentes da quantidade de células 
lisadas e hemoglobina liberada, especificidade do sistema 
analítico e são provocados por:
• Liberação da hemoglobina e componentes celulares com efeitos de 
diluição ou elevação na concentração de analitos;
• Interferência química da hemoglobina na reação;
• Interferência fotométrica com mudanças no branco da amostra e nas 
medições em 340, 415, 540 e 570 nm;
41
Gestão do tempo na fase pré-analítica
• A fase pré-analítica requer mais tempo que a fase 
analítica e os tempos devem ser documentados e 
controlados para gerar indicadores:
– hora exata do cadastramento;
– hora da coleta;
– hora exata da chegada da amostra no Laboratório;
– tempo pré-analítico fora do Laboratório;
– tempo pré-analítico no Laboratório;
42
 
Amostra presente de grego
Variação biológica +
Efeitos do ambiente
Erros de identificação
Preparo incorreto
Recipiente incorreto
Erros de coleta
Hemólise
Coágulo
Transporte incorreto
Armazenamento
O laboratório deve evitar acrescentar variabilidades além da 
biológica, que não pode ser excluída.
43
Indicadores da fase pré-analítica 
• O laboratório deve desenvolver indicadores para estimar a qualidade da fase 
pré-analítica e identificar as oportunidades de melhoria;
• Lembrar que: tudo que pode ser medido pode ser melhorado.
• Exemplo de indicadores: tempo de atendimento ao cliente, erros de cadastro, 
tempo entre cadastramento e coleta, amostras com identificação inadequada, 
amostras com hemólise, amostras coaguladas na hematologia e coagulação, 
amostras contaminadas em culturas, erros no processamento e armazenamento 
de amostras;
• Intervir preferencialmente nas causas que provocam o maior percentual de 
erros.
44
Indicadores da fase pré-analítica
Especificações da qualidade
• Os sistemas de gestão da qualidade devem cobrir todo o 
ciclo do exame no laboratorio clínico;
• Carmen Ricós identificou os indicadores dos processosextra-analíticos (pré e pós analíticos) para criar as 
especificações ou limites da qualidade
45
 
Controle Interno da Qualidade
Planejamento
� Controle de Qualidade Interno
- Defina quais analitos que deseja 
controlar
- Equipamentos em que são executados
- Faça uma lista dos analitos
- Identifique as metodologias a serem 
utilizadas
- Selecione as Regras de Controle 
apropriadas (sinais de alerta)
 
46
Controle Interno da Qualidade
Elementos Fundamentais
� Parâmetros
� Média Aritmética
� Desvio Padrão 
� Coeficiente de Variação 
47
Controle Interno da Qualidade
Dispersão – Imprecisão aumentada e Inexatidão 
Alvo
Gráfico de Levey Jennigs
Curva de Gauss
48
 
Controle Interno da Qualidade
Dispersão – Imprecisão aumentada e Inexatidão 
Alvo
Gráfico de Levey Jennigs
Curva de Gauss
49
Controle Interno da Qualidade
Dispersão – Imprecisão controlada e Inexatidão 
Alvo
Gráfico de Levey Jennigs
Curva de Gauss
50
Controle Interno da Qualidade
Dispersão – Imprecisão controlada e Exatidão 
Alvo
Gráfico de Levey Jennigs
Curva de Gauss
51
 
Controle Interno da Qualidade
Elementos Fundamentais
� Média Aritmética 
 
� Medida de tendência 
central
� Sua variações 
refletem erros 
sistemáticos 
� Média = Σ xi
 n
Equip 1 Glicose Equip 2
179 1 185
175 2 165
174 3 170
180 4 177
175 5 181
178 6 163
177 7 190
180 8 169
174 9 170
176 10 189
181 11 192
173 12 160
175 13 166
180 14 175
178 15 167
173 16 191
176 17 187
180 18 177
176 19 180
177 20 183
176,85 Média 176,85
 Média = Σ xi
 n
52
Controle Interno da Qualidade
� Média
Média Xm = 176,8 mg/dL 
53
Controle Interno da Qualidade
� Desvio Padrão
 
 Medida de variabilidade / dispersão
 É igual a raiz quadrada da variância
 Reflete a variabilidade da série de dados 
 Relaciona-se aos erros aleatórios do CIQ
 
DP = √ Σ (xi-xm)2
 n - 1
54
 
Controle Interno da Qualidade
� Desvio Padrão
DP equipamento 1 = 2,61 DP equipamento 2 = 10,1 
55
Controle Interno da Qualidade
� Coeficiente de Variação
 
 É a razão do desvio padrão pela média
 É o DP como porcentagem de média
 É uma estimativa melhor do desempenho 
do método para diferentes concentrações
 
 
 CV = DP x 100
 Xm
56
Controle Interno da Qualidade
� Coeficiente de Variação
CV equipamento 1 = 1,48 CV equipamento 2 = 5,76 
57
 
Controle Interno da Qualidade
Organize os materiais
� Identifique o fornecedor de materiais de 
controle interno dos analitos listados em 
seu planejamento
� Uso de controles alternativos
� Estime seu consumo e planeje sua 
aquisição
58
Controle Interno da Qualidade
 Adquira os materiais
� Utilize preferencialmente de 2 a 3 Níveis 
de Controle
� Não esqueça a viabilidade (custo 
benefício)
� Materiais liofilizados apresentam 
melhores estabilidades
59
Controle Interno da Qualidade
 Analise a bula do material
� Implantação do controle interno
� Verificação dos valores para cada Nível 
indicado na bula
� Valores de referência
� Metodologia
� Verificação da estabilidade e 
armazenamento
 
60
 
Controle Interno da Qualidade
 Use dos Controles 
� Utilize os controles antes do início da rotina
� As 20 primeiras corridas são consideradas fase 
de preparo
� Avalie os resultados
� Nessa fase serão determinados os valores de 
Xm e DP para serem usadas na próxima etapa
61
Controle Interno da Qualidade
 Ativar o Controle 
� Mantenha a introdução diária de resultados
� Ative os controles para usar os seus 
próprios valores de Xm e DP
� Nessa fase serão testadas as regras 
múltiplas estabelecidas
62
Controle Interno da Qualidade
 Recomendações 
O que não deve ser feito em controle interno da qualidade?
1. Usar a média e os limites das amostras-
controle do fabricante ou do PNCQ;
3. Trocar continuamente de marcas de reagentes;
5. Somente repetir o controle, e não avaliar as causas que determinaram 
a não-conformidae;
4. Usar o controle interno como calibrador.
63
 
Controle Interno da Qualidade
 Recomendações 
Boas práticas de controle interno da qualidade:
1. Calcular suas próprias médias e desvios padrão;
2. Definir os seus limites de variabilidade;
3. Manter a estabilidade dos reagentes, a manutenção preventiva 
dos equipamentos e o treinamento do operador;
4. Rejeitar as corridas fora de controle, identificar o erro e 
eliminar sua causa.
64
Controle Interno da Qualidade
 Recomendações 
Como tratar as não-conformidades:
Identificar as causas;
Aplicar ações corretivas;
Aplicar ações preventivas;
Avaliar a eficácia destas ações;
Registrar tudo = Prover rastreabilidade.
65
Regras Multiplas
� Mantenha a introdução diária de resultados
� Ative os controles para usar os seus 
próprios valores de Xm e DP
� Nessa fase serão testadas as regras 
múltiplas estabelecidas
66
 
O que são as Regras Multiplas?
Primeiramente, uma descrição não-técnica:
James O. Westgard
“Quando minha filha Kristin era jovem e morava conosco, ela gostava 
de ir às festas. Um dia quando ela me contou que pretendia sair e 
voltar tarde mais uma vez, eu senti a necessidade de exercer um 
certo controle paterno sobre suas horas. Então disse-lhe que, se 
voltasse uma vez após às três horas (13s), duas vezes após às duas 
horas (22s) ou quatro vezes após uma hora (41s), ela estaria em 
apuros. Isto é uma regra múltipla de controle.”
67
O QUE SÃO A REGRAS MÚLTIPLAS
13s- Regra de controle comumente utilizada com um gráfico de Levey-Jennings. 
A corrida é rejeitada quando quando uma unica medição de controle excede um 
dos limites.
68
O QUE SÃO A REGRAS MÚLTIPLAS
12s- Utilizada como uma regra de alerta. Deve-se acionar uma inspeção cuidadosa 
dos dados de controle por meio das seguintes regras de rejeição: 22s; R4s; 41s; 
10x
69
 
O QUE SÃO A REGRAS MÚLTIPLAS
22s- Rejeita-se quanto 2 medições de controle consecutivas excederem o mesmo 
limite de controle 2DP
70
O QUE SÃO A REGRAS MÚLTIPLAS
R4s- Rejeita-se quando uma medição de controle exceder o limite de controle em 
+2DP e a outra -2DP em uma mesma corrida formando um espaço de 4DP entre as 
duas medições.
71
O QUE SÃO A REGRAS MÚLTIPLAS
41s- Rejeita-se quando quatro medições de controle consecutivas excederem o 
mesmo limite de 1DP.
72
 
O QUE SÃO A REGRAS MÚLTIPLAS
10x- Rejeita-se dez medições de controle consecutivas estiverem no mesmo lado 
em relação a média.
73
O que são as Regras Múltiplas?
74
O que são as Regras Múltiplas?
- Regras múltiplas apresentam uma baixa taxa de 
falsa rejeição, em torno de 1% com N de 2-4.
- Taxa alta de identificação de erros.
75
 
O que Fazer e Não Fazer do Controle de 
Qualidade
O que NÃO FAZER:
- Não use o limite de 2 DP
Também conhecido como 12s . Esta prática é conhecida por ter um alto nivel de falsas 
rejeições. Pode causar de 10 a 20 % de desperdício de recursos do laboratório.
Os softwares dos equipamentos trabalham em 2 DP, certamente para o fabricante será 
melhor.
76
O que Fazer e Não Fazer do Controle de 
Qualidade
O que NÃO FAZER:
- Não repita os controles simplesmente
- Não utilize as mesmas regras de controle para todos os ensaios
Não há uma regra ou conjunto de regras que seja adequado a todos os ensaios e métodos. 
Alguns métodos têm melhor precisão que outros, sendo assim, diferentes procedimentos de 
CQ devem ser utilizados.
77
O que Fazer e Não Fazer do Controle de 
Qualidade
O que NÃO FAZER:
- Não utilize valores de bula para calcular limites de 
 controle
Valores da bula refletem o desempenho total de um 
grupo de laboratórios , os valores de DP são usualmente 
maiores e fornecerão limites de controle mais amplos (o 
que causa uma baixa identificação de erros.
78
 
O que Fazer e Não Fazer do Controle de 
Qualidade
O que FAZER (NCCLS):
- Selecione procedimentos de CQ que minimizem falsas rejeições
É melhor manter a texa de falsas rejeições abaixo de 5%. Isto 
exige que vocêelimine o uso dos limites de controle 2DP 
sempre que o numero de medidas for maior que 1. O uso dos 
limites 3DP dará a você somente uma taxa de falsa rejeição de 
apenas 1% quando utiliza 2 a 4 níveis.
- Padronize as operações de CQ
As aplicações por si só devem ser sistemáticas, desde a 
preparação dos marteriais de controle até a interpretação dos 
controles.
79
O que Fazer e Não Fazer do Controle de 
Qualidade
O que FAZER (NCCLS):
- Calcule os limites de controle a partir dos dados do seu 
laboratório
A média e o desvio padrão de um material de controle devem 
ser estabelecidos com base em repetições repetidas daqueles 
materiais e pelos métodos em uso no laboratório.
- Use o computador para analisar e interpretar os dados 
de CQ
O apoio do computador facilitará os cálculos dos dados, 
definição das médias, desvios padrões e limites de controle 
acumulados.
80
O que Fazer e Não Fazer do Controle de 
Qualidade
O que FAZER (NCCLS):
- Rejeite corridas fora de controle, identifique o problema 
e elimine a causa
Após eliminar o problema verifique os resultados dos ensaios 
para as amostras dos pacientes
- Use o computador para analisar e interpretar os dados 
de CQ
O apoio do computador facilitará os cálculos dos dados, 
definição das médias, desvios padrões e limites de controle 
acumulados.
81
 
Interpretação das Regras Múltiplas
Exemplo de um protocolo para CQ
1. Procedimento CQ estatístico : Utilize a regra 12s como regra de alerta e 
as regras 13s/22s/R4s/10x como regras de rejeição com duas medidas de 
controle por corrida
2. Análise dos materiais por controle: Analise uma amostra de controle nível 
A e uma de controle nível B em cada corrida
3. Interpretação de uma regra de aviso: Se ambos os resultados estão 
dentro dos limites 2DP, libere os resultados. Se um resultado exceder o 
limite 2DP, inspecione os dados de controle e rejeite a corrida caso alguma 
regra de controle for violada.
4. Inspeção de resultados de controle “dentro da corrida”: Inspecione os 
resultados na corrida atual aplicando a regra 13s para os resultados de cada 
material e as regras 22s e R4s entre materiais. 
82
Interpretação das Regras Múltiplas
Exemplo de um protocolo para CQ
5. Inspeção de resultados “entre corridas”: 
- Aplique a regra 22s dentro de cada material entre as duas ultimas 
corridas;
- Aplique a regra 41s dentro de cada material entre as ultimas 4 corridas;
- Aplique a regra 41s entre as duas ultimas corridas e duas medições de 
cada material;
- Aplique a regra 10x entre as ultimas 5 corridas e 2 medições de cada 
material
6. Interpretação das regras de rejeição: Se nenhuma das regras dos passos 
3, 4 ou 5 foram violadas, aceite a corrida e libere os resultados dos 
pacientes. Se alguma das regras for violada, a corrida está fora de controle , 
não libere os resultados dos pacientes.
83
Interpretação das Regras Múltiplas
Resolução de problemas 
1 – Determine o tipo de erro que está ocorrendo com base na regra que 
está sendo violada.
2 - Consulte guias de resolução de problemas para identificar possíveis 
causas para o tipo de erro indicado pela regra de controle que foi violada.
3 – Inspecione o processo de ensaio e identifique a causa do problema.
4 – Corrija o problema e analise as amostras de controle novamente
5 – Repita ou verifique os resultados das amostras dos pacientes uma vez 
que o método foi dado como sob controle.
6 – Consulte um supervisor para qualquer decisão referente a liberação de 
resultados de pacientes, quando a corrida está fora de controle.
84
 
Exemplos
85
Exemplos
86
Estatísticas no CQ
• Imprecisão 
Representa a variabilidade que ocorre em um resultado 
de exame.
87
 
Estatísticas no CQ
Variabilidade
• A variabilidade pode diminuir a qualidade dos resultados 
dos exames ou provocar baixa eficiência dos processos 
realizados dentro do laboratório, aumentando os custos 
operacionais, além de aumentar a frequência de falso 
positivos e falso negativos;
• Compreender e reduzir a variabilidade a valores aceitáveis 
é a chave do sucesso. 
88
Pode ser provocada pelas seguintes causas :
� Pessoas: realizam os procedimentos de modos diferentes por 
diferentes estilos, diferentes conhecimentos e capacitações;
� Equipamentos: desempenho diferente das diversas peças;
� Materiais: provenientes de fornecedores diversos;
� Métodos: procedimentos inadequados ou que não são robustos as 
outras causas de variação;
� Medições: dificuldades em medir precisa ou exatamente os 
resultados dos processos;
� Ambiente: físico (temperatura, umidade). Políticas e atitudes dos 
gerentes e técnicos.
Variabilidade
89
Medindo a variabilidade
• Para controlar e reduzir a variabilidade é necessário estimar 
sua dimensão; 
• A estimativa da variabilidade, também denominada 
imprecisão, é feita através do desvio padrão;
• SDesvio Padrão=( (Xi -Xm)2/n-1)1/2 
90
 
Erro aleatório
• Erro negativo ou positivo cuja direção e dimensão 
não podem ser previstas; 
• O erro aleatório é formado pelo desvio padrão e 
como sua magnitude não pode ser prevista, 
considera-se como o erro máximo possível, 
calculado como múltiplos do desvio padrão;
• Cálculo: 1,65*desvio padrão ou 1,65*CV
91
Erro aleatório
92
Erro sistemático ou bias
• Erro que tem sempre a mesma direção e é previsível; 
• O erro sistemático é calculado pela diferença entre a média 
de um conjunto de resultados e o valor verdadeiro;
• O controle da qualidade não tem a função de medir o erro 
sistemático, mas pode indicar desvios na calibração ou nos 
resultados caracterizando, aumento do erro sistemático.
93
 
Erro total
• Corresponde ao erro inserido no resultado de um exame;
• É obtido com a soma dos erros aleatório e sistemático.
– Erro aleatório =1,65*desvio padrão ou 1,65*CV%
– Erro sistemático = Média – Média verdadeira
• O erro total pode ser expressado em valor absoluto ou em 
percentual.
94
Controle Interno da Qualidade
 
Você está achando tudo isso muito 
trabalhoso?
95
 
Programa Nacional de Controle de Qualidade 
Patrocinado pela
Sociedade Brasileira de Análises Clínicas
CONTROLE INTERNO DA QUALIDADE
PRO-IN – TEMPO REAL
Para o desenvolvimento do PRO-IN TEMPO REAL, o PNCQ tomou 
como premissas básicas:
Principais premissas
Facilidade de 
uso
Agilidade
Configurado 
pelo 
Laboratório
EM 
TEMPO
REAL
Controle Interno da Qualidade
 Para começar a utilizar essa ferramenta, 
basta acessar o site do PNCQ, digitar seu 
número de participante e senha e clicar no 
ícone Pro-In Tempo Real
98
Programa Nacional de Controle de Qualidade 
Patrocinado pela
Sociedade Brasileira de Análises Clínicas
CONTROLE INTERNO DA QUALIDADE
Para participar da utilização do PRO-IN – TEMPO REAL, um produto 
do PNCQ, basta ser um participante do programa.
Quem pode participar?
Qual o objetivo do PRO-IN TEMPO REAL?
Fornecer ao laboratório uma ferramenta que possa auxiliá-lo a 
cumprir uma das especificações da RDC ANVISA 302, de forma 
prática e rápida.
Os resultados são analisados e apresentados no gráfico, em TEMPO 
REAL, o que permite ao laboratório verificar erros imediatamente e 
providenciar soluções.
 
Programa Nacional de Controle de Qualidade 
Patrocinado pela
Sociedade Brasileira de Análises Clínicas
Pro-In Tempo Real
Utilizando o Pro-In Tempo Real o usuário pode:
1. Visualizar o gráfico de Levey Jennings com a média 
obtida em seu laboratório;
2. Visualizar a média de todos os laboratórios que 
utilizam o mesmo método, comparando com a sua;
3. Estabelecer seus próprios valores de referência;
4. Comparar seus resultados com os valores de 
referência do PNCQ;
5. Imprimir o gráfico de Levey-Jennings de sua média e 
variabilidade, para usar como registro;
6. Aplicar as regras de Westgard, se necessário.
Programa Nacional de Controle de Qualidade 
Patrocinado pela
Sociedade Brasileira de Análises Clínicas
Nesta tela, o participante 
poderá definir seus 
próprios valores de 
referência e visualizar 
seus lançamentosfuturos em comparação 
com estes valores
Programa Nacional de Controle de Qualidade 
Patrocinado pela
Sociedade Brasileira de Análises Clínicas
Basta selecionar o grupo e o 
lote para iniciar os 
lançamentos e a visualização 
do gráfico
 
Programa Nacional de Controle de Qualidade 
Patrocinado pela
Sociedade Brasileira de Análises Clínicas
Os resultados poderão ser visualizados no gráfico 
de acordo com os valores lançados pelo Participante (I), 
de acordo com os lançamentos de Todos os Participantes 
(II), 
de acordo com os Valores de Referência do PNCQ (III) 
ou de acordo com os Valores de Referência Próprio (IV), 
definidos pelo participante
Programa Nacional de Controle de Qualidade 
Patrocinado pela
Sociedade Brasileira de Análises Clínicas
Modalidades de Gráficos
Programa Nacional de Controle de Qualidade 
Patrocinado pela
Sociedade Brasileira de Análises Clínicas
Os resultados estarão visíveis 
de forma contínua, de acordo 
com o período de consulta 
definido
 
Programa Nacional de Controle de Qualidade 
Patrocinado pela
Sociedade Brasileira de Análises Clínicas
Possibilidade de definir as regras de 
Westgard que melhor se adaptam à sua 
rotina
Programa Nacional de Controle de Qualidade 
Patrocinado pela
Sociedade Brasileira de Análises Clínicas
Link para os valores de referência do PNCQ 
de todos as amostras-controle disponíveis 
para Controle Interno
Programa Nacional de Controle de Qualidade 
Patrocinado pela
Sociedade Brasileira de Análises Clínicas
Link para notícias relevantes sobre o Controle 
Interno da Qualidade
 
Prática laboratorial
IMUNOLOGIA
a. Comerciais, liofilizadas ou líquidas, provenientes de soro humano;
b. Proveniente de um “pool” de plasma humano, obtidos em Bancos 
de Sangue ou de amostras de soro do próprio laboratório;
c. Proveniente de soro animal, submetidos à inoculação de 
antígenos humanos resultantes de patologias a serem 
examinadas;
d. Amostras divididas. 
109
São diferentes dos controles internos dos kits.
Podem ser preparados no laboratório ou comprados.
Devem ser utilizados diariamente na rotina do laboratório, para monitorar o 
comportamento de cada metodologia. 
Servem para validar as reações.
Sofrem variações nas mudanças de lotes de reativos.
Soros Controle Interno (SCI)
110
Controles Positivos
� Devem apresentar relação DO/CO > 1
� Faixa recomendada: 2,0 – 4,5
� Métodos competitivos: (< 1) 
� Faixa recomendada: 0,3 – 0,7
Controles Negativos
� Devem apresentar relação DO/CO < 1
� Faixa recomendada: < 0,8
� Mét. Competitivos: > 2,0
CO: Cut off (Valor de corte)
Soros Controle Interno (SCI)
111
 
Controles de múltipla reatividade
• Cada SCI pode ser usado para vários parâmetros
Anti-HIV + AgHBs + anti-HCV + anti-T.cruzi
Sífilis + anti-HBc + anti-HTLV
• Levar em consideração as diferentes marcas de kits, 
para cada teste, que existem no mercado
� Grande número de kits para cada parâmetro
� Diferenças significativas entre a reatividade dos kits
� Ampla distribuição de marcas entre os usuários
Soros Controle Interno (SCI)
113
Preparo de Controles Individuais
Guardar amostras reagentes por parâmetro
Mistura das amostras (pool), para obter o volume 
necessário.
Efetuar as diluições necessárias para obter a faixa de 
reatividade desejada.
Aliquotar em pequenos volumes (para uso diário) e 
conservar a -20º C
Soros Controle Interno (SCI)
114
 
Obter bolsas de plasma reagentes para cada 
parâmetro
Transformar o plasma em soro para obter soluções 
mãe reagentes para cada parâmetro.
Efetuar as diluições necessárias para obter a faixa de 
reatividade desejada.
Aliquotar em pequenos volumes (para uso diário), 
adicionar conservante e armazenar a -20º C
Soros Controle Interno (SCI)
PNCQ
115
Diluições Seriadas
100 µl 100 µl 100 µl 100 µl 100 µl 100 µl 100 µl100 µl
100 µl
 +
900 µl
Soro
puro
1/10 1/102 1/103 1/104 1/1071/1061/105 1/108
 +
900 µl
 +
900 µl
 +
900 µl
 +
900 µl
 +
900 µl
 +
900 µl
 +
900 µl
Diluição
diluente
116
100 µl 100 µl 100 µl 100 µl 100 µl 100 µl 100 µl100 µl
100 µl
 +
100 µl
Soro
puro
1/2 1/4 1/8 1/16 1/1281/641/32 1/256
 +
100 µl
 +
100 µl
 +
100 µl
 +
100 µl
 +
100 µl
 +
100 µl
 +
100 µl
Diluição
diluente
Diluições Seriadas
117
 
Diluições recomendadas para preparar 
SCI individuais
Parâmetros Diluições
Anti-HIV 1/10 - 1/102 até 1/108
Anti-HTLV 1/10–1/20 – 1/50 – 1/100- 1/200
Ag HBs 1/10 - 1/102 até 1/108
Anti-HBc (core) 1/2 – 1/5 -1/10 até 1/100
Anti-HCV 1/10 – 1/50 – 1/100 – 1/200
Chagas 1/2 – 1/5 – 1/10 – 1/20
Sífilis (ELISA)
1/5 – 1/10 – 1/20 – 1/50 até 1/500
Sífilis (VDRL)
1/2 – 1/4 – 1/8 – 1/16 – 1/32 – 1/64
118
Amostra ELISA 1 ELISA 2 ELISA 3 WB
Dil: 1/.... DO/CO DO/CO DO/CO Resultado
1 >12,8 >23,5 19,5 +
10 >12,8 23,2 18,4 +
102 >12,8 22,7 8,1 +
103 >12,8 20,2 0,6 -
104 >12,8 13,3 0,1 -
105 >12,8 8,0 0,1 -
106 7,9 3,1 0,1
107 3,2 1,4 0,0
108 1,5 0,8 0,0
Soro anti-HIV positivo - Diluições com Kits diferentes
CQE
CQI
119
Diluição de amostras
Anti-T.cruzi positivas
Dil
CHAGATEK BIOSCHILE WIENER rec
Sample
1
Sample
2
Sample
3
Sample
1
Sample
2
Sample
3
Sample
1
Sample
2
Sample
3
1/1 3,7 10,7 4,8 2,7 3,7 3,2 6,8 9,0 8,1
1/2 2,8 8,0 3,7 2,2 3,3 2,8 3,9 8,1 7,2
1/5 2,0 5,7 2,5 1,6 2,8 2,3 0,7 5,1 5,6
1/10 1,4 4,5 1,6 1,2 2,3 1,9 0,2 2,6 3,4
1/20 0,9 2,4 1,3 0,9 1,8 1,6 0,0 1,0 2,6
OD/CO values
120
 
Programa Nacional de Controle de Qualidade 
Patrocinado pela
Sociedade Brasileira de Análises Clínicas
HEMATOLOGIA
a. Comerciais, oriundas de empresas fabricantes de 
equipamentos, de reagentes ou de fornecedores de 
amostras-controle;
b. Provenientes de provedores de ensaios de 
proficiência;
c. Amostras de pacientes do dia anterior;
Programa Nacional de Controle de Qualidade 
Patrocinado pela
Sociedade Brasileira de Análises Clínicas
HEMATOLOGIA
d. Regra do três : Multiplicar o valor dos dois primeiros 
dígitos das hemácias por 3= Hemoglobina e 
multiplicar a Hemoglobina por 3 = Hematócrito. É 
uma fórmula de controle, que não deve ser usado 
para as determinações destes analitos, pois não 
representam a realidade quando há microcitose ou 
macrocitose;
e. Algorítmo de Bull: VCM, CHCM e HCM;
f. Amostra dividida.
Programa Nacional de Controle de Qualidade 
Patrocinado pela
Sociedade Brasileira de Análises Clínicas
MICROBIOLGIA
Para determinações microbiológicas podem ser 
usadas como controle interno, as amostras-
controle:
a. Bactérias validadas provenientes de organismos de 
validação de bactérias, como a ATCC, IPT, Adolfo Lutz, 
Manguinhos;
b. Provenientes de provedores de ensaios de proficiência, 
com sua identificação validada pelos mesmos;
c. Fase pré-analítica: Meios de cultura, corantes e processos.
 
Programa Nacional de Controle de Qualidade 
Patrocinado pela
Sociedade Brasileira de Análises Clínicas
URINÁLISES-EAS
Para determinações da avaliação dos elementos anormais 
em urinálise, utilizando as tiras reagentes 
(“screening”), podem ser usadas como controle interno, 
as amostras-controle:
a. Comerciais, líquidas ou liofilizadas, provenientes de fabricantes 
internacionais de amostras-controle;
b. Provenientes de provedores de ensaios de proficiência;
c. Preparação artificial do próprio laboratório ou “pool” de urina.
d. Obs.: Este controle interno tem que ser especificado pelo 
laboratório clínico em procedimento escrito, porque ele não 
necessita ser realizado diariamente. Utilizar semanalmente e 
sempre que houver a abertura de um novo frasco de tiras 
reagentes.
Programa Nacional de Controle de Qualidade 
Patrocinado pela
Sociedade Brasileira de Análises Clínicas
Para controle o interno em Parasitologia, Citologia Clínica, 
Bacterioscopia e determinação específica do 
Hemograma:
a. Sugerimos que o laboratório clínico estabeleça uma 
rotina de garantia da qualidade, com verificação por outro 
profissional de 10 por cento das amostras de pacientes 
positivas para alguma patologia eas negativas, para 
confirmação dos laudos;
b. Amostra dividida.
Obs.:Esta verificação dever ser registrada para comprovar a 
execução deste processo de validação e de precisão.
BACTERIOSCOPIA
Programa Nacional de Controle de Qualidade 
Patrocinado pela
Sociedade Brasileira de Análises Clínicas
LÍQUIDOS BIOLÓGICOS
Geralmente é um material escasso;
Raramente é solicitado ao laboratório;
Não existem amostras-controle disponível;
Testes pluralizados: Proteínas, celularidade, 
bacterioscopia, cultura, bioquímicas,etc.
Sugestão de controle interno:
Amostra dividida ou teste supervisionado
 
Ferramentas da Qualidade
Diagrama ou Gráfico de Pareto
O gráfico de Pareto é um diagrama que apresenta os itens e a classe na ordem dos números 
de ocorrências, apresentando a soma total acumulada. 
Permite-nos visualizar diversos elementos de um problema auxiliando na determinação da 
sua prioridade.
127
Ferramentas da Qualidade
Diagrama de causa e efeito ou espinha de peixe
É uma representação gráfica que permite a organização das informações possibilitando a 
identificação das possíveis causas de um determinado problema ou efeito. Também chamado 
de diagrama de espinha de peixe ou diagrama de Ishikawa. 
Mostra-nos as causas principais de uma ação, as quais dirigem para as sub-causas, levando 
ao 
resultado final.
128
Ferramentas da Qualidade
Gráficos de Controle
São gráficos para examinar se o processo está ou não sob controle. 
Sintetiza um amplo conjunto de dados, usando métodos estatísticos para observar as 
mudanças dentro do processo, baseado em dados de amostragem. 
Pode nos informar em determinado tempo como o processo está se comportando, se ele está 
dentro dos limites preestabelecidos, sinalizando assim a necessidade de procurar a causa da 
variação, mas não nos mostrando como eliminá-la. 
129
 
Ferramentas da Qualidade
Fluxograma
É um resumo ilustrativo do fluxo das várias operações de um processo. Este documenta um 
processo, mostrando todas as suas etapas. 
É uma ferramenta fundamental, tanto para o planejamento (elaboração do processo) como 
para o aperfeiçoamento (análise, crítica e alterações) do processo. 
O fluxograma facilita a visualização das diversas etapas que compõem um determinado 
processo, permitindo identificar aqueles pontos que merecem atenção especial por parte da 
equipe de melhoria. 
É basicamente formado por três módulos: 
Início (entrada): assunto a ser considerada no planejamento 
Processo: consiste na determinação e interligação dos módulos que englobam o assunto. 
Todas as operações que compõe o processo. 
Fim (saída): fim do processo, onde não existem mais ações a ser considerada. 
130
Ferramentas da Qualidade
Brainstorming
A filosofia básica do Brainstorming é deixar vir à tona todas as idéias possíveis sem criticar 
durante a sua exposição. 
O objetivo é obter o maior número possível de sugestões, para fazer posteriormente o 
julgamento. 
O Brainstorming, não determina uma solução, mas propõem muitas outras. É um grupo de 
pessoas na qual um tema é exposto e que através de livre associação de pensamento 
começam surgir idéias associadas a este tema. 
131
Muito Obrigado
pncq@pncq.or g.br
132

Outros materiais