Baixe o app para aproveitar ainda mais
Prévia do material em texto
AULA 2 CERTIFICAÇÃO LEAN SIX SIGMA GREEN BELT – FERRAMENTAS PARA O DESENVOLVIMENTO E MELHORIA Prof. Rafael Simões Ribeiro 2 CONVERSA INICIAL O objetivo desta aula é explorar os conceitos de planejamento de experimentos (Design of Experiments, DOE). Esta é uma ferramenta muito importante e se destaca, juntamente com a análise de sistemas de medição, como uma das ferramentas mais poderosas que iremos aprender. Abordaremos, nesta aula e posteriormente, as bases teóricas dos experimentos planejados e, ao final do nosso curso, um exemplo prático para aplicá-los. TEMA 1 – INTRODUÇÃO AO PLANEJAMENTO DE EXPERIMENTOS Você pode não perceber, mas somos executores de experimentos. Realizamos experimentos o tempo todo em nosso dia a dia, pois é assim que aprendemos sobre o mundo físico ao nosso redor. Quando aprendemos a atravessar a rua, experimentamos sobre os fatores distância ao veículo, velocidade do veículo, distância percorrida e velocidade de nossas pernas de modo a completarmos a travessia em segurança. Quando temos uma reação alérgica a um alimento, podemos experimentar a ingestão de várias famílias de alimentos, verificando qual delas causam a alergia. Assim como nesses exemplos, quando um engenheiro quer estudar um processo ou buscar melhorias, ele realiza experimentos com base na tentativa e erro, ou, quando muito, utilizando a “metodologia” OFAT (one factor at a time), que consiste em manter vários parâmetros fixos e variar impendentemente um deles por vez. Tais abordagens, apesar de usuais, são simplórias e carecem de uma metodologia científica. Vejamos um exemplo de Box, Hunter e Hunter (1978) para entendermos o porquê dessas escolhas não serem das mais inteligentes. Suponha que um engenheiro químico quer realizar experimentos para buscar o maior rendimento possível de uma reação química. Da sua experiência, ele identificou dois fatores que possivelmente influenciam o rendimento: o tempo de reação e a temperatura do meio em que a reação ocorre. O engenheiro resolve, então, realizar experimentos OFAT, pois esse modo experimental é o que estamos acostumados a utilizar em nosso dia a dia. Primeiro, ele fixa a temperatura em um valor arbitrário, digamos 225 ºC, e faz testes da reação nessas condições de temperatura para cinco tempos diferentes. Veja, na Figura 1 o comportamento obtido pelo engenheiro: o melhor rendimento foi de aproximadamente 75 g para uma reação de 130 minutos. 3 Figura 1 – Primeira leva de experimentos para temperatura de 225 ºC Fonte: Elaborado com base em Box, Hunter e Hunter, 1978, p. 511. Em seguida, o engenheiro fixa o tempo no melhor resultado possível, de 130 minutos, e realiza uma segunda leva de experimentos variando a temperatura. Na Figura 2, vemos o resultado: um rendimento de mais ou menos 75g para uma temperatura de 225 ºC. Figura 2 – Segunda leva de experimentos para tempo fixo de 130 minutos Fonte: Elaborado com base em Box, Hunter e Hunter, 1978, p. 511. Segundo esses experimentos, a conclusão óbvia é a de que o rendimento máximo da reação química é de aproximadamente 75 g para um tempo de 130 minutos a 225 ºC. Porém, esse resultado não é necessariamente verdadeiro, uma vez que ele não leva em consideração a interação entre os fatores tempo e temperatura. Em outras palavras, o engenheiro não conseguiu captar como o rendimento da reação química varia quando são variados simultaneamente os fatores tempo e temperatura. 4 Veja, na Figura 3, uma possível condição real da variação do rendimento da reação química com a temperatura e com o tempo. Percebe-se que os experimentos OFAT correspondem às linhas tracejadas e, fica evidente – vendo a figura completa – que o rendimento de 75 g está longe de ser o maior rendimento possível da reação (rendimento este que é, de fato, aproximadamente 91 g). Experimentos planejados servem para estudar toda essa gama de possibilidades, incluindo as interações entre fatores, com o melhor custo-benefício possível, de maneira organizada, seguindo uma metodologia estatisticamente consistente. Figura 3 – Possível resposta real para o rendimento da reação química Fonte: Elaborado com base em Box, Hunter e Hunter, 1978, p. 512. A desconsideração das interações entre fatores do experimento pode levar, conforme visto, a conclusões erradas. Mas repare, além disso, que as hipóteses de fatores que levam à mudança de rendimento da reação química foram muito limitadas (apenas dois fatores). Não é incomum realizarmos hipóteses sobre vários fatores influenciando em uma resposta (fatores esses que aparecem em destaque em nosso mapa de produto e mapa de processo). Nesses casos, a execução de experimentos na base da tentativa e erro (ou mesmo utilizando o OFAT) é desastrosa, pois falta uma metodologia científica estruturada para tirarmos conclusões sobre o impacto da variação de cada fator. O método para tal é a execução de experimentos fatoriais. 5 TEMA 2 – EXPERIMENTOS FATORIAIS E EFEITOS INDIVIDUAIS Quando falamos em experimentos planejados, nos referimos sempre a fatores com variação em algum número de níveis. Os fatores são, tipicamente, variáveis identificadas nos mapas de processo e de produto, as quais queremos descobrir o efeito de suas variações. Os níveis são variações impostas pelo planejador do experimento para cada fator (como a escolha de variação de temperatura e do tempo, realizada pelo engenheiro químico em sua análise OFAT). Por exemplo, se quisermos entender a influência de três fatores em um processo, variando cada um em dois níveis, temos o total de 23 = 8 combinações possíveis entre os seis níveis em questão (níveis “+” e “−“ atribuídos a cada fator). Isso se chama experimento fatorial e nos dá informações completas em relação aos fatores e níveis testados. É possível que um fator tenha mais de dois níveis, mas, geralmente, vale mais a pena fazer mais planejamentos com fatores de dois níveis do que utilizar um número maior de níveis em algum fator de um experimento, por conta do custo-benefício da modelagem. Para entender o conceito de experimentos fatoriais, vamos nos referir, por conta de sua didática, ao exemplo de Box e Bisgaard (1987). Considere o seguinte planejamento experimental de um processo de têmpera de molas no qual os fatores temperatura do óleo de têmpera (O), percentual de carbono no aço (C) e temperatura do aço (T) variam em dois níveis cada e a variável resposta é a porcentagem de molas sem trincas. A Tabela 1 mostra esse planejamento e os resultados dos ensaios. Tabela 1 – Planejamento e dados coletados de experimento fatorial Rodada O Temp. Óleo C % carbono T Temp. Aço Molas sem trincas Dia do ensaio 1 70 0,50 1450 67% 1 2 70 0,50 1600 79% 2 3 70 0,70 1450 61% 2 4 70 0,70 1600 75% 1 5 120 0,50 1450 59% 2 6 120 0,50 1600 90% 1 7 120 0,70 1450 52% 1 8 120 0,70 1600 87% 2 6 Fonte: Elaborado com base em Box e Bisgaard, 1987, p. 17. Podemos representar um experimento fatorial com três fatores de dois níveis cada, como o cubo da Figura 4. Os ensaios com temperatura do aço no nível (–) estão localizados na face esquerda do cubo; os ensaios com a maior temperatura do aço (+) estão localizados na face direita do cubo. Baixo teor de carbono na face de baixo do cubo, alto teor de carbono na face superior. Ensaios com 70ºF para a temperatura do óleo na face frontal, 120ºF na face traseira. Figura 4 – Representação gráfica do experimento 23 Fonte: Elaborado com base em Box e Bisgaard, 1987, p. 19. Uma das características principais de experimentos planejados é o cálculo dos efeitos individuais de cada fator. Repare que o efeito individual da temperatura do aço está embutido em cada par de resultados (+) e (–) para esse fator. Em cada par, uma das leituras reflete o ensaio à alta temperatura do aço enquanto a outraà baixa temperatura, porém, em cada par, os outros fatores se mantêm constantes. Os pares de resultados variando-se a temperatura do aço e mantendo os demais fatores constantes são indicados na Figura 5: Calculamos o efeito principal fazendo: 𝐸𝐸𝐸𝐸𝐸𝐸𝐸𝐸𝐸𝐸𝐸𝐸 𝑃𝑃𝑃𝑃𝐸𝐸𝑃𝑃𝑃𝑃𝐸𝐸𝑃𝑃𝑃𝑃𝑃𝑃 = 𝑦𝑦�+ − 𝑦𝑦�− (1) Repare que poderíamos realizar os cálculos individualmente: (79 − 67) = 12, (75 − 61) = 14, (90 − 59) = 31 e (87 − 52) = 35; depois, fazer a média 7 desses efeitos que, nesse exemplo, é calculada em 23. Ou podemos utilizar a Equação 1 e fazer a média da face direita menos a média da face esquerda; faça as contas e veja que o resultado é o mesmo. Figura 5 – Pares de valores para estimativas do efeito individual de T Fonte: Elaborado com base em Box e Bisgaard, 1987, p. 19. Repetindo o mesmo procedimento para os outros fatores, obtemos: 𝑇𝑇 (𝐸𝐸𝐸𝐸𝑡𝑡𝑃𝑃𝐸𝐸𝑃𝑃𝑃𝑃𝐸𝐸𝑡𝑡𝑃𝑃𝑃𝑃 𝑑𝑑𝐸𝐸 𝑃𝑃ç𝐸𝐸) + 23 𝐸𝐸𝐸𝐸𝐸𝐸𝐸𝐸𝐸𝐸𝐸𝐸 𝑃𝑃𝑃𝑃𝐸𝐸𝑃𝑃𝑃𝑃𝐸𝐸𝑃𝑃𝑃𝑃𝑃𝑃 𝐶𝐶 (𝐸𝐸𝐸𝐸𝐸𝐸𝑃𝑃 𝑑𝑑𝐸𝐸 𝑃𝑃𝑃𝑃𝑃𝑃𝑐𝑐𝐸𝐸𝑃𝑃𝐸𝐸) − 5 (2) 𝑂𝑂 (𝐸𝐸𝑡𝑡𝑃𝑃𝐸𝐸𝑃𝑃𝑃𝑃𝐸𝐸𝑡𝑡𝑃𝑃𝑃𝑃 𝑑𝑑𝐸𝐸 ó𝑃𝑃𝐸𝐸𝐸𝐸) + 1,5 Veja que, “utilizando um experimento fatorial, com apenas 8 ensaios somos capazes de testar cada um dos três fatores com a mesma precisão que em um experimento OFAT que possui três vezes mais ensaios; dessa forma, experimentos fatoriais reduzem drasticamente o número de ensaios necessários sem sacrificar a precisão” Box e Bisgaard (1987, p. 21). TEMA 3 – ESTIMATIVA DAS INTERAÇÕES Podemos calcular, também, o efeito das interações entre fatores. Esse cálculo é uma das principais vantagens, além do evidente custo-benefício, de 8 trabalharmos com experimentos planejados. Fazemos isso pegando a variação em relação a outro fator dos efeitos principais do primeiro fator. Acompanhe por meio do exemplo e da Figura 6: utilizando 𝑇𝑇 como primeiro fator e 𝑂𝑂 como o segundo, fazemos a média das variações de 𝑇𝑇 quando 𝑂𝑂(+) é fixado e subtraímos da média das variações de 𝑇𝑇 quando 𝑂𝑂(−) é fixado: (31 + 35)/2 = 33 subtraído de (12 + 14)/2 = 13, cujo resultado dá 20. Como estamos realizando uma estimativa da interação 𝑇𝑇𝑂𝑂, utilizamos a variação média e, por isso, dividimos o resultado por 2, obtendo o valor de 10. Figura 6 – Representação do cálculo de estimativa da interação entre T e O Fonte: Elaborado com base em Box e Bisgaard, 1987, p. 19. Assim, calculando todos os efeitos principais e efeitos de interações, temos: 𝑇𝑇 + 23 𝐶𝐶 − 5 𝑂𝑂 + 1,5 (3) 𝑇𝑇𝐶𝐶 + 1,5 𝑂𝑂𝐶𝐶 0,0 𝑇𝑇𝑂𝑂 + 10 Repare que, desse resultado, vemos que o fator de maior importância é o fator 𝑇𝑇, seguido da interação 𝑇𝑇𝑂𝑂. Além disso, apesar de menos importante, vemos que o aumento da concentração de carbono contribui negativamente para a 9 variável resposta, indicando que um menor teor tende a geral molas com menos trincas. Esses dados são melhor representados em um diagrama de Pareto, em que 𝐶𝐶 é representado em módulo, pois estamos interessados em ver graficamente e de maneira rápida o tamanho do impacto de cada fator e não se o fator impacta positiva ou negativamente a resposta final: Figura 7 – Diagrama de Pareto para efeitos e interações de segunda ordem Fonte: Ribeiro, 2021. Os cálculos dos efeitos principais e das interações podem ser realizados de maneira simplificada (da forma que fizemos na Equação 1), para o experimento fatorial 23 de acordo com o padrão geométrico de contrastes: 10 Figura 8 – Padrão geométrico de contrastes para experimento 23 Fonte: Elaborado com base em Box, Hunter e Hunter, 1978, p. 312. Vimos que há variações aleatórias em todos os processos naturais. Uma maneira de contornar efeitos “indesejados” de variações aleatórias em experimentos planejados é utilizando um planejamento em blocos e com randomização. Imagine que tenhamos capacidade de realizar apenas quatro experimentos por dia, de forma que esse planejamento deve ser realizado em dois dias. Repare a forma que o experimento foi realizado em relação aos dias 1 e 2 de experimento, na Tabela 1 ou nos círculos (dia 1) e quadrados (dia 2) da Figura 4. A maneira balanceada de realizar esses experimentos em cada dia é uma estratégia de bloco, pensada para evitar efeitos de aleatoriedade de determinado dia (por exemplo, recalcule os efeitos adicionando um valor qualquer – e sempre esse mesmo valor – nos resultados que estão dentro dos círculos; você verá que o tamanho dos efeitos são os mesmos). Nesse arranjo, o efeito do bloco está confundido com a interação de terceira ordem; dizemos, assim, que há um confundimento. Geralmente, interações de terceira ordem não são relevantes por ser difícil de serem associadas a um fenômeno físico. 11 Agora, pensando em um dia de execução, queremos randomizar os experimentos, ou seja, realizá-los em uma ordem aleatória. Dessa forma, o experimento estará mais protegido contra o aparecimento de padrões que podem tendenciar os resultados. A randomização é uma estratégia de atenuação de ruídos. Podemos, também, criar gráficos de interações de segunda ordem. Considere a Tabela 2 uma adaptação da Tabela 1 com os níveis indicados com os símbolos (+) e (−): Tabela 2 – Forma alternativa de representação de níveis Rodada O Temp. Óleo C % carbono T Temp. Aço Molas sem trincas Dia do ensaio 1 − − − 67% 1 2 − − + 79% 2 3 − + − 61% 2 4 − + + 75% 1 5 + − − 59% 2 6 + − + 90% 1 7 + + − 52% 1 8 + + + 87% 2 Fonte: Elaborado com base em Box e Bisgaard, 1987, p. 17. Observe o gráfico apresentado na Figura 9. Esse gráfico mostra a interação entre os fatores T e O. Repare que temos no eixo “y” o valor dos experimentos realizados (porcentagem de molas sem trincas) e colocamos a variação de T no eixo “x”. Cada uma das linhas traçadas se refere ao fator O, a linha vermelha para a condição O(−) e a linha azul para a condição O(+). Para traçarmos essas linhas, devemos realizar as médias para a obtenção de cada um dos quatro pontos, seguindo a escala de cores apresentada na Tabela 3, abaixo: 12 Tabela 3 – Indicações para construção do gráfico de interações T e O Rodada O Temp. Óleo C % carbono T Temp. Aço Molas sem trincas Dia do ensaio 1 − − − 67% 1 2 − − + 79% 2 3 − + − 61% 2 4 − + + 75% 1 5 + − − 59% 2 6 + − + 90% 1 7 + + − 52% 1 8 + + + 87% 2 Fonte: Elaborado com base em Box e Bisgaard, 1987, p. 17. Figura 9 – Gráfico das interações entre os fatores T e O Fonte: Ribeiro, 2021. Concluímos, da Figura 9, pelo fato de as retas se cruzarem, que há algum nível de interação entre os fatores T e O. Já sabíamos disso, pois havíamos calculado o efeito da interação TO com valor +10 o que, por sinal, foi a maior interação entre os fatores. Para análise comparativa, veja, na Figura 10, o gráfico de interação entre O e C, cujo cálculo de estimativa OC é de 0. As linhas são paralelas, o que indica uma ausência de interação entre os fatores, justificada pelo cálculo de sua estimativa 13 Figura 10 – Gráfico das interações entre os fatores O e C Fonte: Ribeiro, 2021. TEMA 4 – VALOR P Há, na estatística, uma teoria chamada de teste de hipóteses. Não entraremos em detalhes sobre a teoria estatística1 neste curso, mas se quisermos evitar a dúvida de quão longe nosso teste de hipóteses está de um nível de significância 𝛼𝛼 definido, usamos o conceito de valor P (que vem de probability value, ou p value). O valor P é o menor nível de significância que levaria a rejeição da hipótese nula 𝐻𝐻0. A interpretação usual do valor P é: • 𝑃𝑃 < 0,01 evidência muito forte • 0,01 ≤ 𝑃𝑃 < 0,05 evidênciamoderada • 0,05 ≤ 𝑃𝑃 < 0,10 evidência sugestiva • 0,10 ≤ 𝑃𝑃 pouca ou nenhuma evidência real Na prática, consideraremos como estatisticamente significativo um fator, em um DOE, que apresente valor P menor que 0,05. Esse resultado possui a interpretação de que as variações estimadas por meio dos cálculos que vimos ao longo desta aula são estatisticamente significativas. Quando o valor P de um fator 1 Necessitaríamos de um curso muito mais longo para abordarmos a teoria estatística de maneira recomendável. Por esse motivo, tal abordagem é usualmente rejeitada em cursos e treinamentos Six Sigma, especialmente Green Belt. Para mais informações, recomendo um curso de controle estatístico da qualidade, como o de Montgomery, 2019. 14 é superior ao valor de 0,05, o interpretamos como estatisticamente pouco significativo ou mesmo totalmente insignificante. O cálculo do valor P é realizado com base na teoria das distribuições de probabilidades e, novamente, não será abordado aqui. Porém, veremos que os modelos matemáticos de análises de DOE no JMP apresentarão os valores calculados para p-value. Para ele, desejaremos obter significância estatística ao obtermos valores inferiores a 0,05. Assim, analisamos um DOE de acordo com as estimativas para os fatores individuais e suas interações, classificamos essas estimativas por meio do diagrama de Pareto e, finalmente, analisamos a significância estatística de cada fator ao observar os valores de p-value. TEMA 5 – JMP: DOE FATORIAL COMPLETO Uma forma genérica de avaliar o resultado de um DOE no JMP consiste em colar a tabela no software e buscar a aplicação Fit Model, na guia Analyze. Outra maneira é realizando o planejamento dentro do JMP, na guia DOE, Classical, Full Factorial Design, para o caso de experimentos fatoriais completos (que é o que vimos até o momento) e, após preenchimento das respostas dos experimentos, acessar a aplicação Model com o botão direito do mouse e run script. Para o exemplo de Box e Bisgaard (1987) que abordamos nesta aula, os principais gráficos de análise apresentados pelo JMP, de nosso interesse, são: Figura 11 – Estimativas e valor P calculados pelo JMP Fonte: JMP, 2021. Veja, na Figura 12, que o valor estimate calculado pelo JMP é exatamente a metade2 da estimativa real de cada fator. Ainda temos os valores de p-value 2 O JMP utiliza a metade da estimativa como coeficientes de seu modelo matemático. Para nós, basta sabermos que a estimativa real é o dobro do valor dado pelo software. 15 dados na coluna “Prob>|t|”. Repare que nesse DOE observamos significância estatística para os fatores T e a interação OT apenas. Isso pode ser diretamente depreendido do gráfico de barras, no qual as linhas azuis correspondem ao lugar em que o valor P seria 0,05; de forma que as barras que as ultrapassam indicam valores menores (e significância estatística) e as barras em seu interior valores maiores que 0,05 (e insignificância estatística). Podemos, também, plotar o gráfico de probabilidade normal. A interpretação desse gráfico, conforme pode ser visto na Figura 12, é de que distribuições normais ficam bem ajustadas pela reta. Então, quando possuímos pontos que distam bastante da reta, podemos interpretá-los como pontos estatisticamente significantes. Veja que os fatores O e OT foram identificados como significantes, assim como o fator C. Na Figura 11, o valor P para o fator C é de 0,0635. Isso demonstra insignificância de acordo com nossa convenção de utilização da referência 0,05 como limite. No entanto, na realidade, tal nível de valor P demonstra baixa significância e, por isso, o fator C acabou sendo identificado como significante no gráfico de probabilidade normal. Cabe ao engenheiro decidir, por meio de uma análise prática com base em sua experiência na execução dos testes, se o fator C é ou não significante. Figura 12 – Gráfico de probabilidade normal Fonte: JMP, 2021. 16 Podemos, também, plotar o diagrama de Pareto e os gráficos de interações, apresentados, respectivamente, nas Figuras 13 e 14. Veja a correspondência com os valores que calculamos ao longo desta aula. Figura 13 – Gráfico de Pareto Fonte: JMP, 2021. Figura 14 – Gráficos de interação Fonte: JMP, 2021. 17 REFERÊNCIAS BOX, G., BISGAARD, S. The scientific context of quality improvement. Center for Quality and Productivity Improvement of University of Wisconsin-Madison, Madison, n. 25, p. 1-45, 1987. BOX, G. E. P., HUNTER, W. G., HUNTER, J. S. Statistics for experimenters. 1. ed. John Wiley & Sons, 1978. JMP: Statistical Discovery. Version 14.0.0. [S.1.]: SAS Institute Inc, 2018. MONTGOMERY, D. C. Introdução ao controle estatístico da qualidade. 7. ed. Rio de Janeiro: LTC, 2019.
Compartilhar