Aula 2 - INTRODUÇÃO AO PLANEJAMENTO DE EXPERIMENTOS

Prévia do material em texto

AULA 2 
CERTIFICAÇÃO LEAN SIX SIGMA 
GREEN BELT – FERRAMENTAS 
PARA O DESENVOLVIMENTO E 
MELHORIA 
Prof. Rafael Simões Ribeiro 
 
 
2 
CONVERSA INICIAL 
O objetivo desta aula é explorar os conceitos de planejamento de 
experimentos (Design of Experiments, DOE). Esta é uma ferramenta muito 
importante e se destaca, juntamente com a análise de sistemas de medição, como 
uma das ferramentas mais poderosas que iremos aprender. Abordaremos, nesta 
aula e posteriormente, as bases teóricas dos experimentos planejados e, ao final 
do nosso curso, um exemplo prático para aplicá-los. 
TEMA 1 – INTRODUÇÃO AO PLANEJAMENTO DE EXPERIMENTOS 
Você pode não perceber, mas somos executores de experimentos. 
Realizamos experimentos o tempo todo em nosso dia a dia, pois é assim que 
aprendemos sobre o mundo físico ao nosso redor. Quando aprendemos a 
atravessar a rua, experimentamos sobre os fatores distância ao veículo, 
velocidade do veículo, distância percorrida e velocidade de nossas pernas de 
modo a completarmos a travessia em segurança. Quando temos uma reação 
alérgica a um alimento, podemos experimentar a ingestão de várias famílias de 
alimentos, verificando qual delas causam a alergia. 
Assim como nesses exemplos, quando um engenheiro quer estudar um 
processo ou buscar melhorias, ele realiza experimentos com base na tentativa e 
erro, ou, quando muito, utilizando a “metodologia” OFAT (one factor at a time), 
que consiste em manter vários parâmetros fixos e variar impendentemente um 
deles por vez. Tais abordagens, apesar de usuais, são simplórias e carecem de 
uma metodologia científica. Vejamos um exemplo de Box, Hunter e Hunter (1978) 
para entendermos o porquê dessas escolhas não serem das mais inteligentes. 
Suponha que um engenheiro químico quer realizar experimentos para 
buscar o maior rendimento possível de uma reação química. Da sua experiência, 
ele identificou dois fatores que possivelmente influenciam o rendimento: o tempo 
de reação e a temperatura do meio em que a reação ocorre. 
O engenheiro resolve, então, realizar experimentos OFAT, pois esse modo 
experimental é o que estamos acostumados a utilizar em nosso dia a dia. Primeiro, 
ele fixa a temperatura em um valor arbitrário, digamos 225 ºC, e faz testes da 
reação nessas condições de temperatura para cinco tempos diferentes. Veja, na 
Figura 1 o comportamento obtido pelo engenheiro: o melhor rendimento foi de 
aproximadamente 75 g para uma reação de 130 minutos. 
 
 
3 
Figura 1 – Primeira leva de experimentos para temperatura de 225 ºC 
 
Fonte: Elaborado com base em Box, Hunter e Hunter, 1978, p. 511. 
Em seguida, o engenheiro fixa o tempo no melhor resultado possível, de 
130 minutos, e realiza uma segunda leva de experimentos variando a 
temperatura. Na Figura 2, vemos o resultado: um rendimento de mais ou menos 
75g para uma temperatura de 225 ºC. 
Figura 2 – Segunda leva de experimentos para tempo fixo de 130 minutos 
 
Fonte: Elaborado com base em Box, Hunter e Hunter, 1978, p. 511. 
Segundo esses experimentos, a conclusão óbvia é a de que o rendimento 
máximo da reação química é de aproximadamente 75 g para um tempo de 130 
minutos a 225 ºC. Porém, esse resultado não é necessariamente verdadeiro, uma 
vez que ele não leva em consideração a interação entre os fatores tempo e 
temperatura. Em outras palavras, o engenheiro não conseguiu captar como o 
rendimento da reação química varia quando são variados simultaneamente os 
fatores tempo e temperatura. 
 
 
4 
Veja, na Figura 3, uma possível condição real da variação do rendimento 
da reação química com a temperatura e com o tempo. Percebe-se que os 
experimentos OFAT correspondem às linhas tracejadas e, fica evidente – vendo 
a figura completa – que o rendimento de 75 g está longe de ser o maior rendimento 
possível da reação (rendimento este que é, de fato, aproximadamente 91 g). 
Experimentos planejados servem para estudar toda essa gama de possibilidades, 
incluindo as interações entre fatores, com o melhor custo-benefício possível, de 
maneira organizada, seguindo uma metodologia estatisticamente consistente. 
Figura 3 – Possível resposta real para o rendimento da reação química 
 
Fonte: Elaborado com base em Box, Hunter e Hunter, 1978, p. 512. 
A desconsideração das interações entre fatores do experimento pode levar, 
conforme visto, a conclusões erradas. Mas repare, além disso, que as hipóteses 
de fatores que levam à mudança de rendimento da reação química foram muito 
limitadas (apenas dois fatores). Não é incomum realizarmos hipóteses sobre 
vários fatores influenciando em uma resposta (fatores esses que aparecem em 
destaque em nosso mapa de produto e mapa de processo). Nesses casos, a 
execução de experimentos na base da tentativa e erro (ou mesmo utilizando o 
OFAT) é desastrosa, pois falta uma metodologia científica estruturada para 
tirarmos conclusões sobre o impacto da variação de cada fator. O método para tal 
é a execução de experimentos fatoriais. 
 
 
 
5 
TEMA 2 – EXPERIMENTOS FATORIAIS E EFEITOS INDIVIDUAIS 
Quando falamos em experimentos planejados, nos referimos sempre a 
fatores com variação em algum número de níveis. Os fatores são, tipicamente, 
variáveis identificadas nos mapas de processo e de produto, as quais queremos 
descobrir o efeito de suas variações. Os níveis são variações impostas pelo 
planejador do experimento para cada fator (como a escolha de variação de 
temperatura e do tempo, realizada pelo engenheiro químico em sua análise 
OFAT). 
Por exemplo, se quisermos entender a influência de três fatores em um 
processo, variando cada um em dois níveis, temos o total de 23 = 8 combinações 
possíveis entre os seis níveis em questão (níveis “+” e “−“ atribuídos a cada fator). 
Isso se chama experimento fatorial e nos dá informações completas em relação 
aos fatores e níveis testados. 
É possível que um fator tenha mais de dois níveis, mas, geralmente, vale 
mais a pena fazer mais planejamentos com fatores de dois níveis do que utilizar 
um número maior de níveis em algum fator de um experimento, por conta do 
custo-benefício da modelagem. 
Para entender o conceito de experimentos fatoriais, vamos nos referir, por 
conta de sua didática, ao exemplo de Box e Bisgaard (1987). Considere o seguinte 
planejamento experimental de um processo de têmpera de molas no qual os 
fatores temperatura do óleo de têmpera (O), percentual de carbono no aço (C) e 
temperatura do aço (T) variam em dois níveis cada e a variável resposta é a 
porcentagem de molas sem trincas. A Tabela 1 mostra esse planejamento e os 
resultados dos ensaios. 
Tabela 1 – Planejamento e dados coletados de experimento fatorial 
Rodada O 
Temp. Óleo 
C 
% carbono 
T 
Temp. Aço 
Molas sem 
trincas 
Dia do 
ensaio 
1 70 0,50 1450 67% 1 
2 70 0,50 1600 79% 2 
3 70 0,70 1450 61% 2 
4 70 0,70 1600 75% 1 
5 120 0,50 1450 59% 2 
6 120 0,50 1600 90% 1 
7 120 0,70 1450 52% 1 
8 120 0,70 1600 87% 2 
 
 
6 
Fonte: Elaborado com base em Box e Bisgaard, 1987, p. 17. 
Podemos representar um experimento fatorial com três fatores de dois 
níveis cada, como o cubo da Figura 4. Os ensaios com temperatura do aço no 
nível (–) estão localizados na face esquerda do cubo; os ensaios com a maior 
temperatura do aço (+) estão localizados na face direita do cubo. Baixo teor de 
carbono na face de baixo do cubo, alto teor de carbono na face superior. Ensaios 
com 70ºF para a temperatura do óleo na face frontal, 120ºF na face traseira. 
Figura 4 – Representação gráfica do experimento 23 
 
Fonte: Elaborado com base em Box e Bisgaard, 1987, p. 19. 
Uma das características principais de experimentos planejados é o cálculo 
dos efeitos individuais de cada fator. Repare que o efeito individual da temperatura 
do aço está embutido em cada par de resultados (+) e (–) para esse fator. Em 
cada par, uma das leituras reflete o ensaio à alta temperatura do aço enquanto a 
outraà baixa temperatura, porém, em cada par, os outros fatores se mantêm 
constantes. Os pares de resultados variando-se a temperatura do aço e mantendo 
os demais fatores constantes são indicados na Figura 5: 
Calculamos o efeito principal fazendo: 
𝐸𝐸𝐸𝐸𝐸𝐸𝐸𝐸𝐸𝐸𝐸𝐸 𝑃𝑃𝑃𝑃𝐸𝐸𝑃𝑃𝑃𝑃𝐸𝐸𝑃𝑃𝑃𝑃𝑃𝑃 = 𝑦𝑦�+ − 𝑦𝑦�− (1) 
Repare que poderíamos realizar os cálculos individualmente: (79 − 67) =
12, (75 − 61) = 14, (90 − 59) = 31 e (87 − 52) = 35; depois, fazer a média 
 
 
7 
desses efeitos que, nesse exemplo, é calculada em 23. Ou podemos utilizar a 
Equação 1 e fazer a média da face direita menos a média da face esquerda; faça 
as contas e veja que o resultado é o mesmo. 
Figura 5 – Pares de valores para estimativas do efeito individual de T 
 
Fonte: Elaborado com base em Box e Bisgaard, 1987, p. 19. 
Repetindo o mesmo procedimento para os outros fatores, obtemos: 
 𝑇𝑇 (𝐸𝐸𝐸𝐸𝑡𝑡𝑃𝑃𝐸𝐸𝑃𝑃𝑃𝑃𝐸𝐸𝑡𝑡𝑃𝑃𝑃𝑃 𝑑𝑑𝐸𝐸 𝑃𝑃ç𝐸𝐸) + 23 
𝐸𝐸𝐸𝐸𝐸𝐸𝐸𝐸𝐸𝐸𝐸𝐸 𝑃𝑃𝑃𝑃𝐸𝐸𝑃𝑃𝑃𝑃𝐸𝐸𝑃𝑃𝑃𝑃𝑃𝑃 𝐶𝐶 (𝐸𝐸𝐸𝐸𝐸𝐸𝑃𝑃 𝑑𝑑𝐸𝐸 𝑃𝑃𝑃𝑃𝑃𝑃𝑐𝑐𝐸𝐸𝑃𝑃𝐸𝐸) − 5 (2) 
 𝑂𝑂 (𝐸𝐸𝑡𝑡𝑃𝑃𝐸𝐸𝑃𝑃𝑃𝑃𝐸𝐸𝑡𝑡𝑃𝑃𝑃𝑃 𝑑𝑑𝐸𝐸 ó𝑃𝑃𝐸𝐸𝐸𝐸) + 1,5 
Veja que, “utilizando um experimento fatorial, com apenas 8 ensaios somos 
capazes de testar cada um dos três fatores com a mesma precisão que em um 
experimento OFAT que possui três vezes mais ensaios; dessa forma, 
experimentos fatoriais reduzem drasticamente o número de ensaios necessários 
sem sacrificar a precisão” Box e Bisgaard (1987, p. 21). 
TEMA 3 – ESTIMATIVA DAS INTERAÇÕES 
Podemos calcular, também, o efeito das interações entre fatores. Esse 
cálculo é uma das principais vantagens, além do evidente custo-benefício, de 
 
 
8 
trabalharmos com experimentos planejados. Fazemos isso pegando a variação 
em relação a outro fator dos efeitos principais do primeiro fator. Acompanhe por 
meio do exemplo e da Figura 6: utilizando 𝑇𝑇 como primeiro fator e 𝑂𝑂 como o 
segundo, fazemos a média das variações de 𝑇𝑇 quando 𝑂𝑂(+) é fixado e subtraímos 
da média das variações de 𝑇𝑇 quando 𝑂𝑂(−) é fixado: (31 + 35)/2 = 33 subtraído 
de (12 + 14)/2 = 13, cujo resultado dá 20. Como estamos realizando uma 
estimativa da interação 𝑇𝑇𝑂𝑂, utilizamos a variação média e, por isso, dividimos o 
resultado por 2, obtendo o valor de 10. 
Figura 6 – Representação do cálculo de estimativa da interação entre T e O 
 
Fonte: Elaborado com base em Box e Bisgaard, 1987, p. 19. 
Assim, calculando todos os efeitos principais e efeitos de interações, temos: 
 𝑇𝑇 + 23 
𝐶𝐶 − 5 
 𝑂𝑂 + 1,5 
(3) 
𝑇𝑇𝐶𝐶 + 1,5 
𝑂𝑂𝐶𝐶 0,0 
𝑇𝑇𝑂𝑂 + 10 
Repare que, desse resultado, vemos que o fator de maior importância é o 
fator 𝑇𝑇, seguido da interação 𝑇𝑇𝑂𝑂. Além disso, apesar de menos importante, vemos 
que o aumento da concentração de carbono contribui negativamente para a 
 
 
9 
variável resposta, indicando que um menor teor tende a geral molas com menos 
trincas. Esses dados são melhor representados em um diagrama de Pareto, em 
que 𝐶𝐶 é representado em módulo, pois estamos interessados em ver graficamente 
e de maneira rápida o tamanho do impacto de cada fator e não se o fator impacta 
positiva ou negativamente a resposta final: 
Figura 7 – Diagrama de Pareto para efeitos e interações de segunda ordem 
 
Fonte: Ribeiro, 2021. 
Os cálculos dos efeitos principais e das interações podem ser realizados 
de maneira simplificada (da forma que fizemos na Equação 1), para o experimento 
fatorial 23 de acordo com o padrão geométrico de contrastes: 
 
 
 
10 
Figura 8 – Padrão geométrico de contrastes para experimento 23 
 
Fonte: Elaborado com base em Box, Hunter e Hunter, 1978, p. 312. 
Vimos que há variações aleatórias em todos os processos naturais. Uma 
maneira de contornar efeitos “indesejados” de variações aleatórias em 
experimentos planejados é utilizando um planejamento em blocos e com 
randomização. 
Imagine que tenhamos capacidade de realizar apenas quatro experimentos 
por dia, de forma que esse planejamento deve ser realizado em dois dias. Repare 
a forma que o experimento foi realizado em relação aos dias 1 e 2 de experimento, 
na Tabela 1 ou nos círculos (dia 1) e quadrados (dia 2) da Figura 4. A maneira 
balanceada de realizar esses experimentos em cada dia é uma estratégia de 
bloco, pensada para evitar efeitos de aleatoriedade de determinado dia (por 
exemplo, recalcule os efeitos adicionando um valor qualquer – e sempre esse 
mesmo valor – nos resultados que estão dentro dos círculos; você verá que o 
tamanho dos efeitos são os mesmos). Nesse arranjo, o efeito do bloco está 
confundido com a interação de terceira ordem; dizemos, assim, que há um 
confundimento. Geralmente, interações de terceira ordem não são relevantes 
por ser difícil de serem associadas a um fenômeno físico. 
 
 
11 
Agora, pensando em um dia de execução, queremos randomizar os 
experimentos, ou seja, realizá-los em uma ordem aleatória. Dessa forma, o 
experimento estará mais protegido contra o aparecimento de padrões que podem 
tendenciar os resultados. A randomização é uma estratégia de atenuação de 
ruídos. 
Podemos, também, criar gráficos de interações de segunda ordem. 
Considere a Tabela 2 uma adaptação da Tabela 1 com os níveis indicados com 
os símbolos (+) e (−): 
Tabela 2 – Forma alternativa de representação de níveis 
Rodada O 
Temp. Óleo 
C 
% carbono 
T 
Temp. Aço 
Molas sem 
trincas 
Dia do 
ensaio 
1 − − − 67% 1 
2 − − + 79% 2 
3 − + − 61% 2 
4 − + + 75% 1 
5 + − − 59% 2 
6 + − + 90% 1 
7 + + − 52% 1 
8 + + + 87% 2 
Fonte: Elaborado com base em Box e Bisgaard, 1987, p. 17. 
Observe o gráfico apresentado na Figura 9. Esse gráfico mostra a interação 
entre os fatores T e O. Repare que temos no eixo “y” o valor dos experimentos 
realizados (porcentagem de molas sem trincas) e colocamos a variação de T no 
eixo “x”. Cada uma das linhas traçadas se refere ao fator O, a linha vermelha para 
a condição O(−) e a linha azul para a condição O(+). Para traçarmos essas linhas, 
devemos realizar as médias para a obtenção de cada um dos quatro pontos, 
seguindo a escala de cores apresentada na Tabela 3, abaixo: 
 
 
 
12 
Tabela 3 – Indicações para construção do gráfico de interações T e O 
Rodada O 
Temp. Óleo 
C 
% carbono 
T 
Temp. Aço 
Molas sem 
trincas 
Dia do 
ensaio 
1 − − − 67% 1 
2 − − + 79% 2 
3 − + − 61% 2 
4 − + + 75% 1 
5 + − − 59% 2 
6 + − + 90% 1 
7 + + − 52% 1 
8 + + + 87% 2 
Fonte: Elaborado com base em Box e Bisgaard, 1987, p. 17. 
Figura 9 – Gráfico das interações entre os fatores T e O 
 
Fonte: Ribeiro, 2021. 
Concluímos, da Figura 9, pelo fato de as retas se cruzarem, que há algum 
nível de interação entre os fatores T e O. Já sabíamos disso, pois havíamos 
calculado o efeito da interação TO com valor +10 o que, por sinal, foi a maior 
interação entre os fatores. Para análise comparativa, veja, na Figura 10, o gráfico 
de interação entre O e C, cujo cálculo de estimativa OC é de 0. As linhas são 
paralelas, o que indica uma ausência de interação entre os fatores, justificada pelo 
cálculo de sua estimativa 
 
 
 
13 
Figura 10 – Gráfico das interações entre os fatores O e C 
 
Fonte: Ribeiro, 2021. 
TEMA 4 – VALOR P 
Há, na estatística, uma teoria chamada de teste de hipóteses. Não 
entraremos em detalhes sobre a teoria estatística1 neste curso, mas se quisermos 
evitar a dúvida de quão longe nosso teste de hipóteses está de um nível de 
significância 𝛼𝛼 definido, usamos o conceito de valor P (que vem de probability 
value, ou p value). O valor P é o menor nível de significância que levaria a rejeição 
da hipótese nula 𝐻𝐻0. A interpretação usual do valor P é: 
• 𝑃𝑃 < 0,01 evidência muito forte 
• 0,01 ≤ 𝑃𝑃 < 0,05 evidênciamoderada 
• 0,05 ≤ 𝑃𝑃 < 0,10 evidência sugestiva 
• 0,10 ≤ 𝑃𝑃 pouca ou nenhuma evidência real 
Na prática, consideraremos como estatisticamente significativo um fator, 
em um DOE, que apresente valor P menor que 0,05. Esse resultado possui a 
interpretação de que as variações estimadas por meio dos cálculos que vimos ao 
longo desta aula são estatisticamente significativas. Quando o valor P de um fator 
 
1 Necessitaríamos de um curso muito mais longo para abordarmos a teoria estatística de maneira 
recomendável. Por esse motivo, tal abordagem é usualmente rejeitada em cursos e treinamentos 
Six Sigma, especialmente Green Belt. Para mais informações, recomendo um curso de controle 
estatístico da qualidade, como o de Montgomery, 2019. 
 
 
14 
é superior ao valor de 0,05, o interpretamos como estatisticamente pouco 
significativo ou mesmo totalmente insignificante. 
O cálculo do valor P é realizado com base na teoria das distribuições de 
probabilidades e, novamente, não será abordado aqui. Porém, veremos que os 
modelos matemáticos de análises de DOE no JMP apresentarão os valores 
calculados para p-value. Para ele, desejaremos obter significância estatística ao 
obtermos valores inferiores a 0,05. 
Assim, analisamos um DOE de acordo com as estimativas para os fatores 
individuais e suas interações, classificamos essas estimativas por meio do 
diagrama de Pareto e, finalmente, analisamos a significância estatística de cada 
fator ao observar os valores de p-value. 
TEMA 5 – JMP: DOE FATORIAL COMPLETO 
Uma forma genérica de avaliar o resultado de um DOE no JMP consiste 
em colar a tabela no software e buscar a aplicação Fit Model, na guia Analyze. 
Outra maneira é realizando o planejamento dentro do JMP, na guia DOE, 
Classical, Full Factorial Design, para o caso de experimentos fatoriais completos 
(que é o que vimos até o momento) e, após preenchimento das respostas dos 
experimentos, acessar a aplicação Model com o botão direito do mouse e run 
script. 
Para o exemplo de Box e Bisgaard (1987) que abordamos nesta aula, os 
principais gráficos de análise apresentados pelo JMP, de nosso interesse, são: 
Figura 11 – Estimativas e valor P calculados pelo JMP 
 
Fonte: JMP, 2021. 
Veja, na Figura 12, que o valor estimate calculado pelo JMP é exatamente 
a metade2 da estimativa real de cada fator. Ainda temos os valores de p-value 
 
2 O JMP utiliza a metade da estimativa como coeficientes de seu modelo matemático. Para nós, 
basta sabermos que a estimativa real é o dobro do valor dado pelo software. 
 
 
15 
dados na coluna “Prob>|t|”. Repare que nesse DOE observamos significância 
estatística para os fatores T e a interação OT apenas. Isso pode ser diretamente 
depreendido do gráfico de barras, no qual as linhas azuis correspondem ao lugar 
em que o valor P seria 0,05; de forma que as barras que as ultrapassam indicam 
valores menores (e significância estatística) e as barras em seu interior valores 
maiores que 0,05 (e insignificância estatística). 
Podemos, também, plotar o gráfico de probabilidade normal. A 
interpretação desse gráfico, conforme pode ser visto na Figura 12, é de que 
distribuições normais ficam bem ajustadas pela reta. Então, quando possuímos 
pontos que distam bastante da reta, podemos interpretá-los como pontos 
estatisticamente significantes. 
Veja que os fatores O e OT foram identificados como significantes, assim 
como o fator C. Na Figura 11, o valor P para o fator C é de 0,0635. Isso demonstra 
insignificância de acordo com nossa convenção de utilização da referência 0,05 
como limite. No entanto, na realidade, tal nível de valor P demonstra baixa 
significância e, por isso, o fator C acabou sendo identificado como significante no 
gráfico de probabilidade normal. Cabe ao engenheiro decidir, por meio de uma 
análise prática com base em sua experiência na execução dos testes, se o fator 
C é ou não significante. 
Figura 12 – Gráfico de probabilidade normal 
 
Fonte: JMP, 2021. 
 
 
16 
Podemos, também, plotar o diagrama de Pareto e os gráficos de 
interações, apresentados, respectivamente, nas Figuras 13 e 14. Veja a 
correspondência com os valores que calculamos ao longo desta aula. 
Figura 13 – Gráfico de Pareto 
 
Fonte: JMP, 2021. 
Figura 14 – Gráficos de interação 
 
Fonte: JMP, 2021. 
 
 
 
 
17 
REFERÊNCIAS 
BOX, G., BISGAARD, S. The scientific context of quality improvement. Center for 
Quality and Productivity Improvement of University of Wisconsin-Madison, 
Madison, n. 25, p. 1-45, 1987. 
BOX, G. E. P., HUNTER, W. G., HUNTER, J. S. Statistics for experimenters. 1. 
ed. John Wiley & Sons, 1978. 
JMP: Statistical Discovery. Version 14.0.0. [S.1.]: SAS Institute Inc, 2018. 
MONTGOMERY, D. C. Introdução ao controle estatístico da qualidade. 7. ed. 
Rio de Janeiro: LTC, 2019.