Mecanismos para Guiar Estudos Empıricos em Engenharia de Software Um mapeamento Sistemático

Prévia do material em texto

Mecanismos para Guiar Estudos Empı´ricos em Engenharia de
Software: Um Mapeamento Sistema´tico
Adauto Almeida1, Emanoel Barreiros1, Juliana Saraiva1, Se´rgio Soares1
1Centro de Informa´tica (CIn) – Universidade Federal de Pernambuco (UFPE)
Recife – PE – Brazil
{ataf,efsb,jags2,scbs}@cin.ufpe.br
Abstract. Empirical studies have been reported as important mechanisms to
the scientific advance in several research areas, such as social and medical
sciences. In Software Engineering (SE) it has not been different. Since 1986,
when Basili et al. evidenced the importance of experimentation in SE, empirical
studies have grown in attention in the area, fostering the development of tools,
methodologies, and techniques to support them. In this sense, this study presents
a systematic mapping study on the mechanisms that guide empirical studies in
SE, aggregating in an objective and systematic way the knowledge in the area,
pointing gaps, and indicating new studies.
Resumo. Estudos empı´ricos se revelaram importantes mecanismos para o
avanc¸o cientı´fico em diversas a´reas de pesquisa, como, por exemplo, as cieˆncias
sociais e me´dicas. Em Engenharia de Software (ES) na˜o tem sido dife-
rente. Desde 1986, quando Basili et al. evidenciaram a importaˆncia da
experimentac¸a˜o em ES, os estudos empı´ricos veˆm ganhando espac¸o na a´rea
e promovendo o desenvolvimento de ferramentas, metodologias e te´cnicas para
apoiar estes estudos. Dessa forma, este trabalho apresenta um mapeamento
sistema´tico de mecanismos para guiar estudos empı´ricos em ES, reunindo de
forma objetiva e sistema´tica o conhecimento da a´rea, apontando lacunas e in-
dicando propostas de novos estudos.
1. Introduc¸a˜o
Ao longo dos u´ltimos anos e´ observado em Engenharia de Software (ES) um crescente in-
teresse em conduzir Estudos Empı´ricos (EE) para avaliar o uso de novas tecnologias. Tais
estudos teˆm ganhado importaˆncia devido ao apoio a` tomada de decisa˜o fornecido aos pro-
fissionais de ES e a` necessidade da diminuic¸a˜o do prazo de transfereˆncia de tecnologia da
academia para indu´stria. Estas contribuic¸o˜es sa˜o possı´veis devido a` gerac¸a˜o de evideˆncias
sobre eficieˆncia e efica´cia das tecnologias que passam por avaliac¸o˜es sistema´ticas, criando
uma base de conhecimento que pode ser utilizada para auxiliar a decisa˜o sobre o que deve
ou na˜o ser usado no decorrer do desenvolvimento de soluc¸o˜es em ES.
Ambientes de apoio, como o desenvolvido por Travassos et al. (2008), tentam or-
ganizar o processo de execuc¸a˜o e documentac¸a˜o de EE com o objetivo de facilitar a sua
execuc¸a˜o por diversas pessoas em diferentes locais, inclusive com a realizac¸a˜o deles de
forma colaborativa. Tais ambientes tambe´m facilitam a replicac¸a˜o, ja´ que ao utilizar o
ambiente os estudos empı´ricos tendem a ser melhor documentados. A reunia˜o do conhe-
cimento que auxilia o pesquisador a conduzir estudos empı´ricos em ES pode ser u´til para
Proceedings of 8th Experimental Software Engineering Latin American Workshop ESELAW 2011
ISBN pending 37
a concretizac¸a˜o de um mecanismo como o definido por Travassos et al. (2008), ja´ que
poderia fornecer o conhecimento necessa´rio sobre estudos empı´ricos e servir de base para
a construc¸a˜o de guias de refereˆncia.
Em 2004, Kitchenham et al. (2004) introduziram o conceito de Engenharia de
Software Baseada em Evideˆncias (ESBE), que visa promover a integrac¸a˜o entre a pes-
quisa acadeˆmica e a pra´tica na indu´stria. Dentre os passos necessa´rios para a pra´tica de
ESBE [Kitchenham et al. 2004], ha´ o de rastrear as melhores evideˆncias e avaliar critica-
mente a validade, impacto, e aplicabilidade da evideˆncia. Geralmente, estes passos sa˜o
implementados atrave´s de Reviso˜es Sistema´ticas da Literatura (RSL), que podem ser di-
vididas em: (1) RSLs tradicionais ou convencionais, que esta˜o interessadas em reunir re-
sultados de pesquisa relevantes sobre a efica´cia de uma intervenc¸a˜o ou tecnologia e usam
perguntas de pesquisa mais especı´ficas, de escopo mais restrito [Petticrew e Roberts 2005,
Kitchenham e Charters 2007]; (2) mapeamentos sistema´ticos (MS), ou estudos de es-
copo, que visam agregar toda a pesquisa disponı´vel sobre um determinado to´pico ou
a´rea de pesquisa e usam perguntas de pesquisa explorato´rias de escopo mais abran-
gente [Arksey e O’Malley 2005, Petersen et al. 1999]. Ha´ guidelines disponı´veis na li-
teratura para auxiliar a realizac¸a˜o de RSLs [Kitchenham e Charters 2007].
Este trabalho apresenta um mapeamento sistema´tico para identificar mecanismos
que guiem EE em ES. Na Sec¸a˜o 2 sa˜o apresentados trabalhos relacionados. O protocolo
do estudo e´ apresentado na Sec¸a˜o 3. A Sec¸a˜o 4 descreve os resultados, levanta algumas
discusso˜es e discute as ameac¸as a` validade do estudo. Por fim, a Sec¸a˜o 5 discorre sobre
trabalhos futuros e concluso˜es.
2. Trabalhos Relacionados
Inicialmente foi realizada uma revisa˜o informal da literatura a procura de estudos se-
melhantes. Foi encontrado um estudo de 2002 [Freimut et al. 2002], que levanta o es-
tado da arte de EE em ES, mais especificamente de experimentos controlados, estudos
de caso e surveys. Ale´m deste estudo, foram encontrados treˆs livros relacionados ao
tema [Wohlin et al. 2000, Juristo e Moreno 2001, Shull et al. 2007], cada um abordando
algum tipo de EE e tambe´m discutindo sobre o tema de forma geral. Por fim, na˜o foram
encontrados estudos que mapeassem mecanismos para guiar EE em ES de forma sis-
tema´tica, seguindo um protocolo pre´-definido e claro. Diante deste cena´rio, foi decidido
que seria adequado conduzir um MS deste tema.
3. O Me´todo de Pesquisa
Esta sec¸a˜o apresenta as principais deciso˜es tomadas durante o estudo, o processo da busca,
selec¸a˜o e extrac¸a˜o das informac¸o˜es dos Estudos Prima´rios (EP) selecionados.
3.1. Questo˜es de Pesquisa
Para atingir o objetivo deste MS, foram elaboradas as seguintes questo˜es de pesquisa:
• Q1—Quais os mecanismos existentes para guiar EE em ES?
• Q2—Os mecanismos encontrados sa˜o utilizados para guiar que tipo de EE?
• Q3—Quais elementos, fases ou etapas compo˜em os mecanismos utilizados para
guiar os EE em ES?
Proceedings of 8th Experimental Software Engineering Latin American Workshop ESELAW 2011
ISBN pending 38
3.2. Estrate´gia e Processo de Busca
A construc¸a˜o da string de busca, utilizada nas bibliotecas digitais selecionadas, seguiu
a estrate´gia definida por Kitchenham (2006) que identifica as principais palavras-chaves
a partir das perguntas de pesquisa, e utiliza o conector OR para combinar sinoˆnimos e
termos alternativos de cada palavra-chave e o conector AND para combinar as palavras-
chave.
Como resultado da estrate´gia foi obtida a seguinte string de busca:
(framework OR method OR methodology OR guideline OR process OR report OR
reporting OR support OR supporting OR checklist OR tutorial) AND (empirical OR
experiment OR experimentation OR experimental OR survey OR “case study” OR
“action research” OR ethnography OR “controlled experiment” OR quasi-experiment
OR “quasi experiment”) AND (“software engineering”)
O processo utilizado para procurar por EP incluiu buscas automatizadas atrave´s
dos engenhos de busca das bibliotecas digitais, onde foi utilizada a string de busca formu-
lada. Tambe´m foram feitas buscas manuais em anais de eventos e um perio´dico, julgados
relevantes pela equipe de pesquisa. A busca manual tem como objetivo ampliar a cober-
tura da pesquisa e dar mais seguranc¸a ao pesquisador. A busca manual pode amenizar
problemas de indexac¸a˜o de artigos recentes por parte das bibliotecas digitais e pode achar
estudos que na˜o utilizam as palavras-chave previstas neste mapeamento. O perı´odo de
tempo da busca manual foilimitado a disponibilidade do material na internet.
As bibliotecas digitais utilizadas na busca automatizada foram: IEEE Computer
Society Digital Library, ACM, Science Direct, Scopus e EI Compendex. As confereˆncias
utilizadas na busca manual foram: Empirical Software Engineering and Measurement
(ESEM), no perı´odo de 2007 a 2010 e Evaluation and Assessment in Software Engineering
(EASE), no perı´odo de 2006 a 2010. Por fim, o perio´dico utilizado na busca manual foi o
Empirical Software Engineering Journal (ESEJ), no perı´odo de 1997 a 2010.
3.3. Crite´rios de Inclusa˜o/Exclusa˜o e Procedimentos de Selec¸a˜o
A inclusa˜o de um trabalho no MS se da´ pela sua relevaˆncia em relac¸a˜o a`s questo˜es in-
vestigadas. Os crite´rios de inclusa˜o adotados pelo estudo foram: (1) estudos que definem
um mecanismo para guiar estudos empı´ricos; (2) estudos que esta˜o relacionados a` en-
genharia de software. Os crite´rios de exclusa˜o adotados pelo estudo foram: (1) estudos
irrelevantes para a pesquisa, ou seja, aqueles que na˜o definem nenhum mecanismo para
guiar um estudo empı´rico; (2) estudos repetidos, neste caso a primeira fonte de pesquisa
foi considerada; (3) estudos incompletos, como apenas resumos, resumos expandidos e
apresentac¸o˜es (slides).
O procedimento adotado para selec¸a˜o dos EP desta pesquisa foi dividido em duas
etapas. Na primeira etapa, Adauto Almeida (AA) e Emanoel Barreiros (EB) analisaram
o conjunto de estudos obtidos atrave´s das bibliotecas digitais, levando em considerac¸a˜o
o tı´tulo, resumo e palavras-chave. Ao fim desta etapa, os estudos claramente irrelevantes
para a pesquisa foram excluı´dos. Se alguma du´vida sobre a relevaˆncia do estudo fosse
levantada, o mesmo era incluı´do. A partir dos resultados individuais de AA e EB uma
tabela de conflitos e consensos foi gerada e discutida entre os pesquisadores Se´rgio So-
ares (SS), AA e EB em uma reunia˜o de resoluc¸a˜o de conflitos. No fim, um conjunto de
potenciais EP foi gerado.
Proceedings of 8th Experimental Software Engineering Latin American Workshop ESELAW 2011
ISBN pending 39
Na segunda etapa de selec¸a˜o foram obtidos todos os artigos completos do con-
junto de estudos potencialmente relevantes resultantes da primeira etapa. Este conjunto
foi dividido em duas partes iguais, de modo que cada parte fosse avaliada por dois pes-
quisadores (AA e Juliana Saraiva (JS), EB e JS) a fim de gerar o conjunto final de EP do
mapeamento. Ao fim das avaliac¸o˜es das duas duplas foi novamente gerada uma tabela de
conflitos e consensos, que foi discutida em outra reunia˜o de resoluc¸a˜o de conflitos, com a
participac¸a˜o de AA, EB, JS e SS.
3.4. Processo de Extrac¸a˜o dos Dados
A extrac¸a˜o de dados foi realizada com o auxı´lio de planilhas eletroˆnicas que conti-
nham formula´rios para extrair trechos dos EP selecionados. Estes trechos serviram como
evideˆncias visando responder as questo˜es de pesquisa propostas. Ale´m disso, foram ex-
traı´das informac¸o˜es gerais dos estudos como: tı´tulo, autores, ano de publicac¸a˜o e paı´ses
das instituic¸o˜es as quais os autores eram filiados quando da publicac¸a˜o do EP.
4. Resultados e Discusso˜es
4.1. Informac¸o˜es Gerais dos Estudos Prima´rios
Ao fim da primeira etapa da selec¸a˜o, a quantidade de estudos foi reduzida de 7101 para
114. Assim, foi viabilizada uma melhor ana´lise do material descartando os estudo identi-
ficados como irrelevantes de acordo com os crite´rios de inclusa˜o e exclusa˜o apresentados
na Sec¸a˜o 3.3. Apo´s a realizac¸a˜o da segunda etapa de selec¸a˜o, ou seja, posteriormente a`
leitura completa dos estudos, o conjunto foi reduzido de 114 para 23 estudos prima´rios. A
Tabela 1 mostra de forma sinte´tica e clara a evoluc¸a˜o do processo de selec¸a˜o dos estudos
prima´rios (as fontes de busca sa˜o listadas em ordem de utilizac¸a˜o).
Tabela 1. Evoluc¸a˜o do processos de selec¸a˜o.
Selec¸a˜o de Estudos Prima´rios
Fontes
Estudos
Retornados
#1 Selec¸a˜o
#2 Selec¸a˜o
Excluı´dos Incluı´dos
Estudos Potencialmente Relevantes Ir
re
le
v
an
te
s
R
ep
et
id
o
s
In
co
m
p
le
to
S
em
A
ce
ss
o
Estudos Prima´rios
IEEE 729 (10%) 19 (17%) 9 0 3 0 7 (30%)
ACM 374 (05%) 17 (15%) 4 3 3 0 7 (26%)
SD 307 (04%) 5 (04%) 2 0 0 1 2 (09%)
Scopus 261 (04%) 12 (10%) 3 4 3 0 2 (09%)
EC 4768 (67%) 48 (42%) 19 19 4 2 4 (22%)
ESEM 236 (04%) 1 (01%) 0 1 0 0 0 (00%)
EASE 70 (01%) 2 (02%) 1 0 0 0 1 (04%)
ESEJ 356 (05%) 10 (09%) 2 6 2 0 0 (00%)
TOTAL 7101 (100%) 114 (100%) 40 33 15 3 23 (100%)
Uma observac¸a˜o interessante pode ser feita em relac¸a˜o a` quantidade de estudos
retornados pelo EI Compendex, dominante na busca inicial (levando em considerac¸a˜o a
busca manual) com 67% do trabalhos retornados e 42% apo´s a leitura do tı´tulo e abstract
dos trabalhos. No entanto, o mesmo ficou com uma fatia de apenas 22% dos trabalhos
prima´rios selecionados, sendo superado pelo IEEE com 30% e ACM com 26%. Isso
pode ser explicado pelo fato do EI Compendex ter sido o u´ltimo engenho de busca a ser
utilizado e por isso teve uma quantidade relevante de trabalhos considerados repetidos
Proceedings of 8th Experimental Software Engineering Latin American Workshop ESELAW 2011
ISBN pending 40
ou duplicados, embora nem todos os trabalhos encontrados pelo engenho de busca da
ACM e do IEEE tenham sido encontrados pelo EI Compendex. O fato de iniciar a busca
pelo IEEE e ACM foi proposital, pois eles sa˜o mecanismos originais de publicac¸a˜o de
trabalhos. Contudo, e´ interessante perceber que mecanismos como o EI Compendex sa˜o
cada vez mais poderosos e no futuro tendem concentrar todas as consultas em apenas um
local, reduzindo o esforc¸o do pesquisador nesta etapa.
Apesar da busca automatizada em engenhos de busca na˜o ter sido limitada a um
perı´odo especı´fico, todos os estudos encontrados esta˜o entre 1986 e 2009, sendo a maioria
concentrados na u´ltima de´cada. Isso evidencia que pesquisas visando viabilizar a melhor
execuc¸a˜o de estudos empı´ricos especı´ficos para ES teˆm aumentado na u´ltima de´cada. O
gra´fico da Figura 1 ilustra a concentrac¸a˜o dos estudos por ano.
Figura 1. Distribuic¸a˜o
dos estudos ao longo dos
anos.
Figura 2. Distribuic¸a˜o pe-
los paı´ses das instituic¸o˜es
dos pesquisadores.
O mapeamento contabilizou 55 autores nos 23 estudos prima´rios Os pesquisado-
res tem origem em 11 paı´ses diferentes, conforme detalhamento da Figura 2. A soma
das publicac¸o˜es de cada paı´s supera a quantidade de estudos selecionados porque alguns
estudos foram desenvolvidos em cooperac¸a˜o entre dois ou mais pesquisadores que tem
origem em instituic¸o˜es de paı´ses distintos. A Tabela 2 apresenta a lista com todos os
estudos prima´rios.
4.2. Respondendo as Questo˜es de Pesquisa
Nesta sec¸a˜o e´ apresentado um resumo dos resultados deste mapeamento sistema´tico or-
ganizado de acordo com as treˆs perguntas de pesquisa.
Q1: Quais os mecanismos existentes para guiar estudos empı´ricos em ES?
Esta questa˜o visa descobrir o que foi desenvolvido especificamente para guiar es-
tudos empı´ricos em ES. O mapeamento identificou oito tipos diferentes de mecanismos
para guiar estudos empı´ricos, distribuı´dos da seguinte forma pelos estudos prima´rios: gui-
delines (29%), lic¸o˜es aprendidas (29%), frameworks (13%), me´todos (8,5%), processos
(8,5%), paradigmas (4%), te´cnicas (4%) e templates (4%). Esta pesquisa na˜o objetiva rea-
lizar uma ana´lise profunda nos estudos prima´rios selecionados afim de constatar se o tipo
de mecanismo declarado por cada um deles sa˜o equivalentes entre si ou com as definic¸o˜es
dadas pela comunidade cientı´fica a tais mecanismo.
Proceedings of 8th Experimental Software Engineering Latin American Workshop ESELAW 2011ISBN pending 41
Tabela 2. Lista dos estudos prima´rios selecionados.
ID Fonte Refereˆncia
EP01 Scopus Victor R. Basili, Richard W. Selby and David H. Hutchens. Experimentation in software engineering. IEEE Trans. Softw. Eng., 12(7):733-743, 1986.
EP02 ACM Manoel Mendonc¸a, Daniela Cruzes, Josemeire Dias and Maria Cristina Ferreira de Oliveira. Using observational pilot studies to test and improve lab
packages. In Proceedings of the ACM/IEEE international symposium on Empirical software engineering, ISESE ’06, pages 48-57, New York, NY,
USA, 2006. ACM.
EP03 IEEE Teade Punter, Marcus Ciolkowski, Bernd Freimut and Isabel John. Conducting on-line surveys in software engineering. In Proceedings of the
International Symposium on Empirical Software Engineering, ISESE ’03, page 80, Washington, DC, USA, 2003. IEEE Computer Society.
EP04 ACM Shari L. Pfleeger and Barbara A. Kitchenham. Principles of survey research: part 1: turning lemons into lemonade. SIGSOFT Softw. Eng. Notes,
26(6):16-18, November 2001.
EP05 ACM Barbara A. Kitchenham and Shari L. Pfleeger. Principles of survey research part 2: designing a survey. SIGSOFT Softw. Eng. Notes, 27(1):18-20,
January 2002.
EP06 ACM Barbara A. Kitchenham and Shari L. Pfleeger. Principles of survey research part 3: constructing a survey instrument. SIGSOFT Softw. Eng. Notes,
27(2):20-24, March 2002.
EP07 ACM Barbara A. Kitchenham and Shari L. Pfleeger. Principles of survey research part 4: questionnaire evaluation. SIGSOFT Softw. Eng. Notes, 27(3):20-
23, May 2002.
EP08 ACM Barbara A. Kitchenham and Shari L. Pfleeger. Principles of survey research part 5: populations and samples. SIGSOFT Softw. Eng. Notes,
27(5):17-20, September 2002.
EP09 ACM Barbara A. Kitchenham and Shari L. Pfleeger. Principles of survey research part 6: data analysis. SIGSOFT Softw. Eng. Notes, 28(2):24-27, March
2003.
EP10 IEEE Koji Torii, Ken-ichi Matsumoto, Kumiyo Nakakoji, Yoshihiro Takada, Shingo Takada and Kazuyuki Shima. Ginger2: An environment for computer-
aided empirical software engineering. IEEE Trans. Softw. Eng., 25:474-492, July 1999.
EP11 IEEE R. Conradi, J. Li, O.P.N. Slyngstad, V.B. Kampenes, C. Bunse, M. Morisio, and M. Torchiano. Reflections on conducting an international survey of
software engineering. In International Symposium on Empirical Software Engineering, page 10 pp., 2005.
EP12 IEEE Barbara A. Kitchenham, Shari L. Pfleeger, Lesley M. Pickard, Peter W. Jones, David C. Hoaglin, Khaled El Emam, and Jarrett Rosenberg. Preliminary
guidelines for empirical research in software engineering. IEEE Trans. Softw. Eng., 28:721-734, August 2002.
EP13 IEEE Miguel Goulao and Fernando B. e Abreu. Modeling the experimental software engineering process. In Proceedings of the 6th International Conference
on Quality of Information and Communications Technology, pages 77-90, Washington, DC, USA, 2007. IEEE Computer Society.
EP14 IEEE Carolyn B. Seaman. Qualitative methods in empirical studies of software engineering. IEEE Trans. Softw. Eng., 25(4):557-572, 1999.
EP15 IEEE J.M. Verner, J. Sampson, V. Tosic, N.A.A. Bakar, and Barbara A. Kitchenham. Guidelines for industrially-based multiple case studies in software
engineering. In Third International Conference on Research Challenges in Information Science (RCIS)., pages 313 -324, april 2009.
EP16 SD Andreas Zendler, Erika Horn, Heinz Schwa¨rtzel, and Erhard Plo¨dereder. Demonstrating the usage of single-case designs in experimental software
engineering. Information & Software Technology, 43(12):681-691, 2001.
EP17 SD Helen M. Edwards, Sharon McDonald, and S. Michelle Young. The repertory grid technique: Its place in empirical software engineering research.
Inf. Softw. Technol., 51(4):785-798, April 2009.
EP18 EC Per Runeson and Martin Ho¨st. Guidelines for conducting and reporting case study research in software engineering. Empirical Softw. Engg. Journal,
14:131-164, April 2009.
EP19 EC Victor R. Basili and Richard W. Selby. Paradigms for experimentation and empirical studies in software engineering. Reliability Engineering and
System Safety, 32(1-2):171-191, 1991.
EP20 EC WEMohamed, C J Sadler, and D Law. Experimentation in software engineering: A new framework. In Proceedings of Software Quality Management,
Elsevier Science and CMP, Southampton, pages 417-430, 1993.
EP21 EC Shaochun Xu and Va´clav Rajlich. Dialog-based protocol: an empirical research method for cognitive activities in software engineering. Empirical
Software Engineering, International Symposium on, pages 0-10, 2005
EP22 Scopus Barbara A. Kitchenham, Lesley Pickard, and Shari L. Pfleeger. Case studies for method and tool evaluation. IEEE Softw., 12:52-62, July 1995.
EP23 EASE Pearl Brereton, Barbara A. Kitchenham, David Budgen, and Zhi Li. Using a protocol template for case study planning. In 12th International
Conference on Evaluation and Assessment in Software Engineering (EASE), 2008.
Um fato constatado a partir da ana´lise deste resultado e´ que mais da metade, cerca
de 58%, dos estudos prima´rios esta˜o concentrados em dois tipos de mecanismos: os gui-
delines e as lic¸o˜es aprendidas. Estes mecanismos teˆm origem na pra´tica vivenciada pelos
pesquisadores da a´rea e, em alguns casos, em pra´ticas de pesquisadores de outras a´reas
que possuem afinidade com a pesquisa empı´rica.
Q2: Os mecanismos encontrados sa˜o utilizados para guiar que tipo de estudo
empı´rico?
Esta questa˜o visa classificar os mecanismos encontrados pelos tipos de estudos
empı´ricos que eles guiam. O mapeamento se limitou aos seis tipos de estudos citados por
Easterbrook et al. (2007), sa˜o eles: experimentos controlados, quasi-experimentos, estu-
dos de caso, survey, pesquisa-ac¸a˜o e etnografia. Aqueles estudos que na˜o foram desen-
volvidos especificamente para um dos tipos de estudo acima citados foram classificados
como relacionados a` pesquisa empı´rica. Na resposta da pro´xima questa˜o e´ possı´vel iden-
tificar a distribuic¸a˜o dos estudos prima´rios selecionados pelos tipos de estudos empı´ricos
usados nesta pesquisa.
Q3: Quais elementos, fases ou etapas compo˜em os mecanismos utilizados para
guiar os estudos empı´ricos em ES?
Esta pergunta de pesquisa visa descobrir como foram estruturados os mecanismos
encontrados para guiar estudos empı´ricos em ES, ou seja, quais as etapas, fases ou ele-
Proceedings of 8th Experimental Software Engineering Latin American Workshop ESELAW 2011
ISBN pending 42
mentos que compo˜em esses mecanismos. As evideˆncias coletadas para responder esta
pergunta sa˜o apresentadas abaixo, os estudos foram divididos por tipo de estudo que eles
guiam.
Experimentos Controlados
EP02: Definition, Planning, Testing, Operation, Analysis e Packaging.
EP20: Experimentation Viability, Experimentation Management e Experimenta-
tion Procedures.
Survey
EP03: Study definition, Study design, implementation, Execution, Analysis e Pac-
kaging.
EP04/05/06/07/08/09 (Estes estudos fazem parte de um se´rie intitulada Principles
of survey research): Setting specific, measurable objectives, Planning and scheduling the
survey, Ensuring that appropriate resources are available, Designing the survey, Pre-
paring the data collection instrument Validating the instrument, Selecting participants,
Administering and scoring the instrument, Analyzing the data e Reporting the results.
EP11: Definition of population, Make a sample, Questionnaire design e Company
contact process.
Estudo de Caso
EP15: Research Initiation or Pre-planning, Administration, Focus case study or
Planning, Design case study plan, Data collection, Data analysis (including evaluation
and conclusions) e Reporting.
EP16: Collecting data, Establishing a base line, Controlling carry-over effects,
Testing data dependency, Testing change in level e Validityof results.
EP18: Case study design, Preparation for data collection, Collecting evidence,
Analysis of collected data e Reporting.
EP22: Define the hypothesis, Select the pilot projects, Identify the method of com-
parison, Minimize the effect of confounding factors, Plan the case study, Monitor the case
study against the pla e Analyze and report the results.
EP23: Background, Design, Case Selection, Case Study Procedures and Roles,
Data Collection, Analysis, Study Limitations, Plan Validity, Study Limitations, Reporting,
Schedule e Appendices.
Pesquisa Empı´rica
EP01: Definition, Planning, Operation e Interpretation.
EP12: Experimental context, Experimental design, Conduct of the experiment,
Data collection, Analysis, Presentation of results e Interpretation of results.
EP13: Requirements definition, Design planning, Data collection, Data Analysis
e Results packaging.
Proceedings of 8th Experimental Software Engineering Latin American Workshop ESELAW 2011
ISBN pending 43
EP14: Este artigo na˜o forneceu uma estrutura clara.
EP17: Element selection, Elicitation of constructs, The process of construct elici-
tation, Rating elements and constructs, Administration process, Conduct the data collec-
tion process e Analyse the data collected.
EP19: Improvement paradigm: Characterizing the environment, Planning, Exe-
cution, Analysis e Learning and feedback; Goal-question-metric paradigm: Goal, Ques-
tions, Metrics; Experimentation framework paradigm: Definition, Planning, Operation e
interpretation; Classification paradigm: Data management and calibration, Classification
tree generation e analysis and feedback.
EP21: Using dialog in a task, Recording the dialog, Transcribing, Separating
episodes e Classifying cognitive activities.
EP10: Needs Analysis, Experiment Design, Experimentation, Data Analysis e
Packaging
4.3. Fatos Relevantes e Hipo´teses
Os estudos prima´rios esta˜o distribuı´dos da seguinte forma entre os tipos de estudos
empı´ricos: pesquisa empı´rica (35%), survey (35%), estudos de caso (22%) e experimen-
tos controlados (8%). E´ importante notar que, treˆs tipos de estudos empı´ricos na˜o foram
citados pelos guias selecionados: quasi-experimento, pesquisa-ac¸a˜o e etnografia. Algu-
mas hipo´teses sa˜o levantadas na tentativa de explicar o ocorrido a seguir (confirmar tais
hipo´teses na˜o e´ a intenc¸a˜o deste estudo).
A auseˆncia de quasi-experimentos pode ser explicada pelos estudos que foram
selecionados para experimento controlado, ja´ que eles podem ser usados para guiar quasi-
experimentos devido a` semelhanc¸a entre os dois tipos de estudos. Para pesquisa-ac¸a˜o e
etnografia o que pode ser afirmado com este mapeamento sistema´tico e´ que na˜o foram
encontrados guias especı´ficos para ES que abordem estes dois tipos de estudos empı´ricos.
No entanto, algumas hipo´teses podem ser levantadas para explicar essa careˆncia: (1) po-
dem ser estudos empı´ricos pouco executados em ES e, portanto, a comunidade cientı´fica
ligada a ES ainda na˜o desenvolveu guias especı´ficos para eles, o que pode ser confirmado
com uma pesquisa na literatura por estes tipos de EE; (2) outras a´reas de pesquisa, como
cieˆncias me´dicas e sociais, podem ter mais experieˆncia na execuc¸a˜o destes tipos de es-
tudos empı´ricos quando comparadas a ES. Desta forma, os estudos conduzidos em ES
podem se utilizar de guias oriundos de outras a´reas de conhecimento. Como este mapea-
mento exige que os estudos sejam relacionados a` ES, eventuais guias de outras a´reas na˜o
compo˜em o conjunto de estudos prima´rios. Isto pode ser confirmado atrave´s de uma pes-
quisa na literatura pelos trabalhos que realizaram estes dois tipos de EE em ES e verificar
em que estudos os pesquisadores se basearam para planejar seus trabalhos; (3) estudos
que apresentem guias para estes dois tipos de estudos simplesmente na˜o foram captura-
dos pelo processo de busca, o que configura uma ameac¸a a` validade. Tais ameac¸as sa˜o
discutidas na Sec¸a˜o 4.4.
A u´ltima questa˜o, Q3, visa identificar a estrutura proposta pelos mecanismos en-
contrados para guiar estudos empı´ricos. A questa˜o foi divida por tipos de EE. A partir
da exposic¸a˜o destas estruturas, e´ possı´vel executar outras atividades interessantes para o
desenvolvimento da engenharia de software empı´rica, tais como:
Proceedings of 8th Experimental Software Engineering Latin American Workshop ESELAW 2011
ISBN pending 44
• Identificar problemas nos guias propostos atrave´s da comparac¸a˜o entre eles, per-
mitindo a identificac¸a˜o de pontos de melhoria em ambos e propor novos guias
mais robustos;
• Combinar as estruturas a fim de criar uma estrutura gene´rica que sirva de base
para conduc¸a˜o de estudos empı´ricos;
• A partir de uma estrutura gene´rica, que serviria de refereˆncia para uma ampla
gama de estudos empı´ricos poderiam ser derivadas estruturas, para estudos es-
pecı´ficos, mais robustas e confia´veis e que contemplem as peculiaridades de cada
tipo de estudo empı´rico.
Apo´s observar as estruturas coletadas, e´ possı´vel identificar uma semelhanc¸a entre
elas. Grande parte do estudos tende a seguir um modelo ba´sico composto de cinco etapas:
Definic¸a˜o, Planejamento e Projeto, Execuc¸a˜o, Ana´lise e Empacotamento. A unia˜o de
va´rias caracterı´sticas disponı´veis nos estudos capturados por este mapeamento podem
gerar novos guias que podem ser melhor estruturados. No entanto, tal guia so´ atingiria
plenamente seu objetivo se usado extensiva e rigorosamente pela comunidade a fim de
gerar estudos empı´ricos mais homogeˆneos e dessa forma, mais facilmente compara´veis.
4.4. Ameac¸as a` Validade
A primeira ameac¸a a` validade diz respeito a` estrate´gia de busca. Por causa da utilizac¸a˜o
de busca automatizada, estudos relevantes podem na˜o ter sido incluı´dos no conjunto de
estudos selecionados. Ale´m disso, ha´ o problema de indexac¸a˜o de trabalhos recentes. A
busca manual realizada tenta minimizar esse risco, cobrindo anais disponı´veis de con-
fereˆncias e um perio´dico relevantes para a a´rea. Outro fator que pode ser encarado como
uma ameac¸a e´ a pequena quantidade de estudos prima´rios selecionados. Mesmo na busca
automatizada, sem qualquer restric¸a˜o de perı´odo, apenas 23 estudos prima´rios foram se-
lecionados. A restric¸a˜o dos estudos serem obrigatoriamente relacionados a` ES tambe´m
e´ considerado uma ameac¸a a` validade ja´ que, observando os poucos resultados obtidos,
uma hipo´tese plausı´vel e´ de que os pesquisadores de ES usem guias de outras a´reas de
pesquisa. E por fim, a utilizac¸a˜o dos seis tipos de estudos citados por Easterbrook et
al. (2007) pode ser considerado tambe´m uma ameac¸a a validade, pois dessa forma outros
tipos de estudos ficaram fora do escopo da pesquisa.
5. Considerac¸o˜es finais
Este artigo apresentou um mapeamento sistema´tico que visou encontrar mecanismos para
guiar estudos empı´ricos em ES. Um conjunto de 7101 estudos foi analisado, onde 23
foram selecionados como estudos relevantes para o mapeamento. A partir dos estudos
selecionados foram levantadas hipo´teses para se investigar alguns fatos destacados pelas
discusso˜es. Uma estrutura para guiar estudos empı´ricos que apareceu de forma recorrente
nos estudos tambe´m foi apresentada.
Era esperado encontrar mais guias sobre estudos empı´ricos em ES, ja´ que tais estu-
dos sa˜o apresentados como essenciais para o desenvolvimento da a´rea. No entanto, devido
a alguns fatores restritivos impostos a esta pesquisa e possivelmente devido a` adoc¸a˜o de
guias de outras a´reas de pesquisa pela comunidade de ES, este mapeamento pode na˜o ter
sido capaz captura´-los. Em trabalhos futuros pretende-se realizar uma busca atrave´s das
refereˆncias dos estudos prima´rios encontradose ampliar o escopo do mapeamento reti-
rando a restric¸a˜o do guia ter que ser especificamente desenvolvido para ES. Uma avaliac¸a˜o
Proceedings of 8th Experimental Software Engineering Latin American Workshop ESELAW 2011
ISBN pending 45
da qualidade dos artigos selecionados tambe´m pode ser feita no futuro com a intenc¸a˜o de
avaliar se os tipos de mecanismos declarados neles sa˜o equivalentes entre si e se esta˜o em
conformidade com as definic¸o˜es dadas a tais mecanismos pela comunidade cientı´fica da
a´rea.
6. Agradecimentos
Adauto e Juliana foram apoiados pela FACEPE, Emanoel pelo CNPq e Se´rgio parcial-
mente pelo CNPq (305085/2010-7) e FACEPE (APQ-0093-1.03/08). Este trabalho foi
apoiado parcialmente pelo Instituto Nacional de Cieˆncia e Tecnologia para Engenharia de
Software (INES1), financiado pelo CNPq e FACEPE, processos 573964/2008-4 e APQ-
1037-1.03/08.
Refereˆncias
Arksey, H. e O’Malley, L. (2005). Scoping studies: towards a methodological framework.
International Journal of Social Research Methodology, 8(1):19–32.
Easterbrook, S., et al. (2007). Selecting Empirical Methods for Software Engineering
Research. Springer-Verlag New York, Secaucus, NJ, USA.
Freimut, B., Punter, T., Biffl, S., e Ciolkowski, M. (2002). State-of-the-art in empirical
studies authors:. Relato´rio Te´cnico VISEK/007/E, Fraunhofer IESE.
Juristo, N. e Moreno, A. (2001). Basics of Software Engineering Experimentation.
Kluwer Academic Publishers, Norwell, MA, USA.
Kitchenham, B. (2006). Empirical paradigm - the role of experiments. In Proceedings of
the 2006 international conference on Empirical software engineering issues: critical
assessment and future directions, pages 25–32, Berlin, Heidelberg. Springer-Verlag.
Kitchenham, B. A. e Charters, S. (2007). Guidelines for performing systematic literature
reviews in software engineering. Relato´rio Te´cnico EBSE 2007-001, Keele University
and Durham University Joint Report.
Kitchenham, B. A., Dyba, T., e Jorgensen, M. (2004). Evidence-based software enginee-
ring. In ICSE ’04, pages 273–281, Washington, DC, USA. IEEE Computer Society.
Petersen, K., Feldt, R., e Mujtaba, Shahid Mattsson, M. (1999). Systematic mapping
studies in software engineering. Computer, 32:32–38.
Petticrew, M. e Roberts, H. (2005). Systematic Reviews in the Social Sciences: A Practical
Guide. Wiley-Blackwell.
Shull, F., Singer, J., and Sjøberg, D. I. (2007). Guide to Advanced Empirical Software
Engineering. Springer-Verlag New York, Inc., Secaucus, NJ, USA.
Travassos, G. H. et al. (2008). An environment to support large scale experimentation in
software engineering. In Proceedings of the 13th IEEE International Conference on
Engineering of Complex Computer Systems, pages 193–202, Washington, DC, USA.
IEEE Computer Society.
Wohlin, C. et al. (2000). Experimentation in software engineering: an introduction.
Kluwer Academic Publishers, Norwell, MA, USA.
1www.ines.org.br
Proceedings of 8th Experimental Software Engineering Latin American Workshop ESELAW 2011
ISBN pending 46