Proposta de reformulação do concurso para a obtenção ou renovação do título de enfermeiro estomaterapeuta

Prévia do material em texto

1 
PONTIFÍCIA UNIVERSIDADE CATÓLICA DE SÃO PAULO/PUC-SP 
FACULDADE DE CIÊNCIAS MÉDICAS E DA SAÚDE 
 
 
 
 
 
 
 
Suely Rodrigues Thuler 
 
 
 
 
 
Proposta de Reformulação do Concurso para a Obtenção ou 
Renovação do Título de Enfermeiro Estomaterapeuta 
 
 
 
MESTRADO PROFISSIONAL EM EDUCAÇÃO NAS PROFISSÕES DA SAÚDE 
 
 
 
 
 
 
 
 
 
 
SOROCABA 
2018 
 
2 
PONTIFÍCIA UNIVERSIDADE CATÓLICA DE SÃO PAULO/PUC-SP 
FACULDADE DE CIÊNCIAS MÉDICAS E DA SAÚDE 
 
 
 
 
 
 
 
Suely Rodrigues Thuler 
 
 
 
 
 
Proposta de Reformulação do Concurso para a Obtenção ou 
Renovação do Título de Enfermeiro Estomaterapeuta 
 
 
 
MESTRADO PROFISSIONAL EM EDUCAÇÃO NAS PROFISSÕES DA SAÚDE 
 
 
Trabalho final apresentado à Banca 
Examinadora da Pontifícia Universidade 
Católica de São Paulo, como exigência parcial 
para obtenção do título de MESTRE 
PROFISSIONAL em Educação nas Profissões 
de Saúde, sob a orientação da Profa. Dra. 
Gisele Regina de Azevedo. 
 
 
 
SOROCABA 
2018 
 
3 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
Thuler, Suely Rodrigues 
T534 Proposta de reformulação do concurso para a obtenção ou 
renovação do título de enfermeiro estomaterapeuta / Suely 
Rodrigues Thuler. -- Sorocaba, SP, 2018. 
 
Orientadora: Gisele Regina de Azevedo. 
Trabalho Final (Mestrado Profissional) -- Pontifícia 
Universidade Católica de São Paulo, Faculdade de Ciências 
Médicas e da Saúde. 
 
1. Avaliação Educacional. 2. Avaliação em Enfermagem. 3. 
Educação em Enfermagem. 4. Competência Clínica. 5. 
Psicometria. I. Azevedo, Gisele Regina de. II. Pontifícia 
Universidade Católica de São Paulo, Faculdade de Ciências 
Médicas e da Saúde. III. Título. 
 
Ficha catalográfica elaborada por Antonio Pedro de Melo Maricato CRB8/6922 
 
4 
Suely Rodrigues Thuler 
 
Proposta de Reformulação do Concurso para a Obtenção ou Renovação do 
Título de Enfermeiro Estomaterapeuta 
 
Trabalho final apresentado à Banca 
Examinadora da Pontifícia Universidade 
Católica de São Paulo, como exigência parcial 
para obtenção do título de MESTRE 
PROFISSIONAL em Educação nas Profissões 
de Saúde, sob a orientação da Profa. Dra. 
Gisele Regina de Azevedo. 
 
 
 
Aprovada em: ____ de ______________ de 2018. 
 
 
 
 
 
BANCA EXAMINADORA 
 
 
_______________________________________ 
Prof. Dr. Luis Ferraz de Sampaio Neto 
 
_______________________________________ 
Profa. Dra. Maria Angela Boccara de Paula 
 
_______________________________________ 
Profa. Dra. Maria Helena Senger 
 
_______________________________________ 
Profa. Dra. Rita de Cássia Domanski 
 
 
 
5 
GRATIDÃO 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
À Deus, por conduzir meus passos. 
Aos meus pais Avelino e Neuza (In memoriam), 
pelos exemplos de dignidade. 
Aos meus irmãos Carlos e Sonia, 
 pelo companheirismo. 
Aos meus filhos Éric, Fabio e Diego, pelo incentivo. 
À minhas noras Lívia, Karina e Denise, pelo carinho e compreensão. 
Aos meus netos, Matheus, Davi, Luísa, Nicole, Isabela, Henrique e Gustavo por 
entenderem minhas ausências. 
À minha orientadora, Profa, Dra. Gisele Regina de Azevedo, 
pela dedicação e confiança. 
 
 
6 
AGRADECIMENTOS 
 
 
À Pontifícia Universidade Católica de São Paulo, Campus Sorocaba, pelo 
acolhimento. 
 
Ao Prof. Dr. Fernando Antonio de Almeida e ao Prof. Dr. Luiz Ferraz de 
Sampaio Neto que participaram da banca de qualificação e muito contribuíram para 
aprimoramento deste estudo. 
 
À Isabel Cristina Campos Feitosa pela contribuição no levantamento 
bibliográfico. 
 
À Heloisa Helena Armênio, Assistente de Coordenação do Programa de 
Educação nas Profissões da Saúde, pelo auxílio inestimável. 
 
Aos professores do mestrado, por me conduzirem. 
 
À amiga querida Néria Invernizzi da Silveira, pela parceria e estímulo em todos 
os momentos. 
 
Aos meus colegas da turma, pelos agradáveis e enriquedores momentos de 
convívio e pelas trocas de experiências. 
 
À Enfa Luzia Ferreira de Oliveira, amiga e companheira da Stay Care, pela 
dedicação em minhas ausências. 
 
À Cícera Valadares, por cuidar de minha agenda na Stay Care, com desvelo, 
para que todos os compromissos fossem cumpridos. 
 
 
 
 
 
 
7 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
Aqueles que esperam no Senhor renovam as suas 
forças. 
Voam alto como águias. 
Correm e não ficam exaustos, andam e não se 
cansam. 
Isaías 40:31 
 
 
8 
RESUMO 
 
 
A SOBEST - Associação Brasileira de Estomaterapia: estomias, feridas e 
incontinências instituiu, em 2003, o título de especialista TiSOBEST com o objetivo de 
qualificar o enfermeiro estomaterapeuta para exercer a especialidade, validar sua 
capacitação profissional e competências técnico-científicas, por meio da realização de 
provas de título com critérios pré-estabelecidos. A necessidade de avaliar habilidades 
práticas, sentida pela diretoria, inspirou o presente estudo, que teve como objetivo 
propor um modelo de avaliação que mensure as competências nas áreas de 
abrangências da especialidade. Para alcançar esses propósitos, foi realizada a análise 
psicométrica do grau de dificuldade, discriminação e coeficiente de fidedignidade dos 
itens das provas realizadas; organizado um Acervo de Itens de Múltipla Escolha, após 
seleção e adequação, segundo os Critérios para Elaboração de Itens, das questões 
utilizadas em concursos anteriores; redução do número de cem itens da prova escrita, 
para oitenta itens e apresentação, à diretoria, proposta de acréscimo do exame clínico 
objetivo estruturado (Objetive Structured Clinical Examination - OSCE) às duas fases 
do exame atual, que nomeou uma comissão para avaliação de custos, organização e 
operacionalização da reformulação da prova de título. 
 
 
Palavras-chave: Avaliação Educacional, Avaliação em Enfermagem, Educação em 
Enfermagem, Competência Clínica, Psicometria. 
 
 
 
 
 
9 
ABSTRACT 
 
 
SOBEST- Brazilian Association of Stomatherapy: stomas, wounds and incontinences, 
established in 2003, the title of TiSOBEST specialist in order to qualify stomatherapist 
nurses to practice the specialization, validate professional training and scientific-
technical skills, by achievement of title awarding exams with pre-established criteria. 
The need felt by the Board to assess practical skills, prompted the present study. The 
study aims to propose an evaluation model that measures the skills in a wide range of 
this specialization. To reach these purposes, analysis include, the psychometric 
analysis of the level of difficulty; the discrimination and reliability coefficient of the items 
tested; the organization of Collection of Multiple Choice Items, after selection and 
adaptation, according to Criteria for Elaboration of Items, of the questions used in 
previous exams; reduction from one hundred items on the written exam, to eighty items 
and a presentation to the Board, proposal of addition of the Objective Structured Clinical 
Examination – OSCE to the two phases of the current exam, which nominated a 
commission to evaluate the cost, organization and operationalization of the 
reformulation of the title awarding exam. 
 
 
Keywords: Educational Measurement, Nursing Assessment, Education Nursing, 
Clinical Competence, Psychometrics. 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
10 
LISTA DE SIGLAS 
 
SOBEST - 
 
TiSOBEST - 
WCET - 
ET - 
AGO - 
TCT - 
TRI - 
ICS - 
WOCN - 
AAWC - 
Associação Brasileira de Estomaterapia: estomias, feridas e 
incontinências 
Título de Especialista pela Associação Brasileira de Estomaterapia 
World Council of Enterostomal Therapists 
Estomaterapeuta 
Assembleia Geral Ordinária 
Teoria Clássica dos Testes 
Teoria da Resposta ao Item 
International Continence Socytie 
Wound, Ostomy, Continence Nursing 
Associationfor the Advancement of Wound Care 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
11 
LISTA DE TABELAS 
Tabela 1 – Acervo de questões SOBEST após descarte e adequação dos 
itens. Sorocaba, 2016......................................................................................... 
Tabela 2 - Valores das Médias de Acertos e Desvio Padrão: concursos 2011 
e 2013. Sorocaba, 2017...................................................................................... 
Tabela 3 – Valores das Médias de Acertos e Desvio Padrão: concursos 2014 
e 2015. Sorocaba, 2017...................................................................................... 
Tabela 4 – Escala de dificuldade do item. Sorocaba 2017.................................. 
Tabela 5 – Escala de discriminação do item. Sorocaba, 2017............................. 
Tabela 6 - Índices de Dificuldade, discriminação e correlação ponto-bisserial 
dos itens de Desenvolvimento Profissional. Sorocaba, 2017.............................. 
Tabela 7 – Índice de Dificuldade, discriminação e correlação ponto-bisserial 
dos itens de Estomias. Sorocaba, 2017.............................................................. 
Tabela 8 – Índice de Dificuldade, discriminação e correlação ponto-bisserial 
dos itens sobre Feridas. Sorocaba, 2017............................................................ 
Tabela 9 – Índice de Dificuldade, discriminação e correlação ponto-bisserial 
dos itens sobre Incontinência Anal. Sorocaba, 2017........................................... 
Tabela 10 – Índice de Dificuldade, discriminação e correlação ponto-bisserial 
dos testes de Incontinência Urinária. Sorocaba, 2017......................................... 
Tabela 11 – Quantidade e características dos itens selecionados para 
formação do acervo de itens da SOBEST. Sorocaba, 2017................................ 
 
32 
 
34 
 
35 
36 
37 
 
38 
 
39 
 
40 
 
41 
 
42 
 
43 
 
 
LISTA DE FIGURAS 
Figura 1 - Pirâmide de Miller………………………………………………………… 
Figura 2 - Métodos de avaliação dos domínios................................................... 
20 
24 
 
 
LISTA DE GRÁFICOS 
Gráfico 1 – Evolução das médias de acertos (percentual), de 2011 a 2015. 
Sorocaba, 2017................................................................................................... 
 
36 
 
 
12 
SUMÁRIO 
 
1. INTRODUÇÃO ………………………………………………………………… 
1.1 Objetivos da avaliação........................................................................... 
1.2 Modelo de avaliação de quatro níveis de Kirkpatrick……………............ 
1.3 Taxonomia de Bloom………………………………………………............. 
1.4 Pirâmide de Miller…………………………………………………………… 
1.5 Métodos de avaliação………………………………………………………. 
1.5.1 Métodos para avaliação do domínio cognitivo……......………........... 
1.5.2 Métodos para avaliação de habilidades e competências clinicas...... 
 
2. OBJETIVOS……………………………………………………………………... 
2.1 Objetivo geral………………………………………………………………… 
2.2 Objetivos específicos………………………………………………………... 
 
3. MATERIAL E MÉTODO…………………………………………………………. 
3.1 Organização de um acervo de Itens…………………………….............. 
3.2 Adequação das questões do banco de dados da prova teste, segundo 
os critérios para elaboração de itens………………............................................ 
3.3 Análise do índice de dificuldade e discriminação e o coeficiente de 
fidedignidade dos itens………………………………........................................... 
3.4 Proposta redução do número atual de 100 itens de múltipla escolha 
da prova escrita, para 80 itens…........................................................................ 
3.5. Elaboração de proposta de modelo de avaliação teórico prático dos 
enfermeiros estomaterapeutas candidatos ao TiSOBEST e apresentação 
diretoria da SOBEST…………………………..................................................... 
 
4. RESULTADOS PREMILINARES ………………………………….................. 
4.1 Seleção dos itens…………………………………………………................ 
4.2 Análise psicométrica do índice de dificuldade, discriminação, 
coeficiente de confiabilidade ou fidedignidade dos itens.................................... 
4.2.1 Resultado da análise da média de acertos e desvio padrão das 
provas………………………………………………………………………............... 
 
 
14 
17 
18 
18 
19 
20 
21 
23 
 
26 
26 
26 
 
27 
27 
 
28 
 
29 
 
30 
 
 
30 
 
32 
32 
 
33 
 
34 
 
13 
 
4.2.2 Resultados da análise psicométrica dos itens repetidos em mais de 
um concurso………………………………………………..................................... 
4.2.2.1 Resultados da análise psicométrica dos itens de 
Desenvolvimento Profissional………………………………………………........... 
4.2.2.2 Resultados da Análise psicométrica dos ítens de Estomias…...... 
4.2.2.3 Resultados da análise psicométrica dos ítens de Feridas............. 
4.2.2.4 Resultados da análise psicométrica dos itens de Incontinência 
Anal................................................................................................................... 
4.2.2.5 Resultados da análise psicométrica dos itens de Incontinência 
Urinária.............................................................................................................. 
4.3 Acervo SOBEST de Itens…………………………………………………… 
4.4 Proposta de redução do número de itens da prova………………............ 
4.5 Proposta de reformulação do Concurso para Obtenção e Renovação 
do Título de Enfermeiro Estomaterapeuta TiSOBEST….................................... 
 
5. DISCUSSÃO……………………………………………………………............... 
 
CONCLUSÃO................................................................................................... 
 
CONSIDERAÇÕES FINAIS.............................................................................. 
 
REFERÊNCIAS…………………………………………………………….............. 
 
APÊNDICE A: ………………………………………………………………............ 
ANEXO A: Critérios para obtenção ou renovação do título de Enfermeiro 
EstomaterapeutaTISOBEST………………………………….............................. 
ANEXO B: Critérios de pontuação do Memorial ………………………............... 
 
 
36 
 
38 
39 
40 
 
41 
 
42 
43 
43 
 
44 
 
47 
 
49 
 
51 
 
52 
 
56 
 
59 
67 
 
 
 
 
 
 
14 
1. INTRODUÇÃO 
 
 
Desde a graduação, sempre acreditei e defendi a ideia de que a valorização 
do enfermeiro, como membro da equipe de atenção à saúde, só pode ser alcançada 
através de competência profissional. Busquei esse empoderamento por meio de cursos 
e especializações voltados para as áreas de atuação, como enfermeira responsável 
pelo serviço de enfermagem de um hospital de médio porte, localizado no interior 
paulista. 
Diante das crescentes solicitações de continuidade da assistência aos 
pacientes que recebiam alta hospitalar, nasceu a minha empresa “AME Assistência de 
Enfermagem”, com uma proposta de atendimento em domicílio e em um pequeno 
consultório, o que demandou a busca por mais conhecimentos em tratamento de 
feridas e estomias. 
A participação nos primeiros eventos organizados pela nascente Sociedade 
Brasileira de Estomaterapia – SOBEST (atual Associação Brasileira de Estomaterapia: 
estomias, feridas e incontinências – SOBEST, alteração realizada em 2005 para 
atender ano Código Civil Brasileiro), admirando as colegas que discorriam, com 
propriedade, sobre os temas propostos, deu a certeza do caminho a percorrer. A 
oportunidade só surgiu com a criação do 3º curso de especialização do país, pela 
Universidade de Taubaté que, com aulas às sextas-feiras e sábados, permitiu que eu 
o compatibilizasse com minhas atividades profissionais e pessoais. 
A especialidade surgiu nos Estados Unidos, na década de 1950, para atender 
à necessidade de estabelecimento de cuidados específicos para as pessoas 
submetidas a cirurgias de construção de um estoma1,2. 
Em 1958, na Cleveland Clinic Foundation, em Ohio, Norma N. Gill Thompson, 
ileostomizada, eseu cirurgião Dr. Rupert B. Turnbull lançaram a pedra angular dos 
cuidados de Estomaterapia, com o início da educação e conscientização da 
necessidade de estudos e desenvolvimento de novas tecnologias para atender às 
necessidades desses indivíduos1,2,3. 
No início, o programa era direcionado às pessoas que tinham sido submetidas 
às cirurgias para construção de um estoma. Em 1961, devido ao grande interesse, foi 
criado o Programa de Educação Formal que passou a receber enfermeiros e cirurgiões 
não apenas dos EUA, mas profissionais de vários países. Essa iniciativa desencadeou 
 
15 
uma série de eventos que lançou um novo olhar para o tratamento das pessoas com 
estomias, pelos enfermeiros e cirurgiões, em todo mundo1,2,3. 
Em 1978, representantes de trinta e dois países reuniram-se em Milão, Itália, 
para a realização do primeiro congresso, como também para propor a constituição de 
um órgão para representar, internacionalmente, a especialidade nascente, 
proporcionar aos membros a possibilidade de discutir assuntos de interesses comuns, 
divulgar conhecimentos, sensibilizar outros profissionais e impulsionar o 
desenvolvimento técnico e cientifico1. Nasce então, o World Council of Enterostomal 
Therapists – WCET que, em 1980, passa a considerar a Estomaterapia uma 
especialidade exclusiva do enfermeiro, e a estabelecer critérios para reconhecimento 
de cursos de especialização ao redor do mundo1,2. 
No Brasil, movidas pela necessidade de maiores conhecimentos que 
reduzissem o sofrimento das pessoas com estomias, algumas enfermeiras buscaram 
formação no exterior. A criação do primeiro curso de especialização, na Escola de 
Enfermagem da Universidade de São Paulo (USP), em 1990, instituiu formalmente, a 
especialidade no país2,3. Organizada através da SOBEST - Associação Brasileira de 
Estomaterapia: estomias, feridas e incontinências, fundada em 04 de dezembro de 
1992, atualmente a estomaterapia é uma realidade em nosso país, contando com 15 
(quinze) cursos credenciados e 7 (sete) em fase de credenciamento pela SOBEST/ 
WCET 4. 
Para serem referendados e receberem o Certificado de Credenciamento 
SOBEST/WCET, os cursos de especialização devem ser autorizados pelo MEC – 
Ministério de Educação e Cultura e atenderem às Diretrizes para Processo de 
Credenciamento de Cursos de Especialização em Estomaterapia (ANEXO A), que 
certifica que o curso preenche os requisitos essenciais para uma boa formação em 
estomaterapia, entre eles, mínimo de 160h de prática clínica supervisionada nas 3 
(três) áreas de abrangência da especialidade (estomias, feridas e incontinências), e 
métodos para avaliações do conhecimento e das habilidades clínicas. Os candidatos 
devem ser enfermeiros com registro no Conselho Regional de Enfermagem (COREN) 
e experiência mínima de 2 (dois) anos no exercício da profissão4,5. 
Em 2003 a SOBEST instituiu o título de especialista TiSOBEST com objetivo 
de distinguir e certificar o enfermeiro que concluiu a especialização em estomaterapia, 
em cursos com abrangência nas 3 (três) áreas, reconhecidos e credenciados pela 
SOBEST e pelo WCET, qualificando-o a exercer a especialidade nas áreas hospitalar, 
 
16 
ambulatorial, domiciliária, comercial, empresarial e de ensino especializado, validando 
sua capacitação profissional e competências técnico-científicas específicas e o 
concedeu, durante o I Simpósio Brasileiro de Estomaterapia, realizado no Centro de 
Convenções Rebouças, São Paulo, de 15 a 18 de junho de 2003, com validade de um 
ano, a todos os enfermeiros que se submeteram ao processo. 
Em 25 de outubro de 2005, foi aprovado pelos associados, em Assembleia 
Geral Ordinária (AGO), o documento “Critérios para Obtenção do Título de Enfermeiro 
Estomaterapeuta TiSOBEST”, revisado e aprovado pela AGO em 25 de outubro de 
2009, estabelecendo o concurso em duas etapas: análise de memorial, com 
pontuação máxima de sessenta pontos, e prova escrita, com pontuação máxima de 
quarenta pontos, abrangendo os seguintes temas6: 
 
• Desenvolvimento Profissional (10 questões): organização de serviços, 
protocolos, normas de assistência, educação continuada, ensino e história da 
especialidade. 
• Estomias (30 questões): colostomias, ileostomias, traqueostomias, 
urostomias, jejunostomias, gastrostomias, fístulas; qualidade de vida, sexualidade e 
reinserção social. 
• Prevenção e Tratamento de feridas (30 questões): úlceras diabéticas, 
vasculogênicas, feridas operatórias (deiscências e fechadas), úlceras por pressão, 
queimaduras, feridas neoplásicas malignas; feridas tropicais, drenos e cateteres; 
qualidade de vida; sexualidade e reinserção social. 
• Incontinência Urinária (15 questões): disfunção vesical de origem 
neurológica (bexiga neurogênica), incontinência urinária de esforço, urge-
incontinência, incontinência mista, enurese noturna, qualidade de vida, sexualidade e 
reinserção social. 
• Incontinência Anal (15 questões): obstipação intestinal, lesões 
traumáticas, malformações congênitas, doenças adquiridas, causas psicogênicas 
(encoprese); qualidade de vida, sexualidade e reinserção social. 
 
O candidato que obtiver cinquenta pontos na análise do memorial é dispensado 
da prova escrita e o que alcançar de vinte e um a quarenta e nove pontos é habilitado 
a realizar a 2ª fase, sendo aprovado se a soma aritmética da pontuação obtida na 
 
17 
análise do memorial e da prova for igual ou superior a sessenta pontos5. A AGO 
realizada em 15 de outubro de 2013 considerou os mesmos critérios como adequados 
para o concurso de renovação, a cada 6 (seis) anos, do título (ANEXO B), criando nesta 
mesma sessão o Título Emérito a ser concedido pela diretoria e referendado em 
Assembleia Geral aos membros titulados que tenham contribuído, por longo período, 
para o desenvolvimento científico e engrandecimento da estomaterapia e da SOBEST6. 
O 1º concurso ocorreu em 2007, durante o VII Congresso Brasileiro de 
Estomaterapia, em Curitiba-PR e tem sido realizado regularmente durante os eventos 
científicos da SOBEST. 
A diretoria atual, da qual faço parte, tendo sido 1a. tesoureira na gestão 2006-
2008 e presidente, nas gestões 2009-2011 e 2012-2014 e, em especial, o conselho 
científico, sente a necessidade de instituir um modelo de concurso que avalie o saber 
e o fazer, tendo como princípio a pirâmide de Miller7, por considerar que este modelo 
conceitual que ilustra as bases cognitivas (“saber” e “saber como fazer”) da prática 
profissional (“fazer”) e a necessidade da avaliação de habilidades e competências 
práticas (“mostrar como faz”)7, especialmente interessante nas áreas clínicas, irá 
atender aos objetivos do Concurso para obtenção ou renovação do título de Enfermeiro 
Estomaterapeuta TiSOBEST. Desafio que inspirou meu projeto de mestrado sob 
orientação da atual Coordenadora do Conselho Científico da SOBEST, Profª Drª Gisele 
Regina de Azevedo. 
 
 
1.1 Objetivos da avaliação 
 
No aspecto educacional, avaliar tem como finalidade evidenciar se os objetivos 
propostos foram alcançados, sendo assim, um instrumento valioso na reformulação do 
ensino e na promoção do estudante. Neste contexto, a avaliação é considerada 
formativa quando tem como finalidade fomentar a aprendizagem e fornecer subsídios 
para tomada de decisões, sendo imprescindível que o avaliado obtenha informações 
sobre os objetivos e critérios, que o resultado seja compartilhado e que seja oferecido 
um feedback, oportunidade em que professor e aluno poderão refletir sobre os 
aspectos positivos e os que precisam ser melhorados. Quando o objetivo é a 
classificação e promoção, a avaliação é chamada de somativa, exigindo rigor 
 
18 
psicométrico para exames de competência para certificação, licenciamento e regulação 
professional 8. 
Independente da função, formativa ou somativa, os métodos de avaliação 
podem ser os mesmos: prova prática, escrita e/ou oral, portfólio,seminários, entre 
outros. A escolha de uma ou mais modalidades está relacionada à clareza do “que”, 
“para que” e “como” avaliar 8,9,10. 
Alguns modelos teóricos têm sido utilizados pelos educadores das ciências da 
saúde para direcionar o que deve ser avaliado, para que esta atenda à necessidade de 
orientação para tomada de decisões, motivação para novas aprendizagens, segurança 
para o público, instituições e compradores de serviços8. Entre os mais utilizados, 
podemos citar o modelo proposto pelo educador Donald Kirkpatrik, a Taxonomia de 
Bloom e a Pirâmide de Miller. 
 
 
1.2 Modelo de avaliação de quatro níveis de Kirkpatrick 
 
A abordagem em quatro níveis de Kirkpatrick é um modelo utilizado para 
avaliar os resultados em programas de formação, pós-graduação e educação 
profissional continuada, e tem como foco os resultados do programa em quatro níveis: 
reação, aprendizagem, conduta e resultados11. 
O nível 1- reação: propõe avaliar o grau de satisfação do estudante, o nível 2 
– aprendizagem: refere-se avaliação da aprendizagem adquirida, o nível 3 - conduta: 
a transferência das competências adquiridas para prática de trabalho expressa pela 
mudança de conduta e o nível 4 - resultados: a avaliação do impacto da mudança de 
conduta na população ou na sociedade, como redução de custos, melhoria nos 
cuidados dos pacientes, melhor desempenho da equipe11. 
 
 
1.3 Taxonomia de Bloom 
 
Benjamin Bloom e colaboradores, atendendo a uma solicitação da Associação 
Norte-Americana de Psicologia (American Psycological Association), em 1948, 
utilizando o conceito de taxonomia (classificação e organização de um sistema), 
criaram o que ficou conhecido como “Taxonomia de Bloom”. Publicada em 1956 com 
 
19 
o título de “Taxonomia dos Objetivos Educacionais: A Classificação dos Objetivos 
Educacionais. Manual I: Domínio Cognitivo”, propõe o desenvolvimento do domínio 
cognitivo, que se sobrepõe no processo da aprendizagem e que serve como base para 
desenvolvimento de instrumentos de avaliação e para colaborar com os professores 
na tarefa de auxiliar os educandos a adquirirem as habilidades necessárias, das mais 
simples às mais complexas, para um bom desempenho profissional. Teve, também 
como objetivo, facilitar a criação de um banco de itens de avaliação que pudessem ser 
utilizados por professores de várias universidades12. 
A primeira versão ou Taxonomia de Bloom original, aborda o domínio cognitivo 
em 6 níveis: conhecimento, compreensão, aplicação, análise, síntese e avaliação. Em 
2001, alguns dos autores da Taxonomia de Bloom Original publicaram uma revisão 
que abrange duas dimensões: tipo de conhecimento a ser adquirido: factual, conceitual, 
procedimental e metacognitivo e os processos cognitivos utilizados (relembrar, 
entender, aplicar, analisar, avaliar e criar)12. 
A Taxonomia dos Objetivos Educacionais: Manual II, o Domínio Afetivo 
(comportamento, atitude, responsabilidade, respeito, emoção e valores) foi publicado 
em 1964 e a Taxonomia para o Domínio Psicomotor (reflexos, percepção, habilidades 
físicas, movimentos aperfeiçoados e comunicação não verbal) foram publicadas por 
outros autores em 1966, 1970 e 1972 12. 
A Taxonomia de Bloom permite uma boa definição para competência 
profissional na área da saúde: “domínio, em nível adequado de qualidade, de diferentes 
habilidades, de naturezas diversas (cognitivas, psicomotoras e afetivas), necessário 
para executar ações visando soluções de problemas”10. 
 
 
1.4 Pirâmide de Miller 
 
O modelo conceitual denominado “Pirâmide de Miller”, idealizado por George 
Miller, estudioso da educação médica norte-americana, em artigo publicado em 1990 
na Revista Academic Medicine, “The assesssmeent of Clinical 
Skills/Competence/Performance”7, propõe a construção e avaliação do conhecimento 
em cada domínio, em forma de uma pirâmide em quatro níveis: saber, saber como, 
mostrar como faz e fazer (fig 1), tem sido utilizado como diretriz para o ensino e 
avaliação nas profissões da saúde9. 
 
20 
 
Figura 1 - Pirâmide de Miller 
 
 
A base da pirâmide “saber” (conhecimento) e o “saber como fazer” (aplicar o 
conhecimento) pertencem ao domínio cognitivo e podem ser avaliados através de 
testes de múltipla escolha, questões abertas, dissertações e provas orais; observando 
que a avaliação de conhecimentos referentes ao “saber como fazer” requer formas que 
avaliem o raciocínio clinico e tomada de decisões como testes ou provas escritas 
baseadas em casos clínicos7,9,10. 
O terceiro nível “mostrar como faz” avalia as habilidades e competências 
clinicas, podendo ser realizada através de simuladores, manequins e pacientes 
padronizados (atores treinados para reproduzir situações de pacientes)7,9,10. 
O vértice da pirâmide se refere ao “fazer” e avalia a competência em situações 
reais, por meio da observação direta ou gravada em vídeo, portfólio, avaliação de 
registros clínicos e de pacientes simulados7,9,10. 
O modelo de Miller corresponde aos níveis 2 e 3 de Kirkpatrik9, ou seja, as 
competências adquiridas e aplicação destas para raciocínio e prática clínica. 
 
 
1.5 Métodos de avaliação 
 
Dentre os diversos métodos de avaliação, nenhum é capaz de avaliar todos os 
aspectos referentes à competência profissional. A combinação de diversos 
fazer
mostrar como
saber como
saber
 
21 
instrumentos pode permitir que sejam aproveitados os pontos fortes de cada um, de 
acordo com os objetivos propostos e o objeto da avaliação10. 
Validade, confiabilidade, viabilidade, aceitabilidade, transparência e impacto 
educacional são características fundamentais de um método de avaliação13,14. 
Validade é a capacidade de medir exatamente o que se quer avaliar, podendo 
ser de diversos tipos, sendo os principais: validade de conteúdo, validade de critério e 
validade de construto. A validade de conteúdo se refere a área e conhecimento que se 
quer avaliar (habilidades cognitivas ou psicomotoras, por exemplo), a validade de 
critério baseia-se em um critério de referência conhecido o qual deve ser comparado e 
a validade de construto, atende o que deverá ser medido (competência profissional, 
inteligência, habilidade, entre outros)10,13,14. 
Confiabilidade ou fidedignidade relaciona-se com os atributos de precisão, 
acurácia e reprodutividade13,14. 
Viabilidade é a característica relacionada a possibilidades de ser executada 
como: recursos disponíveis tanto financeiros quanto aos referentes à disponibilidade 
de área física, avaliadores, tempo disponível, entre outras necessidades13,14. 
Aceitabilidade se refere ao reconhecimento como adequada pelos avaliadores, 
estudantes/candidatos e todos os envolvidos no processo 9,10. 
Transparência relaciona-se ao conhecimento das regras por todos os 
envolvidos9,10. 
Impacto educacional diz respeito ao efeito transformador no ensino, nos 
métodos de avaliação, motivação dos estudantes e provisão de recursos para 
capacitação de professores9,10,14. 
 
 
1.5.1 Métodos para avaliação do domínio cognitivo 
 
As provas com questões abertas, de múltipla escolha, dissertações e exames 
orais são alguns dos métodos que podem ser utilizados para avaliar as habilidades 
cognitivas referentes aos dois primeiros níveis da Pirâmide de Miller: “saber” e “saber 
como” 8, 9,10,13,14. 
As provas escritas podem ser tipo teste, formadas por determinado número de 
itens, termo este utilizado como sinônimo de questões, de resposta aberta/livre ou 
construídos para escolha de uma resposta entre as alternativas propostas15. 
 
22 
Itens de múltipla escolha são, de forma geral, preferidos por possibilitarem a 
inclusão de vários tópicos do programa, facilitar a correção através de um gabarito de 
respostas, o que lhe dá uma alta confiabilidade15,16.. Podem ser formulados a partir de 
contextos simples relacionados ao domínio teórico “saber”, possibilitando a escolha daresposta correta a partir de uma lista ou de contextos mais complexos que exijam 
raciocínio clinico para tomada de decisões do “saber como” 15,17. 
Para formulação dos itens, o docente deve ter expertise na área a ser 
avaliada, conhecer os procedimentos técnicos para construção de itens e estar ciente 
da matriz de referência adotada, isto é, a habilidade a ser avaliada em cada item. A 
Matriz de Referência é considerada um instrumento guia para a construção dos itens 
15,17. 
As questões “falso/verdadeiro” tem como desvantagens a dificuldade de 
construção e a necessidade de que as opções sejam defensáveis e absolutas e o fato 
de que uma escolha correta “falsa” não significa que o estudante saiba o que seria 
correto16,17. 
Uma boa avaliação cognitiva depende da qualidade dos itens da prova16,17,18. 
A Teoria Clássica dos Testes (TCT) e a Teoria da Resposta ao Item (TRI), teorias 
psicométricas, são as principais ferramentas utilizadas para determinar a qualidade e 
propriedade das avaliações educacionais18,19. 
A TCT tem como objetivo analisar o resultado final de respostas dadas a um 
determinado número de itens e a preocupação é com a qualidade do teste, enquanto 
a TRI tem como foco cada item do teste e a qualidade do mesmo18,19. 
As variáveis utilizadas pela TCT, para determinar a proficiência de um 
examinando, são o escore alcançado (número de acertos) em um teste composto por 
determinado número de itens, os parâmetros de discriminação e de dificuldade do item, 
o grau de dificuldade do teste, do escore do mesmo e do escore do grupo18,19. 
A TRI possibilita a análise de cada item do teste e relaciona a probabilidade de 
resposta a um item com a proficiência do examinando considerando um, dois ou três 
parâmetros: modelo logístico unidimensional de um parâmetro considera apenas o 
índice de dificuldade, modelo logístico de dois parâmetros considera o índice de 
discriminação e de dificuldade do item e o modelo logístico de três parâmetros leva em 
consideração o índice de discriminação, de dificuldade e controle do acerto casual18,19. 
Estes modelos consideram que quanto maior a proficiência, maior a probabilidade de 
responder acertadamente o item e permite a comparação dos resultados de grupos 
 
23 
diferentes, considerando como grupo uma amostra de indivíduos de uma população 
com determinadas características18,19,20. 
A TRI é utilizada no Brasil desde 1995, incialmente pelo Sistema de Avaliação 
da Educação Básica (SAEB) e mais tarde pelo Exame Nacional para Certificação de 
Competênicas de Jovens e Adultos (ENCCEJA), Prova Brasil e pelo Exame Nacional 
do Ensino Médio (ENEM). Internacionalmente, é aplicada por diversos países: 
Estados Unidos, França, Holanda, Coreia do Sul, China, pelo PISA (Programa 
Internacional de Avaliação de Estudantes) e pelo o exame de proficiência em língua 
inglesa (TOEFL)21. 
A construção de um Banco de Itens, com boa qualidade técnico-pedagógia e 
psicométrica, possibilita a elaboração de bons testes. A inserção de novos itens de 
qualidade é imprescindível para a manutenção e atualização do mesmo, sendo 
importante a capacitação de professores para colaborarem na formulação de novos 
itens15. 
 
 
1.5.2 Métodos para avaliação de habilidade e competências clinicas 
 
Os métodos para avaliação do domínio cognitivo não são capazes de avaliar o 
“mostrar como faz” da Pirâmide de Miller, por haver necessidade de demonstração9,10. 
O aluno nos períodos finais da graduação e os profissionais devem ser capazes de 
obter informações, mediante a história e o exame físico, e tomar as medidas 
necessárias utilizando os conhecimentos adquiridos 22,23,24. 
A avaliação das habilidades e atitudes exige exames que possibilitem que os 
estudantes sejam observados, durante atendimentos diretos a pacientes reais (exame 
não estruturado e semiestruturado) ou de pacientes simulados (OSCE, sigla em inglês 
para Exame Clínico Objetivo e Estruturado)22,23,24. 
Em um exame não estruturado, o estudante levanta a história clínica, examina, 
estabelece hipóteses diagnósticas, os possíveis tratamentos e os apresenta para um 
examinador. Numa forma mais estruturada, denominada Mini Clinical Evaluation 
Exercice (Mini-CEX), a consulta é realizada em 15 a 20 minutos, sob a observação de 
um examinador, que pontua a competência clinica através de um checklist 25. 
Apesar destes métodos serem adequados para avaliar conhecimentos, 
habilidades e atitudes, têm como desvantagens o tempo dispensado pelo avaliador e 
 
24 
a impossibilidade de serem reproduzidos por outros estudantes, de forma semelhante, 
por ocorrerem em situações reais, portanto, heterogêneas. A forma encontrada e 
proposta por Harden23 para que todos candidatos sejam submetidos aos mesmos 
contextos e casos clínicos, foi a utilização de simuladores ou de atores-pacientes. O 
exame é organizado através de várias estações de 5 a 10 minutos e, em cada uma, 
deverá realizar uma tarefa como obter a história, realizar exame físico, interpretar 
resultados de exames e, a partir destes, propor o tratamento, utilizando o “saber” e o 
“saber como” para o “mostrar como” da Pirâmide de Miller, demonstrando do que é 
capaz, de diante das prováveis situações profissionais23,24,25,26. 
 
 
 
 
Figura 2 - Métodos de avaliação dos domínios 
 
 
A elaboração dos casos clínicos deverá ser norteada a partir da escolha de 
conhecimentos, habilidades e atitudes relevantes, que atendam aos objetivos 
propostos, à factibilidade de reprodução em cenário semelhante ao real, preservando 
a maior fidelidade possível e o grau de dificuldade de cada estação. Um maior número 
de estações aumenta a confiabilidade do exame, podendo ser variável em função da 
complexidade e da quantidade de tarefas a serem executadas. Um checklist bem 
elaborado direcionará o avaliador para a observação dos itens que devem ser 
analisados e pontuados em cada estação24,26,27. 
fazer
mostrar 
como
saber como
saber
Testes de múltipla escolha, 
questões abertas, dissertações e 
provas orais. 
Simuladores, manequins e 
pacientes padronizados - OSCE 
Portfólio, avaliação de registros 
clínicos, vídeo, Mini CEX 
 
 
25 
Assim, a restruturação do Concurso para Obtenção e Renovação do Título de 
Enfermeiro Estomaterapeuta TiSOBEST, objetivo deste estudo, contribuirá para 
avaliação da competência (conhecimentos, habilidades e atitudes) dos especialistas. 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
26 
2. OBJETIVOS 
 
 
2.1 Objetivo geral 
 
Analisar o banco de dados da prova teste atual e propor um modelo de 
avaliação de enfermeiros estomaterapeutas, para a obtenção e renovação do título de 
especialista [TiSOBEST], que considere as competências nas áreas de abrangências 
da especialidade. 
 
 
2.2. Objetivos específicos 
 
• Organizar um acervo de itens para avaliação de conhecimentos em 
Estomaterapia. 
• Adequar as questões do banco de dados da prova teste, segundo os 
critérios para elaboração de itens. 
• Analisar o índice de dificuldade e discriminação e o coeficiente de 
fidedignidade dos itens 
• Propor redução do número atual de 100 itens de múltipla escolha, da 
prova escrita, para 80 para melhor ajuste do tempo de prova em relação ao número de 
itens. 
• Propor um modelo de avaliação de habilidades práticas do 
estomaterapeuta. 
 
 
 
 
 
 
 
 
 
 
27 
3. MATERIAL E MÉTODO 
 
 
O estudo caracteriza-se como exploratório, descritivo, documental, de ordem 
quali-quantitativa realizado a partir das seguintes etapas: 
 
 
3.1 Organização de um acervo de Itens 
 
A SOBEST possui arquivos dos testes aplicados nos concursos realizados. 
De 2007 a 2015 foram aplicadas nove provas do tipo teste de múltipla escolha, com 
100 questões cada, portanto 900 (novecentos) itens: 100 (cem) sobre 
Desenvolvimento Profissional, 300 (trezentos) sobreEstomias, 300 (trezentos) sobre 
Feridas, 150 (cento e cinquenta) sobre Incontinência Anal e 150 (cento e cinquenta) 
sobre Incontinênica Urinária, abrangendo os seguintes temas: 
 
• Desenvolvimento Profissional: organização de serviços, protocolos, 
normas de assistência, educação continuada, ensino, história da especialidade e 
outros. 
• Estomias: colostomias, ileostomias, traqueostomias, urostomias, 
jejunostomias, gastrostomias, fístulas; qualidade de vida, sexualidade, reinserção 
social e outros. 
• Prevenção e Tratamento de feridas: úlceras diabéticas, vasculogênicas, 
feridas operatórias (deiscências e fechadas), úlceras por pressão, queimaduras, 
feridas neoplásicas malignas; feridas tropicais, drenos e cateteres; qualidade de vida; 
sexualidade; reinserção social e outros. 
• Incontinência Urinária: disfunção vesical de origem neurológica (bexiga 
neurogênica), incontinência urinária de esforço, urge-incontinência, incontinência 
mista, enurese noturna, qualidade de vida, sexualidade, reinserção social e outros. 
• Incontinência Anal: obstipação intestinal, lesões traumáticas, 
malformações congênitas, doenças adquiridas, causas psicogênicas (encoprese); 
qualidade de vida, sexualidade, reinserção social. 
 
 
28 
Grande parte destas questões não foram formuladas segundo os critérios 
para construção de itens, e/ou foram utilizadas em mais de um concurso, tendo sido 
necessária a seleção destas e as possíveis adequações, para uso futuro. 
Encontram-se arquivadas as provas dos candidatos que se submeteram à 2a 
fase dos cinco concursos realizados de 2011 a 2015: 2011 (seis candidatos), 2013 
(onze candidatos), 2014 (cinco candidatos), 2015 (dois concursos: seis candidatos no 
primeiro concurso e três no segundo), perfazendo um total de 31 provas. 
 
 
3.2 Adequação das questões do banco de dados da prova teste, segundo os 
critérios para elaboração de itens 
 
Os itens de múltipla escolha são compostos por um enunciado e por 
alternativas de respostas, e o enunciado se subdivide em suporte e em comando para 
resposta. O suporte tem a função de apresentar a situação-problema e deve ser 
formulado utilizando-se um texto simples e objetivo. Ao escolher o suporte, o 
elaborador do item deve construir situações que possam atender aos objetivos 
propostos e devem conter todas as informações necessárias para a resolução do 
item15,16. Este pode ter como fonte: livros, jornais, artigos científicos, sites, entre outros. 
Entretanto, devem ser evitados os livros didáticos e as propagandas de produtos15. 
O comando para resposta deve ser claro e objetivo, sem utilizar os termos: 
incorreto, exceto, falso, não, errado, sempre, nunca, todo, totalmente, ou qualquer 
outro tipo de negativa ou de determinação15. 
As alternativas de respostas são formadas pelo gabarito (a alternativa correta) 
e pelos distratores (as demais alternativas). Devem apresentar apenas uma resposta 
correta, manter o mesmo tamanho da frase (sempre que possível), apresentar ideias 
plausíveis, evitar o uso de “nenhuma das anteriores ou todas as anteriores”, evitar 
séries de “falso/verdadeiro” independentes, evitar alternativas absurdas e não induzir 
o avaliando ao erro, ao utilizar, por exemplo, “pegadinhas”15. 
Para a obtenção de um acervo de itens, seguindo esses critérios, foram 
eliminados todos os testes em que o comando para resposta solicitava que fosse 
identificada a alternativa incorreta, nenhuma das anteriores ou todas anteriores, assim 
como as séries de falso ou verdadeiro independentes. Para as que apresentavam 4 
 
29 
(quatro) alternativas, foi criado um novo distrator para que todos os itens passassem 
a apresentar 5 (cinco) alternativas, com o objetivo de padronizá-los. 
 
 
3.3 Análise do índice de dificuldade e discriminação e o coeficiente de 
fidedignidade dos itens 
 
Para que uma prova seja bem elaborada, é necessário o conhecimento dos 
parâmetros dos itens, como dificuldade, discriminação e confiabilidade, obtido através 
da análise psicométrica de itens pré-testados, isto é, respondidos por alunos na 
mesma escala de proficiência 16,17,18,19. 
O índice de dificuldade relaciona-se com a porcentagem do grupo que errou a 
resposta. Índices maiores indicam itens mais difíceis18,19. 
O índice de discriminação de um item em um teste é a diferença entre as 
médias do item no grupo com maior número de acertos (grupo superior) e no grupo 
com menor número de acertos (grupo inferior), usualmente, os 27% dos alunos que 
obtiveram maiores escores e 27% dos obtiveram os menores19. Em itens que 
concebem variáveis dicotômicas, como os de múltipla escolha, o índice de 
discriminação poderá apresentar valores entre -1 e mais +1. Quando os escores 
gerados pelo item são coerentes com os escores totais do teste, o índice de 
discriminação será alto. Um bom item discrimina os examinandos de desempenho 
superior dos que foram deficientes na prova18,19. 
O coeficiente de confiabilidade ou fidedignidade refere-se à replicabilidade e à 
consistência dos escores da escala. É o índice de precisão da medida, ou seja, o 
quanto a medida está suscetível ao erro. Nas medidas quantitativas, é necessário que 
o instrumento seja preciso, portanto, confiável, mesmo assim há a necessidade de 
cálculo do erro de mensuração, que pode ser desprezível. Nas mensurações 
qualitativas é estimada a fidedignidade do instrumento, sendo possível assegurar as 
mensurações realizadas com esse instrumento (questionários, testes). Quanto maior 
for a fidedignidade, maior será a precisão, que varia entre 0 e 1, sendo o valor ótimo 
igual a 1 (um) 18,19. 
A correlação ponto-bisserial, mede a correlação entre a resposta correta ao 
item e a pontuação total na prova, sendo largamente utilizada na área da educação19. 
 
30 
Foi enviada à “EDUDATA Assessoria em Tecnologia da Informação”, para 
análise psicométrica do grau de dificuldade e discriminação e índice de fidedignidade 
dos itens, uma planilha com os gabaritos e as respostas do candidatos, agrupados por 
ano/concurso e outra, com os mesmos dados, referentes à seleção de itens comuns a 
mais de um destes testes, o que permitiu obter-se um maior número de 
candidatos/respostas. 
 
 
3.4 Proposta de redução do número atual de 100 itens de múltipla escolha, da 
prova escrita, para 80 itens 
 
A proposta de redução da quantidade 100 itens de múltipla escolha para 80, 
para possibilitar um tempo de resposta de 3 (três) minutos para cada item, atende à 
recomendação dos Critérios para Elaboração e Revisão de Itens de Múltipla Escolha 
do INEP - Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira, 
Ministério da Educção15, foi apresentada à diretoria da SOBEST, em reunião ordinária. 
 
 
 
3.5 Elaboração de proposta de modelo de avaliação teórico-prático dos 
enfermeiros estomaterapeutas candidatos ao TiSOBEST e apresentação à 
diretoria da SOBEST 
 
O modelo atual do Concurso para Obtenção do Título de Enfermeiro 
Estomaterapeuta TiSOBEST consta da Análise de Memorial com a pontuação máxima 
de 60 pontos. Os candidatos que obtêm 50 pontos, são considerados aprovados e 
estarão dispensados da prova escrita, obtendo automaticamente o TiSOBEST, os que 
obtêm entre 21 e 49 pontos estão habilitados a participar da 2ª fase (prova escrita) e 
os que alcançam pontuação inferior a 20 pontos não poderão participar da 2ª fase. 
A prova escrita é composta de 100 questões com pontuação máxima de 40 
pontos. A pontuação final é obtida por meio da soma aritmética do resultado na análise 
do memorial e na prova escrita, sendo considerado aprovado aquele que obtiver um 
total de 60 pontos. 
 
31 
A análise do memorial considera para pontuação o tempo de atuação como 
enfermeiro e como enfermeiro nas áreas de estomaterapia, cursos de pós-graduação, 
participação como ouvinte em eventos e em cursos de extensão e atividades de 
capacitação emestomaterapia, participação em atividades científicas como ouvinte, 
palestrante ou coordenador, atividades de ensino e pesquisa, publicações, atuação 
como membro ativo e em cargos em órgãos de natureza científica na área de 
estomaterapia ou clínica (serviços, comissões e grupos institucionais de 
estomaterapia). 
A proposta de reformulação do modelo de avaliação teórico-prático dos 
candidatos à obtenção do TiSOBEST apresentada à diretoria, inclui a criação de um 
acervo SOBEST de itens; prova escrita composta por 80 itens de múltipla escolha; 
inclusão à análise de memorial e à prova escrita do Exame Clínico Objetivo Estruturado 
(OSCE), constituído por uma série de “estações” onde serão representados por atores 
(paciente simulado) casos clínicos, referentes às três áreas de abrangência da 
Estomaterapia e, por último, a constituição de uma comissão, subordinada ao 
Departamento de Desenvolvimento Profissional, responsável pela organização e 
operacionalização do Concurso TiSOBEST, pela manutenção do acervo de itens para 
avaliação cognitiva e de casos clínicos para realização do OSCE. 
Para a implantação desta modalidade de avaliação será necessário capacitar 
um grupo de profissionais para elaboração dos casos clínicos, seleção dos 
conhecimentos, habilidades e atitudes que serão avaliadas em cada estação e a 
construção de um instrumento de avaliação (checklist) a ser preenchido pelos 
avaliadores23. 
 
 
 
 
 
 
 
 
 
 
 
 
32 
4. RESULTADOS PRELIMINARES 
 
 
Nos sub-itens que serão aqui apresentados, encontram-se os resultados do 
estudo realizado no material obtido nos arquivos da SOBEST: seleção, entre os 900 
(novecentos) itens que compuseram as provas escritas aplicadas nos concursos 
realizados de 2007 a 2015, dos que foram utilizados uma única vez. Após esta 
primeira seleção, foram eliminados os que não puderam ser reformulados, segundo 
os “Critérios para elaboração e revisão de itens”15, e realizada a adequação dos 
demais e envio à EDUDATA para análise psicométrica, duas planilhas: a primeira com 
o gabarito e as respostas dos 31 (trinta e um) candidatos que fizeram a provas 
realizadas em 2011, 2013, 2014 e 2015, e a segunda com os mesmos dados (gabarito 
e respostas) dos 97 (noventa e sete) itens que foram utilizados em mais de uma destas 
provas. 
 
 
4.1 Seleção dos itens 
 
Dos 900 (novecentos) itens encontrados nos arquivos da SOBEST, após o 
descarte dos repetidos, restaram 231 itens, sendo possível a adequação de 154, 
segundo os critérios para construção de itens15. 
 
Tabela 1 – Acervo de questões SOBEST após descarte e adequação dos itens. 
Sorocaba, 2016 
Áreas Arquivo Selecionados Adequados 
Desenv. Profis. 100 26 25 
Estomias 300 79 39 
Feridas 300 74 51 
Incont. Anal 150 28 19 
Incont. Urinária 150 24 20 
Total 900 231 154 
Fonte: Acervos SOBEST 
 
 
A tabela 1 mostra a distribuição dos itens por área de conhecimentos avaliados 
nos concursos para obtenção do título: Desenvolvimento Profissional, Estomias, 
Feridas e Incontinências. 
 
33 
Para realização da 2a fase do concurso (prova escrita), realizada em 15 de 
setembro de 2016, durante o Simpósio Centro Oeste de Estomaterapia, foram 
selecionadas, deste arquivo, 10 questões sobre Desenvolvimento Profissional, 30 
sobre Estomias, 30 sobre Feridas, 15 sobre Incontinência Anal, 15 sobre Incontinência 
Urinária. 
 
 
4.2 Análise psicométrica do índice de dificuldade, discriminação, coeficiente 
de confiabilidade ou fidedignidade dos itens 
 
A análise psicométrica foi realizada pela empresa EDUDATA Assessoria em 
Tecnologia da Informação, sediada em São Paulo SP, empresa especializada em 
avaliação do ensino médico e outros cursos da área da saúde. Inicialmente, o material 
para análise foram os gabaritos das provas e as respostas dos candidatos na segunda 
etapa dos concursos realizados nos anos de 2011 (seis candidatos), 2013 (onze 
candidatos), 2014 (cinco candidatos), 2015 (dois concursos: seis candidatos no 
primeiro concurso e três no segundo), perfazendo um total de 31 provas realizadas 
nos cinco concursos oferecidos neste periodo, quantidade insuficiente para análise 
dos índices de dificuldade, discriminação e coeficiente de fidedignidade, sendo 
possível obter-se a média de acertos e desvio padrão por área de conhecimento em 
cada prova. 
Diante deste resultado, e com o objetivo de fornecer o maior número de itens 
para análise psicométrica, foram selecionados, entre os itens que compuseram as 
provas, os repetidos em mais de um concurso, o que possibilitou obter-se uma 
amostra maior. Assim, foram enviados, nesta segunda etapa, à EDUDATA uma 
planilha contendo o gabarito e as respostas dadas pelos candidatos aos 15 (quinze) 
itens sobre Desenvolvimento Profissional, aos 20 (vinte) sobre Estomias, aos 33 (trinta 
e três) sobre Feridas, aos 14 (catorze) sobre Incontinência Anal e aos 15 (quinze) 
sobre Incontinência Urinária, perfazendo um total de 97 (noventa e sete) itens. 
 
 
 
 
 
 
34 
4.2.1 Resultado da análise da média de acertos e desvio padrão das provas 
 
Devido ao pequeno número de candidatos (trinta e um) que realizaram a prova 
escrita, não foi possível a obtenção de índices confiáveis, restringindo-se a análise às 
médias de acertos e aos desvios-padrão dos escores alcançados. 
 
 
Tabela 2 - Valores das Médias de Acertos e Desvio Padrão: concursos 2011 e 2013. 
Sorocaba, 2017. 
Média de acertos e desvio padrão 
Áreas 
de 
conhecimentos 
Questões 
2011 
6 candidatos 
2013 
11 candidatos 
Média Desvio Média% Média Desvio. Média% 
Desenvolvimento 
Profissional 10 8,00 1,26 80,00% 7,82 1,17 78,18% 
Estomias 30 16,67 4,63 55,56% 16,36 4,50 54,55% 
Feridas 30 11,00 4,29 36,67% 16,18 3,52 53,94% 
Incontinências 30 15,33 3,78 51,11% 13,55 3,21 45,15% 
Prova Total 100 51,00 12,02 51,00% 53,91 9,94 53,91% 
Fonte: EDUDATA, 2017 
 
 
Na tabela 1, observa-se que a média de acertos nas 100 (cem) questões da 
provas realizadas em 2011 e 2013 foi 51% e 53,91%, respectivamente. Quanto ao 
desvio padrão, 12,2 e 9,94; pode-se concluir que a quantidade de acertos, 
comparativa entre os candidatos, foi bem variada. 
Por área de conhecimento, observa-se maior índice de acertos e menor 
desvio padrão em Desenvolvimento Profissional, e os menores em Feridas em 2011. 
Nessas, o desvio padrão foi menor do que nas outras áreas, mostrando certa 
uniformidade entre os candidatos. 
 
 
 
 
 
 
 
35 
Tabela 3 – Valores das Médias de Acertos e Desvio Padrão: concursos 2014 e 
2015. Sorocaba, 2017. 
Média de acertos e desvio padrão 
 
Áreas 
 de 
conhecimentos 
 
 2014 
5 candidatos 
2015 A 
6 candidatos 
2015 B 
3 candidatos 
Questões 
Média Desvio Média% Média Desvio Média% Média Desvio. Média% 
 
Desenvolvimento 
Profissional 
 
10 
8,40 1,36 84,00% 7,17 0,75 71,67% 7,00 2,00 70,00% 
 
Estomias 
 
30 16,20 2,32 54,00% 19,83 2,86 66,11% 17,67 2,31 58,89% 
 
Feridas 
 
30 17,40 3,61 58,00% 15,83 1,83 52,78% 18,00 2,00 60,00% 
 
Incontinências 
30 
13,40 1,62 44,67% 15,00 4,65 50,00% 12,33 3,79 11% 
Prova Total 100 
55,40 6,06 55,40% 57,83 7,63 57,83% 55,00 9,85 55,00% 
* Em 2015 foram realizadas, excepcionalmente, duas provas de título, aqui denominadas 2015 A e 
2015 B. 
 
 
A tabela 2 demonstra uma média de acertos nas 100 (cem) questões, 
semelhantes às provas realizadas em 2014, 2015 A e B. Em 2013, o índice de acertos 
foi um pouco maior (57,83%) e o desvio padrão nas 3 provas ficou entre 6,0 e 9,85. 
Por área de conhecimento, assim como nas provas dos dois anos anteriores 
(tabela 1), observa-se maior índice de acertos e menor desvio padrão em 
Desenvolvimento Profissional. Destaca-se, aqui, a redução, significativa do percentual 
de acertos em Incontinências, em 2015 B. 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
36 
Gráfico 1 – Evolução das médias de acertos (percentual), de 2011 a 2015. 
Sorocaba,2017. 
 
Fonte: EDUDATA, 2017 
 
 
No gráfico 1, observa-se discreta evolução das médias de acertos nas 100 
(cem) questões das provas realizadas: a menor 51%, no teste realizado em 2011 e a 
maior, 57,83%, no primeiro concurso realizado em 2015. 
 
 
4.2.2 Resultados da análise psicométrica dos itens repetidos em mais de um 
concurso 
 
A seleção dos itens repetidos em mais de um concurso, portanto, submetidos 
a um maior número de candidatos permitiu a análise dos índices de dificuldade e 
discriminação, o coeficiente de fidedignidade e ponto bisserial. Os valores dos 
parâmetros de dificuldade e de discriminação do item - tabelas 3 e 4 foram os 
considerados pela EDUDATA para a classificação do grau de dificuldade e de 
discriminação dos itens analisados. 
 
Tabela 4 – Escala de dificuldade do item. Sorocaba 2017 
Valor do parâmetro de dificuldade do item Grau de dificuldade do item 
Acima de 0,90 Muito difícil 
0,80 a 0,89 Difícil 
0,40 a 0,79 Média 
0,20 a 0,39 Fácil 
Abaixo de 0,19 Muito fácil 
Fonte: EDUDATA, 2017 
51,00%
53,91%
55,40%
57,83%
55,00%
46,00%
48,00%
50,00%
52,00%
54,00%
56,00%
58,00%
60,00%
2011 2013 2014 2015 A 2015 B
ano 
SOBEST
Evolução das Médias de Acerto% conforme o Ano
(Prova Total)
 
37 
 O índice de dificuldade do item relaciona-se ao percentual do grupo que errou 
a resposta. Índices maiores indicam itens com maior grau de dificuldade, isto é, itens 
muito difíceis ou difíceis19,20. O nível ideal de dificuldade dos itens de um teste, 
depende da finalidade do mesmo, caso o objetivo seja selecionar os melhores 
candidatos ou se o desejo for conhecer se um determinado patamar de conhecimento 
foi atingido. Todos os itens devem apresentar o grau de dificuldade que se deseja 
como seleção. 
 
 
Tabela 5 – Escala de discriminação do item. Sorocaba, 2017. 
Valor do parâmetro de discriminação do item Grau de discriminação do item 
0,40 e acima Bom 
0,30 a 0,39 Bom, mas sujeito a melhoria 
0,20 a 0,29 Item deficiente, sujeito a realoboração 
0,19 e abaixo Item deficiente, deve ser rejeitado 
Fonte: EDUDATA, 2017 
 
 
O índice de discriminação em testes de múltipla escolha poderá apresentar 
valores entre -1 e mais +1 e representa a diferença entre as médias dos 27% dos 
candidatos que obtiveram maiores escores e 27% dos obtiveram os menores. Um bom 
item discrimina os examinandos de desempenho superior dos que foram deficientes 
na prova19. 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
38 
4.2.2.1 Resultados da análise psicométrica dos itens de Desenvolvimento 
Profissional. 
 
Tabela 6 - Índices de Dificuldade, discriminação e correlação ponto-bisserial dos 
itens de Desenvolvimento Profissional. Sorocaba, 2017. 
Itens Ind Dif. G. Dificuldade % Itens Ind.Disc Grau % Itens P.Biss 
8 0,94 Difícil 
 
 
26,7% 
6 1 Boa 
 
 
 
 
66,7% 
6 0,96 
3 0,83 Difícil 7 1 Boa 12 0,96 
5 0,83 Difícil 12 1 Boa 9 0,96 
2 0,83 Difícil 9 1 Boa 15 0,96 
11 0,78 Média 
 
 
 
73,3% 
10 1 Boa 7 0,92 
14 0,78 Média 15 1 Boa 10 0,92 
10 0,72 Média 11 0,80 Boa 13 0,89 
13 0,72 Média 4 0,80 Boa 11 0,85 
1 0,72 Média 13 0,80 Boa 14 0,68 
7 0,72 Média 14 0,60 Boa 4 0,66 
15 0,67 Média 3 0,20 Fraca 
20% 
8 0,43 
6 0,67 Média 8 0,20 Fraca 3 0,27 
9 0,67 Média 5 0,20 Fraca 5 0,27 
12 0,67 Média 1 0,00 Def. 
13,3% 
1 0,00 
4 0,56 Média 2 0,00 Def. 2 -0,23 
Fonte: EDUDATA, 2017 
 
 
Segundo a análise dos itens do teste de Desenvolvimento Profissional (tabela 
6), 4 (quatro) deles foram considerados difíceis (26,7%) e 11(onze) apresentaram 
média dificuldade (73,3%). 
Quanto ao Índice de Discriminação, 10 (dez) itens apresentam boa 
discriminação (66,7%), 3 (três) fraca (20%) e 2 (dois) deficientes (13,3%), por obterem 
índice abaixo de 0,19. 
De acordo com a Escala de Discriminação do Item (tabela 5), os três itens 
com índice de discriminação 0,20 devem ser reelaborados e os dois com índice 0,00 
(zero) devem ser descartados. 
Os itens apresentaram bom coeficiente de confiabilidade: 0,89. Observe-se 
que, quanto maior a fidedignidade, maior a precisão, que é variável entre 0 e 119. 
 
 
 
 
 
 
39 
4.2.2.2 Resultados da Análise psicométrica dos itens de Estomias 
 
Tabela 7 – Índice de Dificuldade, discriminação e correlação ponto-bisserial dos 
itens de Estomias. Sorocaba, 2017. 
Itens Ind Dif. G dificuldade % Itens Ind.Disc Grau % Itens P.Biss 
20 0,93 Difícil 
 
20% 
3 1,00 Boa 
 
 
 
 
65% 
 
 
 
 
 
 
3 0,73 
10 0,85 Difícil 8 1,00 Boa 18 0,70 
15 0,81 Difícil 18 0,86 Boa 8 0,69 
2 0,81 Difícil 19 0,86 Boa 6 0,65 
14 0,78 Média 
 
 
 
 
 
 
 
70% 
11 0,71 Boa 19 0,64 
12 0,74 Média 13 0,71 Boa 13 0,59 
1 0,74 Média 6 0,71 Boa 11 0,56 
18 0,70 Média 4 0,57 Boa 4 0,51 
17 0,67 Média 14 0,57 Boa 12 0,49 
4 0,67 Média 12 0,57 Boa 15 0,47 
9 0,67 Média 9 0,57 Boa 9 0,44 
19 0,67 Média 15 0,43 Boa 1 0,42 
16 0,59 Média 1 0,43 Boa 10 0,40 
8 0,59 Média 20 0,29 Fraca 10% 14 0,38 
11 0,59 Média 10 0,29 Fraca 20 0,33 
7 0,59 Média 17 0,14 Deficiente 
 
25% 
17 0,13 
3 0,52 Média 16 0,14 Deficiente 16 0,09 
13 0,41 Média 2 0,14 Deficiente 7 0,03 
5 0,26 Fácil 
10% 
7 0,14 Deficiente 2 0,01 
6 0,26 Fácil 5 -0,43 Deficiente 5 -0,33 
Fonte: EDUDATA, 2017. 
 
 
Na análise dos Itens do teste de Estomias (tabela 7), obteve-se 4 itens difíceis 
(20,0%), 11 com dificuldade média (70,0%) e 2 fáceis (10%), 13 itens com boa 
discriminação (65,0%), 2 fracas (10%) e 5 deficientes (25%). Os itens apresentaram 
bom Coeficiente de Fidedignidade: 0,73 
Conforme os Parâmetros de Discriminação do Item (tabela 5), os 2 itens com 
índice de discriminação 0,29 devem ser reelaborados e os 5 abaixo de 0,19 (zero) 
devem ser eliminados. 
 
 
 
 
 
 
 
 
40 
4.2.2.3 Resultados da análise psicométrica dos itens de Feridas 
 
Tabela 8 – Índice de Dificuldade, discriminação e correlação ponto-bisserial dos 
itens sobre Feridas. Sorocaba, 2017. 
Itens Ind. Dif. G. dificuldade % Itens Ind.Dif. % Itens P. Bis 
3 1,00 Difícil 
 
 
 
 
 
42,4
% 
6 1,00 Boa 
 
 
 
 
 
 
 
51,1% 
6 0,86 
12 0,96 Difícil 14 0,86 Boa 14 0,83 
31 0,96 Difícil 13 0,71 Boa 13 0,70 
9 0,96 Difícil 8 0,71 Boa 8 0,66 
22 0,93 Difícil 18 0,71 Boa 28 0,60 
2 0,93 Difícil 28 0,71 Boa 18 0,58 
21 0,89 Difícil 10 0,57 Boa 33 0,58 
7 0,89 Difícil 15 0,57 Boa 27 0,57 
11 0,85 Difícil 27 O,57 Boa 30 0,53 
33 0,85 Difícil 30 0,57 Boa 23 0,50 
29 0,85 Difícil 17 0,43 Boa 15 0,48 
23 0,81 Difícil 16 0,43 Boa 4 0,46 
1 0,81 Difícil 33 0,43 Boa 1 0,42 
4 0,81 Difícil 19 0,43 Boa 1 0,38 
25 O,78 Média 
 
 
 
 
 
54,5
% 
26 0,43 Boa 11 0,38 
30 0,78 Média 1 0,43 Boa 10 0,38 
20 0,78 Média 11 0,43 Boa 21 0,36 
10 0,78 Média 2 0,29 Fraca 
 
12,1% 
31 0,31 
8 0,74 Média 4 0,29 Fraca 19 0,31 
26 0,74 Média 7 0,29 Fraca 7 0,31 
27 0,70 Média 23 0,29 Fraca 16 0,30 
28 0,70 Média 25 0,14 Deficiente 22 0,30 
16 0,70 Média 29 0,14 Deficiente 2 0,30 
17 0,63 Média 31 0,14 Deficiente 17 0,30 
13 0,63 Média 9 0,14 Deficiente 
 
 
36,4% 
26 0,25 
19 0,63 Média 20 0,14 Deficiente 9 0,23 
6 0,59 Média 24 0,14 Deficiente 29 0,22 
14 0,59 Média 22 0,14 Deficiente 24 0,19 
18 0,56 Média 21 0,14 Deficiente 12 0,10 
5 0,52 Média 12 0,00 Deficiente 25 0,08 
32 0,48 Média 3 0,00 Deficiente 3 0,00 
15 0,44 Média 5 -0,29 Deficiente 32 -0,07 
24 0,07 Muito fácil 3,1% 32 -0,29 Deficiente 5 -0,31 
Fonte: EDUDATA, 2017 
 
 
Na análise dos Itens do teste sobre Feridas (tabela 8), obteve-se 14 itens 
difíceis (42,4%), 18 de média dificuldade (54,5%) e 1 muito fácil (3,1%), 17 itens 
 
41 
apresentaram boa discriminação (51,5%), 4 fracas (12,1%) e 12 deficientes (36,4%) e 
coeficiente de fidedignidade: 0,78. 
De acordo com a Escala de Discriminação do Item (tabela 5), os 4 itens com 
índice de discriminação 0,29 devem ser reelaborados e os 12 abaixo de 0,19 (zero) 
devem ser eliminados. 
 
 
4.2.2.4 Resultados da análise psicométrica dos itensde Incontinência 
Anal 
 
Tabela 9 – Índice de Dificuldade, discriminação e correlação ponto-bisserial dos 
itens sobre Incontinência Anal. Sorocaba, 2017. 
Itens Ind. Dif G. dificuldade % Itens Ind. Dis % Itens P. Bis 
10 0,92 Difícil 
21,4% 
12 0,67 Boa 
 
 
50% 
12 0,58 
11 0,88 Difícil 6 0,67 Boa 14 0,57 
5 0,83 Difícil 13 0,67 Boa 13 0,50 
7 0,75 Média 
 
 
 
71,4% 
14 0,50 Boa 9 0,46 
8 0,75 Média 9 0,50 Boa 4 0,45 
3 0,71 Média 11 0,50 Boa 11 0,45 
13 0,67 Média 4 0,50 Boa 3 O,41 
14 0,67 Média 2 0,43 Regular 
 
35,7% 
6 0,39 
4 0,67 Média 5 0,33 Regular 5 0,32 
2 0,63 Média 8 0,33 Regular 8 0,31 
9 0,63 Média 7 0,33 Regular 7 0,28 
6 0,63 Média 3 0,33 Regular 2 0,22 
12 0,46 Média 1 0,17 Deficiente 14,3% 1 0,16 
1 0,38 Fácil 7,1% 10 0,00 Deficiente 10 0,00 
Fonte: EDUDATA, 2017 
 
 
Na análise dos Itens do teste sobre Incontinência Anal (tabela 8), observa-se 
3 itens difíceis (21,4%) e 10 com dificuldade média (71,4%) e 1 muito fácil (7,1%), 7 
itens apresentaram boa discriminação (50%), 5 com índice regular (35,7%) e 2 
deficientes (14,3%) e Coeficiente de fidedignidade 0,63. 
De acordo com a Escala de Discriminação do Item (tabela 5), os dois itens 
com Índice de Discriminação abaixo de 0,19 (zero), considerados deficientes, devem 
ser eliminados. 
 
 
 
42 
4.2.2.5 Resultados da análise psicométrica dos itens de Incontinência 
Urinária 
 
Tabela 10 – Índice de Dificuldade, discriminação e correlação ponto-bisserial dos 
testes de Incontinência Urinária. Sorocaba, 2017. 
Itens Ind.Dif G. dificuldade % Itens Ind.Disc G Disc % Itens P.Biss 
14 0,97 Difícil 
 
 
40% 
17 0,75 Boa 
 
26,7% 
12 0,51 
8 0,92 Difícil 5 0,63 Boa 15 0,49 
13 0,93 Difícil 15 0,63 Boa 4 0,42 
9 0,87 Difícil 11 0,50 Boa 14 0,39 
11 0,83 Difícil 9 0,38 Regular 
20% 
6 0,38 
10 0,80 Difícil 4 0,38 Regular 11 0,35 
15 0,77 Média 
 
 
53,3% 
6 0,38 Regular 5 0,35 
1 0,73 Média 10 0,25 Fraca 6,7% 10 0,34 
6 0,73 Média 13 0,13 Deficiente 
 
 
46,7% 
9 0,32 
7 0,70 Média 14 0,13 Deficiente 8 0,15 
4 0,67 Média 1 0,13 Deficiente 13 0,13 
2 0,67 Média 8 0,13 Deficiente 2 0,06 
12 0,67 Média 3 0,00 Deficiente 1 0,04 
5 0,53 Média 7 0,00 Deficiente 3 0,00 
3 0,00 Muito fácil 5,7% 2 -0,13 Deficiente 7 -0,09 
Fonte: EDUDATA, 2017 
 
 
Na análise dos Itens do teste sobre Incontinência Urinária (tabela 10), obteve-
se 6 itens difíceis (40%), 10 com dificuldade média (53,3%) e 1 muito fácil (6,7%); 4 
itens apresentaram boa discriminação (26,7%), 3 com grau regular (20,0%), 1 item 
fraco e 7 deficientes (46,7%) 
Coeficiente de fidedignidade: 0,12. Como o valor ótimo é 1, com variação de 
0 a 1, o coeficiente 0.12 é considerado baixo. 
De acordo com a Escala de Discriminação do Item (tabela 5), os 7 itens com 
índice de discriminação menor que 0,19, considerados deficientes, devem ser 
eliminados. 
 
 
 
 
 
 
 
43 
4.3 Acervo SOBEST de Itens 
 
Tabela 11 – Quantidade e características dos itens selecionados para formação do 
acervo de itens da SOBEST. Sorocaba, 2017. 
 
Acervo SOBEST 
 
Índice 
de 
Discriminação 
 
Índice 
de 
Dificuldade 
 
Coeficiente de 
Confiabilidade 
Área Sem 
análise 
Com 
análise 
Total Reelaborar Descartar Difícil Média Fácil Muito 
fácil 
 
 
DV 10 15 25 3 2 4 11 0 0 0,89 
Est 19 20 39 2 5 4 14 2 0 0,73 
Fe 18 33 51 4 7 14 18 0 1 0,78 
IA 5 14 19 2 1 3 10 1 0 0,63 
IU 5 15 20 0 7 6 8 0 1 0,12 
Total 57 97 154 11 22 31 61 3 2 
 
 
No acervo de itens da SOBEST constam, separados por área de conhecimento 
(tabela 11), 154 itens (cento e cinquenta: 57 (cinquenta e sete) não puderam ser 
analisados por não terem sido submetidos a um número suficiente de candidatos e 97 
(noventa e sete) em que foram realizadas análises psicométricas. 
Dos novente e sete itens, 11 (onze), com índice de discriminação entre 0,20 e 
0,29, considerada fraca, a recomendação é que sejam reelaborados e os 22 (vinte e 
dois) com índice abaixo de 0,19, considerados deficientes (tabela 5), a recomendação 
é que sejam descartados. 
Quanto ao índice de dificuldade, 31 (trinta e um) foram classificados como 
difíceis, 61 (sessenta e um) como dificuldade média, 3 (três) como fáceis e 2 (duas) 
como muito fáceis. 
 
 
4.4 Proposta de redução do número de itens da prova 
 
A proposta de redução da quantidade itens das provas de cem para oitenta, 
com o objetivo de permitir um tempo de resposta de 3 (três) minutos para cada item15, 
foi aprovada pela diretoria, submetida e aprovada pela Assembleia Geral Ordinária, 
realizada no dia 15 de setembro de 2016. 
O formato atual, aplicado na segunda etapa dos dois exames realizados em 
07 de julho e em 12 de novembro de 2017, consta de 80 (oitenta) questões de múltipla 
 
44 
escolha, valendo 0,5 (cinco décimos) ponto cada uma, sendo a pontuação máxima 40 
(quarenta) pontos, abrangendo os seguintes temas: 
 
• Desenvolvimento Profissional: 8 questões. 
• Estomias: 24 questões. 
• Prevenção e Tratamento de feridas: 24 questões. 
• Incontinência Urinária: 12 questões. 
• Incontinência Anal: 12 questões. 
 
 
4.5 Proposta de reformulação do Concurso para Obtenção e Renovação do 
Título de Enfermeiro Estomaterapeuta TiSOBEST 
 
Para reformulação do modelo do Concurso para Obtenção e Renovação do 
Título de Especialista, que avalie o saber, o saber como e o mostrar como faz, 
princípios da pirâmide de Miller, objetivo deste estudo, foi elaborada uma proposta e 
encaminhado em ofício à Presidente da SOBEST (APÊNDICE A). A proposta, 
discriminada abaixo, foi apreciada pelos membros da diretoria, em reunião ordinária, 
que decidiu nomear uma comissão, composta por quatro membros, para análise e 
viabilidade da implantação da mesma. 
Proposta de reformulação do Concurso para Obtenção e Renovação do Título 
de Enfermeiro Estomaterapeuta TiSOBEST. 
 
• manutenção do um acervo SOBEST de itens, a partir das questões já 
selecionadas e analisadas; 
• inclusão à análise de memorial e à prova escrita, do Exame Clinico 
Objetivo Estruturado - OSCE, constituído por uma série de “estações” onde serão 
representados por atores (paciente simulado) casos clínicos, referentes às três áreas 
de abrangência da Estomaterapia, que passará a constituir a terceira fase do concurso 
com pontuação máxima de 20 pontos. 
• constituição de uma comissão, subordinada ao Departamento de 
Desenvolvimento Profissional, que passará a ser responsável pela organização e 
 
45 
operacionalização do Concurso TiSOBEST, pela manutenção do acervo de itens para 
avaliação cognitiva e de casos clínicos para realização do OSCE. 
• Capacitação de um grupo de especialistas para elaboração de itens de 
múltipla escolha e das estações do Exame Clinico Estruturado (OSCE), a partir da 
Matriz de Referência estabelecida pelo Conselho Científico, assim como para 
construção de um instrumento de avaliação (cheklist) a ser preenchido pelos 
avaliadores. 
 
Para inclusão do OSCE, serão necessárias alterações no item 5 (cinco) do 
documento “Critérios para Obtenção ou Renovação do Título de Enfermeiro 
Estomaterapeuta TiSOBEST” (ANEXO B): 
 
 
1ª fase – Análise do Memorial 
I – Análise de Memorial: a pontuação máxima da avaliação do Memorial é 60 
pontos. 
§ O candidato que obtiver 50 pontos, na análise Memorial será considerado 
APROVADO e estará dispensado da 2a e 3a fase, obtendo automaticamente o 
TiSOBEST. 
§ O candidato que obtiver entre 21 e 49 pontos na análise do Memorial estará 
HABILITADO automaticamente para participar da 2ª fase – Avaliação das habilidades 
cognitivas (prova escrita) e da 3a fase – Avaliação das habilidades e competências 
clínicas (prova prática). 
§ O candidato cuja pontuação obtida na análise do Memorial for inferior a 20 
pontos estará DESABILITADO a participar da 2ª fase. 
 II - Avaliação Escrita: a pontuação máxima desta prova é 40 pontos. 
 III – Avaliação prática: a pontuaçãomáxima desta prova é 20 pontos 
O candidato que se submeter às três fases – Memorial e avaliação escrita e 
prática - a pontuação final será obtida por meio da soma aritmética, dos respectivos 
resultados, sendo considerado APROVADO aquele que obtiver um total de 70 pontos 
 
2ª fase: Avaliação “saber” e “saber como” 
Prova escrita composta por 80 itens de múltipla escolha, selecionados no 
Acervo SOBEST de Itens, com pontuação máxima de 40 pontos. 
 
46 
3ª fase: Avaliação de habilidades e atitudes – “mostrar como faz”. 
 Realização de Exame Clínico Objetivo Estruturado (OSCE), constituído 
por amostras de casos em diversos contextos, representadas por atores e percorridas 
pelos candidatos, observados por avaliadores munidos de um instrumento de 
avaliação. 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
47 
5. DISCUSSÃO 
 
 
A elaboração de itens de qualidade é fundamental para que os propósitos das 
avaliações sejam alcançados; o que demanda conhecimentos de ordem técnica para 
construção e expertise na área a ser avaliada. A necessidade de publicação de guias 
tornou-se essencial para orientar professores para formulação de questões de testes 
de melhor qualidade para exames, concursos e vestibulares, tendo como objetivo 
avaliar o conhecimento, dos alunos/candidatos e não de induzi-los ao erro, por meio 
das conhecidas “pegadinhas” e de enunciados e comandos para respostas que os 
confundam, comuns no passado. No contexto atual da Educação nas Profissões da 
Saúde, a avaliação passou a ser uma ferramenta valorizada como estimuladora da 
aprendizagem, assim como fonte de informações quanto a eficácia do ensino e 
consequente segurança da sociedade10,13,14. 
Utiliando-se itens bem construídos, com o índice de dificuldade, discriminação 
e de confiabilidade estabelecidos, é possível a formação de bons testes de múltipla 
escolha15,18. O conhecimento do coeficiente de dificuldade de cada item permite que 
estes sejam distribuídos num teste de forma que, no mesmo, tenha itens de diferentes 
níveis19. 
Educadores têm buscado métodos que atendam à necessidade de avaliação 
de conhecimentos, habilidades, atitudes, comunicação, profissionalismo, entre outros 
requisitos importantes na formação de um bom profissional24,25,26,27,28,29,30. 
Os resultados de um estudo realizado com 103 alunos do 4o ano de Medicina, 
da Universidade Estadual de Campinas – UNICAMP, utilizando quatro métodos de 
avaliação, abrangendo todos os níveis da Pirâmide de Miller, coincide com o consenso, 
existente entre pesquisadores, de que nenhum método, utilizado isoladamente, é 
suficiente para avaliar as competências requeridas pelo saber, saber como, mostrar 
como faz e o fazer da referida pirâmide29. 
As questões de múltipla escolha e as dissertativas são recursos para testarem 
a teoria e a aplicação do conhecimento por meio de itens que envolvam casos clínicos, 
mas, para avaliação do desempenho, habilidades, atitudes, empatia, relacionamento 
são insuficientes, havendo a necessidade de métodos que permitam a observação 
direta do aluno,14,16,28,30. 
 
48 
Zhou at al.31, em um estudo de coorte restrospectivo, levantaram os dados de 
anestesiologistas que realizaram treinamento para a especialidade de 1971 a 2011, 
num total de 49.278 médicos. O objetivo principal deste estudo foi testar a hipótese 
de que o risco de uma ação disciplinar é menor naqueles que passam nos exames, 
escrito e oral, para certificação pelo American Board of Anesthesiology - ABA, em 
comparação com aqueles que passam apenas o exame escrito. Os resultados 
comprovaram a hipótese de que o exame oral avalia domínios importantes para o 
desempenho profissional, que não são avaliados em um exame escrito e mostra 
evidências de que os médicos que são certificados, são menos propensos a 
desenvolver deficiências de desempenho em suas carreiras médicas. Em 2018, a ABA 
adicionará um componente da OSCE ao exame oral atual 30. 
Para prestar os exames de titulação, o enfermeiro ainda encontra barreiras 
relacionadas à disponibilidade de tempo, medo do fracasso e aos custos9,32,33,34. As 
associações de especialistas incentivam, buscam parcerias e alternativas que 
viabilizem o acesso de maior número de enfermeiros titulados31,32,35. Com esse 
objetivo, a Pediatric Nursing Certification Board (PNCB), a maior organização 
independente de certificação de enfermagem pediátrica nos Estados Unidos, criou um 
programa que denominou “No Pass No Pay”, em parceria com algumas instituições. 
Em 2012, 49% dos 2.299 enfermeiros que obtiveram a certificação CPN o fizeram 
através do NPNP32. 
A titulação exerce importante papel na validação dos especialistas, 
reconhecendo a competência em determinada área. Valoriza o profissional, a 
especialidade, a profissão, a instituição e beneficia a sociedade. A renovação 
periódica do título, prática comum a várias sociedades de especialistas, em diversos 
países, estimula a atualização constante e a educação continuada32, 33,34. 
 
 
 
 
 
 
 
 
 
 
49 
CONCLUSÕES 
 
 
O acervo de itens de múltipla escolha, após adequação das questões segundo 
os critérios para elaboração de itens, possui um total de cento e cinquenta e quatro 
itens. Destes, cinquenta e sete não foram enviados à EDUDATA para análise 
psicométrica, por não terem sido aplicados a um número suficiente de candidatos. A 
análise psicométrica dos índices de dificuldade e discriminação e o coeficiente de 
fidedignidade, realizada em noventa e sete dos cento e cinquenta e quatro itens, 
permitiu a seguinte classificação dos itens: 
 
1) Onze itens devem ser realaborados e vinte e dois descartados por não 
possuirem índices de discriminação adequados. 
2) Quanto ao Índice de Dificuldade: trinta e um foram considerados difíceis, 
sessenta e um com dificuldade média, três fáceis e dois muito fáceis. 
3) Apenas os itens de incontinência urinária obtiveram coeficiente de 
confialbilidade baixo (0,12) o que significa que não medem com precisão, portanto, não 
são reprodutíveis, os demais temas obtiveram coeficiente entre 0,63-0,89; 
considerados como de boa confiabilidade. 
 
As provas realizadas pelos nove candidatos que se submeteram à 2a. fase 
das dos exames realizados em 2017, com tempo disponibilizado de quatro horas 
(média de três minutos para resolução de cada item), constaram de oitenta questões 
de múltipla escolha, valendo cinco décimos cada uma, com pontuação máxima de 
quarenta pontos, abrangendo temas das três áreas de abrangência da estomaterapia: 
vinte e quatro questões de múltipla escolha sobre Estomias, vinte e quatro sobre 
Feridas, doze itens sobre Incontinência Anal, doze sobre Incontinência Urinária e oito 
sobre o tema Desenvolvimento Profissional. 
 A proposta da reformulação da prova de título foi apresentada e aceita 
pela diretoria, em 20 de outubro de 2017, sendo nomeados os membros de uma 
comissão, subordinada ao Departamento de Desenvolvimento Profissional, para 
organização e operacionalização do concurso, capacitação para elaboração de itens 
 
50 
e casos clínicos e avaliação de custos para inclusão do exame clínico objetivo 
estruturado (Objetive Structured Clinical Examination - OSCE). 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
51 
CONSIDERAÇÕES FINAIS 
 
 
O desinteresse dos estomaterapeutas em submeterem-se ao Concurso para 
Obtenção do Título de Enfermeiro Estomaterapeuta TiSOBEST, evidenciado pelo 
histórico de reduzido número de titulados, setenta e seis, atualmente, tem sido objeto 
de questionamentos internos, sendo considerada a falta de valorização do título pelo 
mercado de trabalho e o estigma, desde as primeiras experiências escolares, de 
“prova” como algo que ameaça, como citado por Panúncio e Troncon9. 
Os benefícios da titulação serão sentidos pelos especialistas