Metodo de Evaluacion Minicex

5/25/2018 Metodo de Evaluacion Minicex

1/7

Eduardo Durante

EDUCACIN MDICA

Algunos mtodos de evaluacin de las competencias:

Escalando la pirmide de Miller

Recibido: 18 ago. 2006 Aceptado: 24 ago. 2006

Servicio de Medicina Familiar y Comunitaria. Hospital Italiano de Buenos Aires. Correspondencia: [email protected]

URL:http://revista.hospitalitaliano.org.ar

INTRODUCCINEn el artculo La evaluacin de los conocimientos: loque parece ser, es realmente lo que es? del Nmero 1de 2005 de esta misma revista2, se trataron los fundamen-tos de la evaluacin de las competencias en medicina. Allse compar a la incompetencia mdica con una enfer-

medad que puede ser diagnosticada a travs de pruebasque no son perfectas.Como fue desarrollado en ese artculo, la competencia esespecfica segn el contenido o el contexto. Esto significaque el hecho de lograr una competencia ptima en un reano es un buen predictor de competencia en otra, an en elcaso de que dichas reas se encuentren muy relacionadas.Esto tiene que ver con que la adquisicin de competenciases especfica para contenidos o contextos diferentes aun-que parezcan similares (la competencia del examen fsicoen un paciente con insuficiencia cardaca no predice eldesempeo en el examen fsico de un paciente con fibrosis

pulmonar). Como consecuencia de este fenmeno, es ne-cesario aumentar el nmero de casos en las evaluacionespara asegurar una adecuada confiabilidad intercasos13.Otra conclusin es que un nico mtodo no puede valorara toda la pirmide de Miller. Se necesita una combinacinde diferentes mtodos.Adems, se mencion el papel fundamental de la evalua-cin como orientadora del aprendizaje, por lo que su dise-o debe ser estratgico en funcin de los efectos de apren-dizaje deseados.En este artculo, se describirn las caractersticas de al-gunas pruebas frecuentemente utilizadas en nuestro me-dio, y se har una reflexin final sobre su aplicacin enel da a da.

ESCALANDO LA PIRMIDE DE MILLEREn ese mismo artculo, se present a la pirmide de Miller,del ao 19904. Este es un modelo para la evaluacin de lacompetencia profesional organizada como una pirmide decuatro niveles. En los dos niveles de la base se sitan losconocimientos (saber) y cmo aplicarlos a casos concretos(saber cmo). En el nivel inmediatamente superior (mos-trar cmo), se ubica a la competencia cuando es medida en

ambientes in vitro (simulados) y donde el profesional debedemostrar todo lo que es capaz de hacer. En la cima se hallael desempeo (hace) o lo que el profesional realmente haceen la prctica real independientemente de lo que demuestreque es capaz de hacer (competencia).Adems, durante la dcada de los 90 se volvi ms evi-

dente la necesidad de una evaluacin del aprendizaje msautntica e integrada, as como la mayor incorporacin delos estudiantes a la evaluacin.Hoy en da se ha vuelto bastante clara la nocin de que laevaluacin tradicional organizada en la combinacin deconstructos ya no es sustentable. En Educacin, el mode-lo ms conocido es el de conocimientos tericos, habili-dades y destrezas, actitudes.Los constructos o concep-tos son rasgos (traits,en idioma ingls) ms o menos esta-bles en el tiempo, que pueden ser medidos en forma sepa-rada e independientes entre s, y son genricos; es decir,son competencias generales no dependientes del contex-

to. Sin embargo, repetidamente se ha observado que hayms variacin dentro de un mismo instrumento de evalua-cin (de un caso a otro, de una estacin a otra en el Exa-men Clnico Objetivo y Estructurado [ECOE]3) que la quehay entre diferentes instrumentos. La correlacin entre unexamen escrito de conocimientos y una estacin del ECOEdel mismo contenido puede ser mayor que entre dos esta-ciones del mismo ECOE. Se concluye que lo importanteno es el mtodo, sino el contenido para determinar cul esla competencia medida7.Actualmente, a la luz de estos hallazgos, se ha abando-nado la bsqueda del instrumento ideal que mida todoslos constructos a la vez. La idea actual es que para com-pletar una determinada tarea, es necesario que diferentesaspectos de la competencia estn juntos e integrados. Lapirmide de Miller marca el comienzo de esta forma depensamiento. Cada nivel usa un verbo o acciones queson observables, por lo que pueden ser valoradas y usa-das para la evaluacin. De esta manera, se acepta en laactualidad que varios instrumentos deben ser combina-dos para obtener juicios sobre la competencia de los es-tudiantes en los distintos niveles9.Otro factor importante es la autenticidad8,9. Su inclusin


2/7

Rev. Hosp. Ital. B.Aires Vol. 26 N 2, agosto 200656

debera ser prioritaria cuando se estn diseando progra-

mas para la evaluacin de las competencias mdicas. Estosignifica que las situaciones en las cuales es evaluada lacompetencia de los estudiantes se parezca lo ms posiblea la situacin en la que la competencia deba ser utilizadaen la realidad. Varias razones sostienen esta afirmacin:1. Las personas guardan y recuperan informacin de ma-

nera ms efectiva cuando es aprendida en un contex-to relevante7.

2. Durante el proceso de aprendizaje, las personas alma-cenan informacin contextual, alguna de ella aparen-temente irrelevante7.

En conclusin, cuanto ms autntica sea la aproximacinal aprendizaje y la evaluacin, ms informacin contextualser incorporada en el proceso.

QU PRUEBAS USARLa pirmide de Miller, como ya fue comentado, presenta4 niveles de competencia, definidos como sabe, sabecmo, demuestra y hace. En la Figura 1 se observanlos cuatro niveles y algunos de los mtodos utilizados paraevaluar cada uno de ellos.Describiremos los mtodos mencionados en la Figura 1y adems, usaremos la nocin de utilidad de un examenen donde se vinculan estas variables y se les da diferentepeso2,14. As:

Utilidad= Confiabilidad x Validez x Impactoeducacional x Aceptabilidad x 1

Costo

En la Tabla 1, se enumeran diferentes tipos de pruebas y

cules son sus caractersticas en relacin a la aplicacinde la frmula de utilidad:

EXMENES ESCRITOSNIVEL DE SABE Y SABE CMOEn este nivel los exmenes son escritos. Este tipo de eva-luaciones pueden ser clasificadas como de formato de res-puesta o formato de estmulo, segn dnde se ponga elnfasis del tem 10,11.Las pruebas de formato de respuesta incluyen las pregun-tas de respuesta corta y las de ensayo. Adems de la longi-tud, ambas solicitan al candidato respuestas cognitivasdiferentes.En las preguntas de respuesta de ensayo, se pregunta porconocimiento o procesamiento de la informacin ms quereproduccin, requiriendo de los candidatos que establez-can procesos de razonamiento o sntesis de informacin,o pidindoles que apliquen conocimientos en diferentescontextos. La confiabilidad inter-casoses baja dada lalimitacin de presentar muchas preguntas a desarrollaren un tiempo determinado. La confiabilidad inter-obser-vadortambin es baja, dada la disparidad de los criteriosde correccin.Las preguntas de respuesta corta no son mejores que lasde eleccin de opciones mltiples (EOM). Por lo tanto,

slo deberan usarse en las situaciones en las que la gene-racin espontnea de la respuesta sea un aspecto esencialdel estmulo (la vieta o descripcin del caso).Las pruebas de formato de estmulo incluyen las que tie-

Figura 1. la pirmide de Miller y los mtodos de evaluacin. Mini CEX, Mini Clinical Evaluation Exercise; ECOE, Examen Clnico y ObjetivoEstructurado.

Mini CEX, perfiles de prctica,pacientes de incgnito ...

Opcin mltiple, puntos clave,ensayo, oral ...

Opcin mltiple, puntos

clave, ensayo, oral ...

ECOE, examen oral con pacientes,portafolio ...

Autenticidad

Conductas

Cognicin

Hace

Demuestra

Sabe cmo

Sabe


3/7

57Mtodos de evaluacin de las competenciasDurante E.

nen en su enunciado descripciones ricas de claves contex-

tuales, o no. Las que tienen formato rico en contexto eva-lan ms efectivamente el razonamiento clnico y perte-necen al nivel de sabe cmo. Las de formato pobre encontexto evalan conocimiento de tipo memorstico y per-tenecen al nivel de sabe. Estimulan la toma de decisio-nes ms simple, del tipo si / no.En la Tabla 2, se ejemplifican las diferencias entre formatos.

LA PRUEBA DE ELECCIN DE OPCIONES MLTIPLES(EOM)Este tipo de prueba no necesita presentacin, ya que cual-quier profesional de la salud estuvo expuesto a sus efectosen algn momento de su vida. Su propsito es evaluar co-nocimiento terico (nivel de sabe y sabe cmo) 10,11,12.

Sus ventajas logsticas son su mayor fortaleza. Cientos o

miles de alumnos pueden ser evaluados al mismo tiempocon mnima participacin humana. Sus desventajas msreconocidas son que evalan (en general, debido a su cons-truccin como de formato de estmulo pobre en contexto),conocimiento de tipo memorstico ms que razonamientoms elaborado y la diferencia entre reconocer la res-puesta correcta en lugar de recuperarla de la memoria. Dadosu empleo tan extendido, existe buen grado de evidenciasobre sus caractersticas psicomtricas.Sin embargo, como ya se mencion, es posible disear temscon descripciones ricas del contexto (formato de estmulorico en contexto) que simulan casos reales y evalan msadecuadamente las competencias del nivel sabe cmo.Confiabilidad: los EOM son capaces de tomar muestras de

Tabla 1. Caractersticas de las pruebas segn la frmula de utilidad de una evaluacin. ECOE, Examen Clnico y Objetivo Estructurado; MiniCEX, Mini Clinical Evaluation Exercise; (+), bajo; (++), moderado; (+++), alto.

Tipo de prueba Confiabilidad Validez Impacto educacional Costo

Opcin Mltiple +++ +++ (de contenido) + +Puntos Clave +++ +++ ++ ++Examen oral + + + +/++Ensayo + + + +/++Caso largo + + + ++/+++

ECOE ++/+++ +++ +++ +++Mini CEX ++ +++ +++ ++/+++Portafolio +/++ ++ +++ ++

Formato pobre en contexto con preguntas abiertas

Cuando el oxgeno difunde desde el aire alveolar hasta eleritrocito atraviesa diferentes estructuras.Mencione esas estructuras.

Formato pobre en contexto con tems de eleccin mltiple

Marque cules de las siguientes son medidas de prevencinprimaria:a. Anticoagulacin en un paciente con FA.b. Uso del cinturn de seguridad.c. Rehabilitacin cardiovascular.d. Suero hiperinmune antitetnico.

Tabla 2.diferencias entre formatos de estmulo rico y pobre en contexto.

Formato rico en contexto con preguntas abiertas

El Sr. Garca es un enfermo terminal. Tiene un mesotelioma enel trax derecho. Desarrolla disnea sbita CF IV por lo que seinterna. Se diagnostica derrame pleural masivo y se decide laevacuacin y sellado pleural.

Tres das despus lo ve en el domicilio. Le refiere que se le hin-charon ambos miembros inferiores. Explique los posibles diag-nsticos diferenciales y por qu.

Formato rico en contexto con tems de eleccin mltiple

Los padres traen a control a Julin, de 3 aos de edad. En elexamen usted observa que el testculo izquierdo del nio no seencuentra en la bolsa escrotal, sino en el conducto inguinal, peroque puede llevarlo hasta el escroto, donde permanece. Usted leinforma a los padres que se trata de un testculo en ascensor y leindica:a. Ciruga.b. Testosterona.

c. Gonadotrofina corinica.d. Observacin y control.


4/7


amplios contenidos muy efectivamente, ya que en poco tiempo

de examen es posible alcanzar altos ndices de confiabilidad,que son impensables con otros mtodos. La experiencia y laopinin de los expertos indican que los alumnos podran res-ponder una pregunta por minuto, por lo que es posible expo-nerlos a 180 preguntas en tres horas. En estos niveles, laconfiabilidad puede ser tan alta como, o superior a 0.90. Estose explica por el hecho de que al existir tantas preguntas queevalan diferentes dominios del conocimiento, se controla laespecificidad de caso2. Una prueba con 40 o 50 preguntas omenos tiene baja confiabilidad para el uso en decisiones im-portantes 12. La confiabilidad inter-observador es 1.0, ya quelos criterios son previos a la correccin, que es automtica.Validez: existen varios cuestionamientos a la validez delEOM. Entre ellos se destacan los siguientes:1. Evala el reconocimiento de la respuesta correcta, no

la memoria: existe evidencia de que esto parece no seras. Estos estudios muestran una alta correlacin entrepruebas que miden la memoria con los tems de EOM.Estas observaciones se basan en el hecho de que tantoel reconocimiento como la memoria acceden a los mis-mos sistemas cognitivos12.

2. Slo mide conocimiento terico, no resolucin de pro-blemas: cuando los tems estn construidos con for-mato de estmulo pobre en contexto, slo miden cono-cimiento terico, al igual que cualquier otra prueba.

Para evaluar habilidades como resolucin de proble-mas, lo importante es que la raz de la pregunta (enun-ciado) exponga un caso contextualizado sobre el quehay que tomar decisiones particulares12.

3. Slo mide la capacidad de reconocer la respuesta co-rrecta; no tiene nada que ver con medir competencia odesempeo: esto no parece ser tan as. Existen estu-dios que indican una correlacin aceptable (0,60 - 0,70)entre EOMs y el desempeo en la prctica12.

Impacto educacional:sin duda, este es el aspecto donde elEOM presenta mayores debilidades. Si es utilizado comoevaluacin sumativa, su impacto en el estilo de aprendizaje

de los alumnos es negativo, ya que orienta el estudio hacia lamemorizacin. Sin embargo, se lo ha utilizado con ese fincomo evaluacin de progreso (progress testing) en institu-ciones con curriculabasadas en problemas, como Maastrichto McMaster. En esta forma de evaluar, todos los alumnos dela carrera son evaluados con EOM orientado al que egresa dela carrera. Los alumnos de cada ao son percentilados y losque estn por fuera del percentilo 95 identificados para seraconsejados sobre sus estudios. As, se consigue que los alum-nos no estudien exclusivamente para el examen, sino que man-tengan un ritmo continuo a lo largo del ao12,14.

PROBLEMAS BASADOS EN PUNTOS CLAVE(KEY FEATURES)En nuestro pas, tambin se conocen con el nombre de

simuladores. Consiste en una descripcin corta de un es-

cenario o vieta (caso) en el que se presenta un problema.Por cada vieta se pueden realizar varias preguntas que es-tn orientadas a evaluar las decisiones importantes solamen-te11,12. Un estudio reciente recomienda hasta tres o cuatropreguntas por caso para asegurar una adecuada confiabili-dad6. El formato de las preguntas puede variar desde EOMa respuestas abiertas cortas (ver Tabla 3). Otro formato po-sible es el de seleccin de un lista larga de opciones (exten-ded-matching questions). En este formato, las preguntasofrecen una lista de opciones de la que el examinado debeelegir las respuestas apropiadas. Es muy flexible y permiteconstruir un puntaje de manera sencilla. Tambin es posiblepenalizar las decisiones que puedan poner en riesgo la vidadel paciente o que sean altamente inadecuadas.Puede aplicarse tanto en forma escrita como electrnica.Confiabilidad y validez: de acuerdo a varios estudios, elndice de confiabilidad vara entre 0,6 y 0,80 y se ha de-mostrado su validez para medir las habilidades de resolu-cin de problemas11,12.Impacto educacional: son aceptadas tanto por estudian-tes como por docentes, como un buen escenario de simu-lacin con lpiz y papel. La construccin de un caso de

puntos clavepuede ser trabajosa e insumir varias horas,ya que son necesarios varias preguntas para producir ex-menes con confiabilidad aceptable11,12.

NIVEL DE DEMUESTRA CMOEXAMEN ORAL (EL CASO LARGO)Incluye una variedad de tcnicas que estimulan al alumnoa demostrar el razonamiento usado en la prctica profe-sional, en general como respuesta a las preguntas del do-cente 14. Los exmenes orales tienen una larga tradicinen medicina. El ms tradicional es el llamado caso largo oextenso. Este mtodo ya fue mencionado y descrito porFlexner en su famoso informe como el que mejor evalalas competencias clnicas de los estudiantes de grado. Prc-ticamente, desde entonces su estructura no ha variado y es

utilizado universalmente, aunque en los ltimos aos hasido desplazado por el ECOE 3como evaluacin sumativafinal de la carrera de medicina.El caso largo consiste en que el examinado debe entrevistary examinar a un paciente, en la mayora de los casos inter-nado, en general sin ser observado, durante un tiempo queoscila entre 30 y 45 minutos. Luego el examinador le pideque le reporte sus hallazgos y se establece una serie de pre-guntas basadas en hipotticos casos cortos u otros conteni-dos no relacionados con el caso, a criterio del examinador.Confiabilidad: presenta dos problemas que casi los haninhabilitado para la evaluacin sumativa: falta de confia-bilidad inter-observador y, sobre todo, falta de confiabili-dad inter-casos. Es claro que, debido a que el acuerdo en-tre dos observadores es diverso, la confiabilidad inter-ob-


5/7


servador es baja. Esto se debe sobre todo a lo que se des-

cribe como estilos de calificar duros o blandos (dove/hawk, en ingls). El principal problema es que el caso lar-go evala en profundidad un solo caso y amenaza seria-mente la confiabilidad inter-casos. Como ya fue descrip-to, la competencia en un caso no la predice en otros, ancuando sean similares6,14. Por lo tanto, es necesario au-mentar el nmero para mejorar la confiabilidad inter-ca-sos. Un estudio demuestra que para mejorar la confiabili-dad inter-casos es necesario que el estudiante sea evalua-do con 10 casos largos para alcanzar un ndice alfa deCronbach de 0,8. En este caso, se asumi que diferentespares de observadores evaluaran a los estudiantes, por loque tambin se obtuvo una amplia muestra de los juiciosde los observadores. Tericamente y de acuerdo a las con-clusiones de ese trabajo, es posible alcanzar una adecuadaconfiabilidad inter-casos e inter-observadores cuando elestudiante es expuesto a por lo menos 10 casos, siempre ycuando se cuente con la logstica y el nmero suficientede pacientes y examinadores14.

Dadas las restricciones logsticas imperantes, las faculta-des de medicina tradicionalmente evalan a sus estudian-tes con un solo caso.Validez e impacto educacional: la aproximacin almundo real, por lo menos del paciente internado, y suamplia aceptacin entre los mdicos, le otorgan una alta

validez de primera impresin (face validity), su princi-

pal fortaleza. Aproxima al examinado a las tareas reales

con los pacientes. Sin embargo, la validez de constructono est suficientemente estudiada as como tampoco suimpacto educacional. Es posible que la evaluacin conpacientes reales a travs de los casos largos tenga dife-rentes consecuencias sobre el aprendizaje y el estudio,comparado con el ECOE.

EL EXAMEN CLNICO OBJETIVO Y ESTRUCTURADO(ECOE)El ECOE fue introducido hace treinta aos como una aproxi-macin confiable para la evaluacin de las habilidades cl-nicas 3. Es una prueba con formato flexible, basado en uncircuito de pacientes en las llamadas estaciones. En cadaestacin, los examinados interactan con un paciente simu-lado o estandarizado, para demostrar habilidades especfi-cas. Los pacientes simulados o estandarizados, son perso-nas entrenadas para representar problemas de los pacientesde una manera real. Este tipo de pacientes son valiosos so-bre todo para evaluar las habilidades para entrevistar. Lasestaciones pueden ser cortas (5 minutos) o largas (15 minu-tos), simples (evala un solo problema por vez) o dobles (lasegunda evala otros conocimientos luego de haber entre-vistado un paciente en la primera, por ejemplo).En cada estacin, un observador pone un puntaje de acuer-do a una lista de cotejo o escala global previamente dise-

ada y validada. Los observadores son entrenados en el

Tabla 3.Ejemplo de un problema basado en puntos clave. TA, tensin arterial; BMI, body mass index(ndice de masa corporal).

Marta tiene 57 aos. Hace 8 aos que no menstra. Es la primera vez que lo consulta. Viene a hacerse un control. Su marido fallecien un accidente hace 3 aos. Vive sola. Ahora hace tres meses que est de novia. Esto la ha motivado para intentar bajar de peso.Hace dos meses ha iniciado una dieta y camina ida y vuelta al colegio en donde da clases (queda a 20 cuadras). Ya baj 3 kg. Supadre muri de un infarto a los 72 aos. Su madre an vive y es sana. Sus hermanos y sus dos hijos tambin son sanos. Fum 10cigarrillos por da desde los 20 hasta los 40 aos.El registro de enfermera le informa: TA 160/90; BMI 27 kg/m2.Trae laboratorios de hace 6 meses, que muestran: glucemia de 200 mg/dL, triglicridos 150, HDL 40 mg/dL, colesterol total de 240.Luego del interrogatorio usted le vuelve a controlar la TA y encuentra: 140/85. El resto del examen fsico es normal.

En relacin a este caso seleccione los problemas que presenta la paciente:(puede seleccionar varias opciones, pero atencin, las elecciones errneas pueden disminuir el puntaje).

Elevacin de la glucemia en ayunas Alto riesgo cardiovascular Moderado riesgo cardiovascular Bajo riesgo cardiovascular Hipertensin arterial Registro de tensin arterial elevado Dislipemia Diabetes BMI elevado Sedentarismo

Ex tabaquista de 10 aos/pack Ex tabaquista de 20 aos/pack


6/7


uso de esas escalas, quienes pueden ser profesionales o

los mismos pacientes simulados entrenados.Confiabilidad: la confiabilidad inter-observador es alta yvara entre 0,62 y 0,99 en diferentes publicaciones12,14. Estenivel se explica sobre todo por el uso de listas de cotejo yescalas globales y el entrenamiento de los observadores.La confiabilidad intercasos es baja, como en cualquier prue-ba, si el nmero de casos es bajo (se mide en nmero dehoras ya que la duracin de las estaciones puede variar).Sin embargo, se demostr que mejora cuando se aumentael tiempo de duracin de ECOE. Para un ECOE de 4 horasse reconoce una confiabilidad intercasos de 0,812,14.Validez: sin duda, tiene una alta validez de primera im-presin (face validity) dada la seduccin que la realidadsimulada ofrece.La validez de contenido para la evaluacin de competen-cias clnicas ha sido demostrada en varios estudios. Eluso de estaciones cortas permite la evaluacin de mu-chos aspectos por hora de examen, pero limita la inclu-sin de casos complicados. Esto puede atentar contra lavalidez de contenido.La validez de constructo tambin ha sido demostrada atravs de estudios que muestran puntajes ms altos enestudiantes de medicina de primero a cuarto aos. Sinembargo, hay algunos estudios que muestran que la co-rrelacin entre los puntajes del ECOE y pruebas escritas

de conocimiento es alta (0,72), sugiriendo que, si bienno miden los mismos dominios, el ECOE aportara pocadiscriminacin cuando se aplican las dos pruebas secuen-cialmente. La evidencia que soporta la validez de crite-rio no es tan robusta 12,14.Impacto educacional:no es sorprendente que la adicinde evaluacin de habilidades clnicas en forma sistemati-zada tenga un impacto positivo en el estilo de aprendizajede los alumnos y en el diseo del currculo.Costo: sin duda, una de las mayores limitaciones, debidoal costo directo as como el invertido en la implementa-cin. Depende del nmero de estaciones y del tipo de en-

cuentros que se planifiquen: nmero de pacientes simula-dos, tipo de observadores, etc.Fortalezas12:1. Una amplia gama de habilidades para un relativo am-

plio nmero de alumnos puede ser evaluada en relati-vamente poco tiempo.

2. El uso de escalas predeterminadas asegura cierta ob-jetividad.

3. La variabilidad del paciente y el observador es dismi-nuida al mximo, a diferencia de los casos largos.

4. Puede ser usado para fines formativos o sumativos.5. El formato es flexible: nmero y duracin de las esta-

ciones, circuitos paralelos, rango de competencias aser evaluadas etc.

Debilidades12:

1. A menudo, las estaciones solicitan que los alumnos de-muestren habilidades aisladas del encuentro clnico.2. El ECOE se asienta sobre el uso de listas de cotejo que

ponen el nfasis en la evaluacin exhaustiva y pasopor paso de la habilidad, lo que puede atentar contra laevaluacin del resultado del desempeo global y surelevancia.

3. Las limitaciones sobre lo que puede ser simulado aco-ta el tipo de pacientes que puede ser presentado en lasestaciones.

4. Logstica y costo.

NIVEL DE HACE:LA OBSERVACIN DIRECTA (EL Mini-CEX)1,5

Intuitivamente, evaluar a los estudiantes observndolosen accin es atractivo. En los ambientes clnicos, losdocentes evalan el progreso de los alumnos observn-dolos con los pacientes, a menudo, resumiendo sus ob-servaciones en una escala global al final de un perodode formacin, por otra parte de dudoso valor. La evalua-cin del desempeo de los alumnos con pacientes realesa travs de la observacin puede ser realizada de variasmaneras: el observador puede estar fsicamente presenteen el consultorio, observar desde un lugar contiguo a tra-vs de un espejo o de cmaras de video u observar un

video de la entrevista. Esta decisin depende de los ob-jetivos de la evaluacin: presencia en caso de maniobrasdel examen fsico o cirugas, cmaras o video-grabacio-nes para las habilidades de entrevista clnica. El obser-vador debera recolectar informacin a travs de una lis-ta de cotejo o una escala global que le permita darfeed-backsobre el desempeo con el propsito de mejorarla.Un problema con este tipo de observaciones es que losestndares usados para los casos pueden variar porqueen general un solo experto observa el encuentro entre elexaminado y el paciente y los expertos rara vez estudianlos casos en profundidad.

Confiabilidad: un estudio concluy que se necesitan almenos diez observaciones estructuradas al ao para obte-ner resultados reproducibles de competencia clnica con uninstrumento estructurado1,5. Probablemente, el mayor pro-blema en la evaluacin de las habilidades clnicas es la faltade observacin por parte de los docentes a los residentes.Por otra parte, existe en general demora entre la observa-cin y la trascripcin de las calificaciones obtenidas en elencuentro. La demora introduce error en las calificaciones.Observaron que cuando los formularios no eran estructu-rados, una frecuente caracterstica de los formularios deevaluacin que se utilizan en la prctica clnica, los do-centes detectaban slo el 30% de las debilidades y fortale-zas. Las fortalezas fueron omitidas con mayor frecuencia


7/7


que las debilidades. La evaluacin de estas fortalezas y

debilidades aumentaron un 60% con los docentes que uti-lizaban formularios estructurados1,5.Existen variaciones intraobservador vinculadas a cambiosde la atencin, de perspectiva, de estndares, de humor ode estado de nimo. Existen variaciones interobservadores.Diferencias de criterios, de puntos de vista, de rigor sonalgunas fuentes de este problema.En conclusin, en base a lo antes expuesto se proponenlas siguientes recomendaciones1,5: Los estudiantes deben ser observados en un amplio es-

pectro de situaciones clnicas y procedimientos y pormltiples evaluadores. La bibliografa en general su-giere al menos entre 7 a 11 observaciones para obtenerconclusiones razonables de la competencia clnica glo-bal del estudiante o residente14-16.

Utilizar formularios cortos y estructurados como elMini CEX (ver Alves de Lima A. Claves para la eva-luacin efectiva del residente. Rev Hosp. Ital. B.Aires,2005; 25(3/4):107-111).

Definir claramente las consignas. Dar tiempo para la evaluacin. Maximizar el valor de devolucin (feed-back) como

herramienta formativa. Solicitar la trascripcin inmediata de las calificacio-

nes luego del examen.

Complementar observaciones formales con informales. Considerar trabajar en grupo para tomar decisiones de

promocin. Entrenar y calibrar a los evaluadores. Chequear los instrumentos de evaluacin.

CONCLUSIONESEste artculo pretende resumir algunos de los aspectos ms

importantes de los mtodos de evaluacin ms frecuente-

mente utilizados en nuestro medio y dar algunas sugeren-cias sobre su uso.En primer lugar, no hay un solo tipo de mtodo de evalua-cin de las competencias que sea intrnsecamente supe-rior. Esta afirmacin tal vez vaya en contra de mucha lite-ratura sobre el tema y sobre lo que a menudo se piensa enlos ambientes docentes.Un segundo punto es que, en el caso de los mtodos escri-tos, los formatos de respuesta tienen menos influencia so-bre lo que est siendo medido que lo que estamos inclina-dos a pensar. En ese sentido, deberamos poner el foco enel formato del estmulo ms que en el formato de respues-ta. El tipo de preguntas debera ser seleccionado de acuer-do a sus fortalezas y debilidades. Un buen manual paraescribir preguntas puede encontrarse en el sitio de laNational Board of Medical Examiners:http://www.nbme.org/about/itemwriting.asp#spanish.A modo de recomendacin final, para mejorar la calidadde nuestras evaluaciones, es necesario aumentar el nme-ro de casos en los exmenes para asegurar una adecuadaconfiabilidad intercasos.Otra conclusin es que un nico mtodo no puede valorara toda la pirmide de Miller; se necesita una combinacinde diferentes mtodos.Adems, no se debe olvidar el papel fundamental de la

evaluacin como orientadora del aprendizaje, por lo quesu diseo debe ser estratgico en funcin de los efectos deaprendizaje deseados.

Agradecimientos

A la Dra. Alejandrina Lo Sasso por su apoyo y haber ofre-cido generosamente los casos de problemas de puntos cla-ve como ejemplos.

BIBLIOGRAFA

1. Alves de Lima A. Claves para la evaluacinefectiva del residente. Rev Hosp. Ital. B.Aires2005; 25(3/4):107-11.2. Durante E. La evaluacin de losconocimientos: lo que parece ser, es realmentelo que es? Rev Hosp. Ital. B.Aires2005;25(1):18-23.3. Harden RM, Gleeson FA. Assessment ofclinical competence using an objectivestructured clinical examination (OSCE). MedEduc 1979;13(1):41-54.4. Miller GE. The assessment of clinical skills/competence/performance. Acad Med 1990;65(9Suppl):S63-7.5. Norcini JJ, Blank LL, Arnold GK, KimballHR. The mini-CEX (clinical evaluation

exercise): a preliminary investigation. AnnIntern Med 1995;123(10):795-9.6. Norman G, Bordage G, Page G, Keane D.How specific is case specificity? Med Educ2006;40(7):618-23.7. Regehr G, Norman GR. Issues in cognitivepsychology: implications for professionaleducation. Acad Med 1996;71(9):988-1001.8. Schuwirth LW, van der Vleuten CP. The useof clinical simulations in assessment. Med Educ2003;37 Suppl 1:65-71.9. Schuwirth LW, van der Vleuten CP.Changing education, changing assessment,changing research? Med Educ 2004;38(8):805-12.10. Schuwirth LW, van der Vleuten CP.

Different written assessment methods: what canbe said about their strengths and weaknesses?Med Educ 2004;38(9):974-9.11. Schuwirth LW, et al. How to write shortcases for assessing problem-solving skills. MedTeacher 1999;21(2):144-50.12. Shannon S, Norman G. Evaluation methods:a resource handbook. 3rd ed. Hamilton, Ont:McMaster University. The Program forEducational Development, 1995.13. Wass V, van der Vleuten C. The long case.Med Educ 2004;38(11):1176-80.14. Van der Vleuten CP. The assessment ofprofessional competence: development,research and practical implications. Advancesin Health Sciences Education 1996;1:41-67.

Metodo de Evaluacion Minicex

Documents

Transcript of Metodo de Evaluacion Minicex