Metodologia para el diseño de instrumentos de evaluación.pdf

8/10/2019 Metodologia para el diseo de instrumentos de evaluacin.pdf

1/17

Metodologa para eldiseo de instrumentos

de evaluacin

Evaluacin

Certificacin de Competencias


2/17

Evaluacin

Certificacin de Competencias

Metodologa para eldiseo de instrumentosde evaluacinLic. Mara Dolores Iacolutti - Lic. Mnica Sladogna


3/17

UTECC Metodologa para el diseo de instrumentos de evaluacin 3

1. LA EVALUACIN DECOMPETENCIAS: CONCEPTO

La evaluacin de competencias laborales es unproceso que tiene como propsito emitir un juicio

de valor acerca de los saberes profesionales delos postulantes. Este juicio se basa en la norma decompetencia validada sectorialmente.

El reconocimiento formal de estos saberes se deno-mina certificacin y es realizado por una institucinde tercera parte -es decir, no vinculada directamen-te con la ejecucin de acciones de formacin- cons-tituida por los actores representativos del sector deactividad.

La evaluacin de competencias posibilita certificarlos saberes profesionales y orientar al sujeto paramejorar u optimizar sus desempeos. En funcin

de lo expresado, tiene un doble propsito:

La evaluacin es un proceso complejo y de carcteraxiolgico. Plantea la necesidad de considerar a lavez los aspectos ticos y los tcnicos, ya que es, fun-damentalmente, una operacin de construccin yde comunicacin de un juicio de valor.

Evidentemente, cuando se pone en juego una ac-tividad valorativa surge un conjunto de problemasque, entre otros aspectos, hacen referencia a:

la posible incompatibilidad entre la jerarqua devalores del evaluador y lo postulado en la norma;

las actitudes y caractersticas de las personas que

evalan y la pretensin de validez de la evalua-cin;

la posible incompatibilidad de los propsitos quese persiguen;

la viabilidad de desarrollar un proceso respetan-do los criterios de equidad, autonoma, credibili-dad e imparcialidad de los juicios emitidos.

Asimismo, para construir un juicio de valor y nodar meramente una opinin sobre la competenciade un trabajador, resulta imprescindible organizar

INSTRUMENTOS DE EVALUACIN

la evaluacin como un proceso continuo, sistemti-co, global y comprensivo.

Continuo y sistemtico

La evaluacin como proceso continuo y sistemticohace referencia a una secuencia de etapas y activi-dades, y no a un momento puntual o a un acto par-ticular o singular. Para ello, se seleccionan diversastcnicas y estrategias en funcin de los propsitosque se persiguen en cada etapa.

A su vez es necesario tener presente que, en cadaetapa, inciden e interrelacionan entre ellas diversasvariables, tales como:

la historia laboral del sujeto;

la organizacin del trabajo y su adecuacin a lasnormas;

las actitudes del evaluador, del postulante, de losrepresentantes de la empresa y del sindicato;

el modo en que se seleccionan, recogen e inter-pretan las evidencias.

Global y comprensivo

Es global, porque la recoleccin de evidencias sobreel postulante debe considerar la organizacin deltrabajo en la que est inserto. Para ello es impor-tante analizar cmo sta influye en los resultadosde su propio trabajo (por ejemplo, el estado de los

insumos que le proveen o la informacin a la queaccede).

Es comprensivo, porque se pretende saber por qulas cosas son como son. Se trata de comprender elmodo en que cada persona resuelve las situacionesplanteadas y los incidentes crticos. Asimismo, sebusca considerar las razones por las cuales se actade determinada manera y entender cmo influyenlos distintos aspectos de la organizacin en quienes evaluado.

2. LA NORMA DE COMPETENCIA COMOREFERENTE DE LA EVALUACIN

La norma es la especificacin de un desempeolaboral que ha sido acordado entre los actores delmundo del trabajo para ser utilizado en procesosde evaluacin, de certificacin, de formacin, deseleccin o de proyeccin de carrera profesional.

Estos desempeos laborales se describen demanera analtica en diversos documentos que seconstituyen en referentes de la evaluacin y del

ORIENTAR LA FORMACINIdentificar fortalezas y

debilidades

CERTIFICARReconocer formalmente

las competencias requeridas

PROPSITO DE LAEVALUACIN


4/17

UTECCC Metodologa para el diseo de instrumentos de evaluacin4

diseo de instrumentos, a saber: el mapa funcional,las unidades de competencia y los elementos decompetencia. El elemento de competencia, quees el mximo nivel de desagregacin, nos brindainformacin precisar sobre:

Criterios de desempeo.

Evidencias de desempeo.

Evidencias de producto.

Evidencias de conocimiento.

Este nivel de desagregacin tiene como finalidadtransparentar la complejidad del desempeo labo-ral, tanto en lo rutinario como en la resolucin de in-cidentes. Sin embargo, esta descripcin exhaustiva,expresada en el elemento de competencia, puedellevarnos a incurrir en errores que se reflejarn enla seleccin de los indicadores y en el diseo de losinstrumentos. Por qu?

Porque podemos perder de vista nuestra concep-cin integral de las competencias frente a su exce-siva desagregacin. Este riesgo potencial exige unesfuerzo permanente por centrarnos en los ejes dela profesionalidad del rol que consideremos crticospara la emisin del juicio de valor.

En este sentido, el mapa funcional y la unidad decompetencia son instrumentos que nos sirven degua para tener en cuenta la visin integral del rola evaluar.

Lo expresado es fundamental para determinar eltipo de informacin que debe ser recolectada paraemitir un juicio vlido sobre las competencias al-canzadas por el postulante.

3. ETAPAS DEL PROCESO DEEVALUACIN

De manera sucinta, podemos analizar las diversasetapas que componen el proceso de evaluacin

para comprender integralmente, de qu maneracada una de ellas influye en las otras.

Sintticamente, las etapas a las que nos referimosson:

La programacin.

La recoleccin de evidencias sobre el desempeodel trabajador.

La interpretacin y valoracin de las evidencias.

3.1. La programacin

Esta etapa tiene como referente el anlisis de lanorma de competencia, para:

Definir qu, cundo y dnde evaluar.

Seleccionar las tcnicas ms convenientes para

obtener evidencias.

Disear instrumentos vlidos y confiables.

3.2. La recoleccin de evidencias sobre eldesempeo del trabajador

Este proceso de recoleccin no es azaroso ni arbi-trario. Responde a una programacin que posibilitasistematizar la bsqueda de aquellos indicadoresque se consideran crticos en la norma. El productode esta accin nos permite contar con informacinpertinente y significativa para formular un juicio

sobre la competencia del postulante.

Este proceso involucra:

el anlisis de la historia socio-laboral del postu-lante;

el anlisis de la organizacin del trabajo en la cualse desempea;

la adaptacin de los instrumentos que se utiliza-rn y la definicin de los momentos oportunospara relevar las evidencias;

la recoleccin y registro de indicadores en situa-

cin real de trabajo, y/ola recoleccin y registro de indicadores en situa-ciones creadas para tal fin.

En esta etapa el evaluador tendr la responsabi-lidad de llevar un registro en el que consten lasevidencias recolectadas. A ste se le incorporar,posteriormente, el juicio emitido por el evaluadorsobre el desempeo del postulante, as como laconformidad o disconformidad de ste y la ratifica-cin del verificador interno.

Descriptores del elemento de competencia

Criterios de desempeo

Evidencias de desempeo

Evidencias de producto

Evidencias de conocimiento

Juicios orientadoresde la prctica

Saber haceren proceso

Calidad y cantidad delproducto logrado

Saber qu, por quy para qu


5/17


3.3. La interpretacin y valoracin de lasevidencias

La informacin recogida, en si misma, no nos dicenada. Es necesario interpretarla y valorarla, en

funcin de la norma de competencia, para poderemitir un juicio acerca de:

el logro de la competencia requerida por el traba-jador;

los dficits percibidos y la orientacin que pudie-ra requerirse para superarlos.

De acuerdo con lo expresado, los juicios emitidosnos permiten tomar decisiones no slo sobre la cer-tificacin, sino tambin sobre los cursos de accina seguir.

En esta etapa resultan fundamentales:

el criterio del evaluador,

su capacidad para relacionar e integrar la infor-macin proveniente de diversas fuentes e instru-mentos y

su capacidad comunicacional para informarle alpostulante y/o a la empresa, los resultados de laevaluacin.

En este documento nos centraremos en la primerade las tres etapas del proceso de evaluacin: la pro-gramacin, para determinar qu, cundo y cmoevaluar y qu tcnicas e instrumentos utilizar.

4. LA NECESIDAD DE DETERMINARQU EVALUAR

En el proceso de evaluacin resulta fundamentalprecisar qu se va a evaluar y considerar desdesu planeamiento, la dimensin integral de lacompetencia.

En otras palabras, debemos evitar reducir la eva-luacin al manejo de tcnicas y procedimientos o ala obtencin de determinados resultados. Se tornaclave centrarnos en un planteo integrado del ejer-cicio profesional en el que converjan, entre otrosaspectos:

la aplicacin de criterios (ticos y tcnicos) quedan cuenta de una prctica reflexiva;

la manera en que se organiza la tarea y se efec-tan las comunicaciones;

la gestin, administracin de recursos y solucinde los problemas o incidentes;

la forma en que se generan condiciones que ga-ranticen la calidad, la seguridad y la productivi-dad.

En el siguiente grfico se presentan sintticamentealgunos aspectos a contemplar para seleccionarel qu evaluar en relacin con lo establecido en lanorma.


Etapas del proceso de evaluacin

Programacin teniendocomo referente laNorma de competencia

Definir de qu, cundo ydonde evaluar

Seleccin de las tcnicaspara recolectar evidencias

Diseo de Instrumentos

Registro de evidencias

Emisin del juicio de valor.Devolucin de resultados

Recoleccin de evidencias

Interpretacin y valoracinde evidencias

Criterios de desempeo

Evidencias de desempeo

Evidencias de producto

Evidencias de conocimiento

Calidad y cantidad delproducto logrado.

Reglas, juicios tcnicos y ticos queorientan la accin.

Dominio de procedimientos.Propuesta de soluciones pertinen-

tes y creativas a los problemas.Adopcin de estrategias adecuadas

frente a incidentes crticos.

Aplicacin de criterios.

Conocimientos que fundamentanla prctica.

Condiciones que deben cumplirsepara asegurar calidad, seguridad,

productividad, etc.Finalidad o sentido de la actividad

que realiza.


6/17


4.1. Criterios para seleccionar evidenciasdescriptas en la norma.

Para seleccionar evidencias con el objetivo de de-sarrollar los instrumentos, el evaluador aplicar una

serie de criterios entre los que podemos mencionar:frecuencia, complejidad, costos y consecuencias.

Frecuencia

Aplicar este criterio permite seleccionar evidenciastomando en consideracin su periodicidad. Paraello, resulta conveniente considerar:

Factores habituales.

Factores excepcionales cuya resolucin es funda-mental debido a la gravedad de las consecuenciasque acarrean en trminos de:

Seguridad personal, de los equipos y del medioambiente.

Calidad del producto terminado.

Eficiencia productiva.

Complejidad

Aplicar este criterio permite seleccionar evidenciasen las que intervengan un conjunto de variablesinterdependientes que obliga a:

establecer prioridades;

definir urgencias;

establecer criterios tcnicos y de gestin, entreotros.

Costos

La aplicacin de este criterio en la seleccin de unaactividad se relaciona con la necesidad de consi-derar la responsabilidad que involucra el manejode los insumos, el instrumental o la tecnologa deelevado valor. Tambin incluye la seleccin de evi-dencias de criterio vinculadas con decisiones quetienen consecuencias en trminos de desperdiciosde material, prdida de tiempos productivos, re-chazos y necesidad de rehacer trabajo.

Consecuencias

Este criterio hace referencia a la necesidad de teneren cuenta el impacto que generan ciertas acciones,o su omisin, en trminos de resultados no espera-dos. Estos resultados pueden incidir en la calidady/o en los costos, tanto en el desempeo del traba-jo propio como en el de terceros, por su implicancia

en trminos de prdidas de insumos o de tiemposproductivos.

Determinar qu evaluar implica identificar, a partirde la norma como referente, aquellos indicadores

que permiten reconocer si una persona puede serconsiderada competente en el marco de determi-nado contexto productivo.

Estos pueden hacer referencia a:

La posesin de determinados criterios.

La demostracin de desempeos.

La capacidad de resolucin de problemas.

El dominio conceptual.

La capacidad de reflexin sobre su prctica labo-ral.

Tcnicas para recolectar evidencias

1. Observacin directa del postulante en ambientereal de trabajo.

2. Situaciones organizadas al efecto de su observa-cin.

Simulacin de situaciones.

Resolucin de problemas e incidentes.

Estudio de Casos.

Ensayos:

Destructivos

No destructivos

3. Anlisis de Productos

4. Anlisis de Documentacin

5. Entrevista

5. LA SELECCIN DE TCNICAS PARARECOLECTAR EVIDENCIAS

Una vez que se ha definido el qu evaluar, resultanecesario reflexionar sobre qu tipo de situacin yqu tcnicas resultan ms adecuadas para evaluaraquello que hemos seleccionado.

Por ejemplo, los procesos se pueden observar demanera directa en ambientes reales de trabajo; lomismo sucede con la calidad de un producto o laclaridad y precisin en la comunicacin.

Pero, para saber si el postulante aplica un criterioprofesional ser necesario no slo observar su


7/17


desempeo en distintas situaciones, sino tambinformular preguntas vinculadas con la prcticareflexiva, plantear problemas para analizar la pro-puesta de solucin o realizar una entrevista, entreotras alternativas.

Asimismo, si hemos decidido que es importanteanalizar la forma en que el o la postulante resuelveun determinado tipo de incidente, y el mismo no seproduce durante el desarrollo habitual del procesode trabajo, debera ser provocado a los efectos dela evaluacin. En este caso, se deber reproducirla situacin esperada en un ambiente controlado(como un Centro Evaluador), o bien proporcionaral postulante materiales que le permitan hacerpresunciones sobre las causas del defecto y lasposibilidades de correccin, por ejemplo.

A modo de resumen de los puntos 4 y 5 podemos

decir que, para contar con informacin vlida ysignificativa que permita determinar si un traba-jador es o no competente, se deben contemplarlos siguientes aspectos:

definir qu cuestiones crticas deben ser evalua-das;

considerar en qu condiciones es posible hacerlo;

combinar distintas tcnicas en la recoleccin deevidencias.

Entre las distintas tcnicas que se pueden utilizarpara recolectar evidencias podemos mencionar las

siguientes:Observacin directa del postulante en ambientereal de trabajo.

Situaciones organizadas al efecto de su observa-cin.

Anlisis de productos o resultados.

Anlisis o elaboracin de documentacin.

Entrevista.

5.1. Observacin directa del postulante enambiente real de trabajo.

La observacin del desempeo laboral de la perso-na en su ambiente real permite recolectar, en formaintegrada, evidencias de distinto tipo que se pre-sentan normalmente como resultados del trabajo.En esta modalidad, el diseo de instrumentos sueleacompaar las etapas del proceso productivo, si-tuacin que facilita la recoleccin de evidencias.

Sin embargo, hay que diferenciar la etapa de regis-tro de evidencias de la fase de emisin de juicio devalor sobre las mismas.

Por qu? Porque cuando se emite un juicio de valor,se lo realiza sobre el conjunto de evidencias recopila-das. De esta manera ste se basa en la integracin dela informacin proveniente de las diversas evidenciasy su vinculacin con la/s unidad/es de competencia,

que son nuestro parmetro de certificacin.Generalmente, la observacin suele realizarse irre-gularmente, sin objetivos delimitados de antema-no (se observa lo que ms llama la atencin) y sinregistrar lo observado.

Por ello se hace necesaria una definicin clara yprecisa del propsito de la observacin y una deli-mitacin de los datos a recolectar en cuanto a:

qu es lo que se va a observar;

qu aspectos se van a ver detalladamente;

qu o cules se van a ver de un modo general oglobal.

Asimismo, requiere un desarrollo sistemtico y elregistro de datos en los instrumentos o soportesconvenientes.

5.2. Situaciones organizadas al efecto de suobservacin.

En este caso incluimos todo tipo de situaciones quesea necesario disear expresamente para evaluaralguna/s de las competencias del postulante.

5.2.1. Simulacin de situaciones

Permite aproximarse, en la medida de lo posible, alas condiciones reales de modo tal que las solucio-nes generadas posibiliten inferir cmo el postulan-te puede resolver situaciones que se presentan enla vida laboral.

Se utiliza en los casos en que no es posible la obser-vacin directa por razones diversas, entre ellas:

Razones de costos, de riesgos, de seguridad o porla baja frecuencia de la actividad.

Dificultad o imposibilidad de observar variascompetencias en forma simultnea (comunica-cin, trabajo en equipo, solidaridad, seguridad,toma de decisiones, etc.).

Entre los medios utilizados para simular situacionesse encuentran software especializados, los simula-dores a escala, las pruebas de habilidad o ejerciciosprcticos, los proyectos especiales sobre la base deltrabajo que se realiza y el juego de roles.

Para ste ltimo reservamos el trmino simulacin,que distinguimos de simulador por estar referido



8/17


9/17


narias, equipos armados, estructuras de hormignarmado, entre otros.

5.4. Anlisis de documentacin

En algunos casos la documentacin es un produc-to del trabajo del postulante, en otros nos brindainformacin sobre el aspirante y los resultados desu trabajo.

En determinadas situaciones ser necesario acudiral anlisis de documentos de distinto tipo (talescomo rdenes de trabajo, partes de produccin, re-clamos realizados, manuales especficos e informes,entre otros), para recoger evidencias que permitancomplementar las observaciones realizadas en am-bientes reales o simulados.

Esta modalidad resulta valiosa para contar con

evidencias de determinados procesos y registrosefectuados por el postulante a travs de un lapsoms abarcativo que el tiempo acotado al procesode certificacin. Esto resulta clave para la evalua-cin de algunos perfiles profesionales, tales comoel perfil de vendedor o el del encuestador.

En ciertos casos la evidencia de producto slopuede ser evaluada a partir de determinado lap-so temporal. Por ejemplo: en la evaluacin de unvendedor, los productos a analizar son las ventasrealizadas durante el ltimo ejercicio; en el caso deun encuestador, las entrevistas entregadas.

5.5. Entrevista

Permite tener informacin personalizada y de unmodo directo.

Se utiliza para recoger evidencias relacionadas conaspectos que, por su propia naturaleza, son inacce-sibles o imposibles de observar.

Un mayor desarrollo de la tcnica se puede observaren el documento N2 de la Serie Evaluacin tituladaLa entrevista sociolaboral.

Tipos de Instrumentos

1. Listas de Control o Cotejo

2. Escalas de Estimacin

Escala continua (numrica)

Escala discreta (aproximativa)

3. Preguntas

Semiestructuradas

Estructuradas u objetivas:

de seleccin u opcin mltiple;

de respuestas por pares (correspondencia);

de respuestas breves o completamiento;

de alternativas constantes;

de ordenamiento;

otras preguntas, con base comn.

6. LOS INSTRUMENTOS DE REGISTRODE LA INFORMACIN

Una vez seleccionadas las tcnicas ms adecuadaspara recoger evidencias en relacin con los distintosaspectos a evaluar, se elaborarn los instrumentosconsiderados como herramientas indispensablespara recoger y documentar los aspectos a verificary sus resultados.

Estos tienen una mltiple funcin:

Transparentan los criterios puestos en juego porel evaluador en el desempeo de su rol.

Facilitar un soporte para el registro de las eviden-cias.

Constituirse en documentos crticos del dossierde evidencias del postulante.

La evaluacin basada en normas de competencia

exige la puesta en juego de algunos requisitos atener en cuenta en el diseo de instrumentos. Entreellos:

Validez y confiabilidad.

Representatividad, es decir, la relevancia de losdistintos aspectos considerados en detrimentode los menos significativos.

Objetividad, es decir, la independencia del juiciodel evaluador en el registro de la informacin.

6.1. La validez

Un instrumento es considerado vlido cuando sir-ve para evaluar lo que se pretende (en nuestro caso,las competencias reconocidas por el sector). Enotras palabras: cuando la informacin que permiteobtener es coherente con los criterios y evidenciasde desempeo, de producto y de conocimientoestipulados en la norma.

Para que los instrumentos sean vlidos, es funda-mental preguntarse:

Qu es lo que se va a relevar?



10/17


Cul es el modo ms adecuado para aproximarseal tipo de informacin buscada?

Cmo contribuir a lograr la validez?

Partir del anlisis de la norma.

Definir el qu evaluar.

Seleccionar las modalidades y disear los instru-mentos que resulten ms adecuados para recogerevidencias de distinto tipo.

Efectuar las adaptaciones que se consideren ne-cesarias en funcin del contexto productivo en elque se realizar la evaluacin (tecnologas, pro-ductos, insumos, particularidades de la organiza-cin del trabajo, etc.).

Lo expresado hace referencia a la validez desde unpunto de vista tcnico, pero tambin debe consi-

derarse la validez en un sentido amplio, ligado alreconocimiento social que debe tener todo pro-ceso de evaluacin cuando se basa en valores deequidad, autonoma e imparcialidad. Por este mo-tivo, el diseo del instrumento exige del evaluadorla capacidad de reflexin crtica sobre sus propiosvalores y creencias para evitar que stos se trans-formen en factores discriminatorios al momento dela evaluacin.

6.2. La confiabilidad

Un instrumento es confiable cuando:

Al ser aplicado por distintas personas para eva-luar a un mismo postulante, se obtienen resulta-dos semejantes en situaciones similares.

Al ser utilizado por una persona para evaluar almismo postulante, en diversas oportunidades, seobtienen resultados semejantes.

Para lograr la confiabilidad de un instrumento serecomienda:

Partir de la norma para establecer referentes cla-ros y unificar los criterios de evaluacin.

Tener en cuenta que la informacin que se decida

recoger debe ser suficiente y representativa comoevidencia del logro (disminuir la incidencia delazar).

Explicitar indicadores.

Redactar claves de correccin para que diferentesevaluadores les otorguen el mismo significado yefecten similares registros en el desarrollo deeste proceso.

El diseo de instrumentos de evaluacin que cum-pla con los requisitos antes explicitados, posibilita:

Recoger informacin objetiva sobre evidenciasde distinto tipo, incluso en momentos diferentes.

Registrar y documentar el proceso.

7. SELECCIN Y DISEO DEINSTRUMENTOS

En la seleccin de los instrumentos resulta fun-damental analizar las decisiones sobre qu es loque queremos evaluar, en qu circunstancias esposible hacerlo y cules son las tcnicas e instru-mentos ms adecuados para relevar informacinpertinente.

En este proceso se recomienda:

Recordar que la Unidad de Competencia es el n-cleo de la certificacin. Por tal motivo, se debe

evitar el diseo de instrumentos para cada unade las descripciones desagregadas en el Elemen-to de Competencia.

Analizar cada Elemento de Competencia, y al ha-cerlo, identificar y seleccionar aquellos criterios,desempeos, resultados y conocimientos -en ldescriptos- que sean considerados crticos.

Considerar el/ los instrumento/s ms adecuadospara registrar evidencias sobre criterios, conoci-mientos, desempeos y resultados. Por ejemplo:

Las preguntas permiten comprender los principios

que ponen en juego los sujetos cuando trabajan,o el manejo apropiado de los conocimientos quefundamentan su accionar.

Las listas de control resultan ms pertinentespara registrar evidencias sobre desempeos yresultados.

8. TIPOS DE INSTRUMENTOS

De acuerdo con lo expresado en captulos anterioresla norma, como descriptor, aborda criterios, desem-peos, productos y conocimientos esperados de un

sujeto competente. Cada una de las evidencias nosexige reflexionar sobre la modalidad ms adecuadapara relevarla y sobre las herramientas vlidas pararegistrar la informacin obtenida.

En el caso ms convencional, cuando se pretendeevaluar las evidencias de desempeo o de produc-to, las herramientas ms adecuadas son las basadasen la observacin:

Listas de control o cotejo.

Escalas de estimacin.


11/17


Para registrar evidencias referidas a conocimientospuestos en accin, resultan ms convenientes laspreguntas de distinto tipo.

Respecto del manejo de criterios de utilizacin deinstrumentos, puede utilizarse cualquiera de losmencionados siempre que el mismo responda alpropsito y a las caractersticas especficas, en cadacaso.

9. CARACTERSTICAS DE LOSDIFERENTES INSTRUMENTOS

9. 1. Lista de control

La lista de control o cotejo, consiste en una serie deindicadores (enunciados afirmativos o interroga-tivos sobre hechos, caractersticas o secuencia deacciones, entre otros) cuya presencia o ausencia sedesea constatar.

El evaluador debe sealar, en cada caso, si los indica-dores o signos de evidencia estn o no presentes.

La lista de control se emplea con frecuencia paraevaluar:

las tareas o procesos que pueden reducirse a ac-ciones muy especficas;

las caractersticas que necesariamente debe re-unir un determinado producto o resultado;

la existencia o inexistencia de determinadas con-ductas prescriptas en normas de seguridad.

La lista posibilita registrar evidencias en ambien-tes reales de trabajo, en situaciones simuladas, enentrevistas, en el anlisis de productos, o en el dedocumentacin de distinto tipo. En su elaboracinse sugiere considerar listas independientes en fun-cin del propsito.

Para evitar las interpretaciones personales, unaconsideracin a tener en cuenta consiste en con-signar nicamente lo observado.

Para que este instrumento cumpla con su funcin, esimportante que los indicadores que lo componen:

sean claramente observables;

sean suficientemente explcitos, para lo cual es im-portante que su redaccin sea directa y precisa;

tengan el mismo nivel de especificidad;

posibiliten slo distinciones dicotmicas (si/no;correcta/incorrecta).

9. 2. Escala de estimacin

La escala consiste en una serie de categoras antecada una de las cuales, el evaluador debe indicar elgrado en que se encuentre presente determinadacaracterstica, o la frecuencia con que ocurre deter-

minada accin.Es similar a la lista en cuanto a que tiene aspectosbsicos como referencia para orientar la observa-cin, y difiere de ella en cuanto a que permite tildarel grado o la medida en que se manifiesta cadacaracterstica a observar en el postulante.

Puede adoptar diferentes formas: escala continua(numrica) y escala discreta (categoras cuya dis-tancia no es matemtica, sino aproximativa, porejemplo: siempre; la mayora de las veces, algunasveces y nunca).

En todos los casos es recomendable la descripcin

para evitar asignar significados personales.

Ejemplo:

Para evaluar el manejo de los fundamentos en laprctica reflexiva, podemos elaborar una escalacon las siguientes categoras: Muy Satisfactorio,Satisfactorio, Poco Satisfactorio e Insatisfactorio, enla que se considerar:

Muy Satisfactorio: Fundamenta de manera com-pleta e integral el aspecto en cuestin.


Rol: Maquinista de impresin offset a pliegosEn el proceso de preparacin de la impresora,entre otros aspectos es necesario registrar enuna lista de control los siguientes indicadores:

El maquinista transmite a sus asistentes,de manera clara y precisa:

Las especificaciones de la orden de trabajo.

Los recaudos a tomar sobre probablesdificultades que puedan presentarse.

Si No

Controla que los ayudantes efecten lastareas preestablecidas, en cuanto a:

Correspondencia del papel (tipo y medida)con relacin a lo especificado en la orden.

Verificacin del estado de las planchas,descartando aquellas que tengan defectos,golpes o ralladuras.

Si No

Verificacin de tintas.

Ejemplo:


12/17


Satisfactorio: Fundamenta de manera suficiente,pero no exhaustiva.

Poco satisfactorio: expresa enunciados genricos,difusos y/o incompletos.

Insatisfactorio: No aporta fundamentos

Ejemplo:

Una particularidad de la escala es la necesidad de

hacer descripciones bien delimitadas y muy re-presentativas de las conductas reales del sujeto (ocaractersticas del objeto).

Para su elaboracin se sugiere:

Seleccionar las caractersticas ms representati-vas de lo que va a ser calificado.

Incluir nicamente aquello que sea claramenteobservable.

Considerar que la cantidad de enunciados a in-cluir en la escala estar relacionada con el nmerode aspectos que se hayan podido aislar.

Describir de modo unvoco cada uno.

Considerar que la cantidad de categoras podroscilar entre 4 y 7.

Resulta necesario considerar que debe tildarse elrasgo observado o la capacidad en s, sin conside-raciones hacia la persona que lo demuestra paraevitar los errores de generalizacin; al asignar unnivel (alto o bajo) indiscriminadamente se genera-liza la reaccin ante el postulante y todo lo que lhace (efecto de halo).

Asimismo, se recomienda tener en cuenta quepueden producirse errores de generosidad cuandohay tendencia a marcar hacia el lado que tiene losvalores ptimos.

9.3. Preguntas

La vinculacin entre pregunta y conocimiento, yentre pregunta y criterio.

Las preguntas que hacemos y las distintas opera-ciones del pensamiento se relacionan entre s. Porlo tanto, al formular la pregunta resulta importantetener en claro qu esperamos evaluar a partir de larespuesta.

Por ejemplo, generalmente, en las preguntas quese suelen realizar para evaluar conocimientos se

solicita que la persona:Describa. Enuncie en forma ordenada las caracte-rsticas de un objeto o idea.

Compare. Seale las semejanzas y diferencias en-tre dos o ms objetos o ideas en funcin de uncriterio.

Defina. Indique con precisin el significado de untrmino, las caractersticas esenciales de un obje-to, de un hecho o de una situacin.

Resuma. Enuncie brevemente un tema respetan-do el orden, la idea y el lenguaje del original del

cual se toma.Analice. Identifique los componentes esenciales,describindolos en sus particularidades e interre-laciones.

Otros tipos de preguntas pueden resultar ms con-venientes para evaluar criterios. En stas se solicitaque la persona:

Relacione. Establezca las conexiones lgicas, cau-sales o cronolgicas entre hechos e ideas, bus-cando coherencia o soluciones.

Infiera. Extraiga conclusin/es (ir ms all) a par-tir de la interpretacin.

Interprete. Identifique los aspectos fundamenta-les y comprenda el significado.

Juzgue crticamente. Apoye o rechace una infe-rencia, con el respaldo de argumentos.

Sintetice. Enuncie brevemente lo esencial de untema, organizndolo de un modo personal.

Identifique los supuestos. Descubra por inferenciaalgo que funciona como fundamento y cuya ver-dad no ha sido probada.

Rol: Vendedor GrficoAlgunos aspectos considerados en la consulta quese realiza al responsable de produccin.

En la largadade la impresin

Los clientes estnavisados de lalargada de lamquina impresorapara que concurrana conformar elpliego?

Siempre(todas lasveces, el100%)

La mayorade lasveces(ms del50%)

Algunasveces(menosdel 50%)

Nunca

Se ocasionanatrasos enproduccin por estacausa?

El vendedor estpresente en dichalargada?


13/17



Clasifique. Distribuya objetos o ideas en clases oconjuntos, segn un criterio de clasificacin.

Sobre la formulacin de preguntas.

Las preguntas, tal como lo expresamos con anterio-ridad, tienen caractersticas distintas con relacin alas evidencias que se quieren recoger.

Sin embargo, en todos los casos se requiere quesean:

Claras y orientadoras, evitando la ambigedad ylos trminos desconocidos.

Precisas en cuanto al tipo de respuesta que re-quieren: analizar, fundamentar, explicar, presentarejemplos, elaborar un esquema, etc.

Planteadas en relacin con alguna situacin, pero

independientes entre s.Explicitadas en claves de correccin, para quedistintos evaluadores les otorguen el mismo sig-nificado.

Distinto tipos de preguntas

Las preguntas, de acuerdo con su estructura, pue-den ser de base:

1. Semiestructurada

Se caracteriza porque brinda la posibilidad de

componer o elaborar la respuesta ante una pre-gunta que tiene un propsito definido.

Permite recoger evidencias vinculadas con los co-nocimientos y adems, con la capacidad de ex-presin escrita del postulante.

Ejemplos del sector grfico:

Por qu es necesario ajustar la viscosidad de lastintas antes de colocarlas en mquina?

Por qu necesitamos controlar los espesores decama y plancha?

Mencione qu precauciones toma para que nohaya retinte.

2. Estructurada u objetiva

Admite una nica respuesta posible, que puedeexpresarse en una palabra, en una cifra, o puedeseleccionarse entre alternativas dadas.

Favorece el trabajo con personas que pueden lle-gar a tener dificultades para la expresin escritade sus conocimientos.

El riesgo es centrarse en preguntas que demandenslo una respuesta memorstica.

Las preguntas estructuradas pueden ser:

2.1. De seleccin u opcin mltiple

Se enuncia una proposicin (expresada en formadirecta o como una oracin incompleta) y una seriede soluciones establecidas (por lo general cuatro)en forma de opciones (palabras, frases, smbolos,nmeros), una de las cules es la correcta o la me-jor respuesta. Las dems respuestas actan comodistractores.

Ejemplo del sector grfico:

Si observa que los primeros pliegos (los de arribade la plancha) presentan roturas, cul cree que esla causa?

Marque con una X la respuesta correcta:

( ) Listn de corte gastado.

( ) Cuchilla mellada.

( ) Cuchilla desafilada.

( ) Presin incorrecta del pistn.

2.2. De respuestas por pares (correspondencia)

Se presentan dos o ms columnas de palabras, sm-bolos, nmeros, frases u oraciones. El postulantedeber asociar o relacionar de algn modo las co-lumnas, sobre la base de la consigna establecida.

Se denomina premisa a la primera columna yrespuesta a la segunda, que presenta la respuestapropiamente dicha y los distractores.

Ejemplo del sector grfico:

En los espacios en blanco que siguen a los nmeros,coloque la letra de la columna de la derecha queidentifique el instrumento que se usa habitualmen-te para llevar a cabo la medicin requerida. Cadapalabra que designa un instrumento puede serutilizada una vez, ms de una vez o ninguna vez.

Medicin de Instrumento a utilizar:

1 ( ) Valores de pH2 ( ) Temperatura3 ( ) Porcentaje de alcohol4 ( ) Conductividad

Instrumento a utilizar:

A. Conductmetro


14/17


B. Alcoholmetro

C. Manmetro

D. Tensimetro

E. Tiras Reactivas

F. Termmetro sumergible

2.3. De respuestas breves y de completamiento

Se formula una pregunta o enunciado incompletoque admite una nica respuesta posible (una pa-labra, una cifra o un smbolo). La diferencia entrerespuesta breve y de completamiento se encuentraen la forma de presentar la pregunta.

Ejemplos de respuestas:

1. Respuesta breve:

Cmo se llama el aparato que permite aumentar odisminuir el voltaje de la corriente alterna?

______________________________________

2. Completamiento o espacios en blanco.

El aparato que permite aumentar o disminuir elvoltaje de la corriente alterna se denomina:

_______________________________________

2.4. De alternativas constantes

Se presenta una serie de proposiciones. La respues-ta que se solicita para cada una de ellas es dicot-mica (falso-verdadero; si-no; correcto-incorrecto).

Ejemplo:

2.5. De ordenamientoSe presentan diversos datos o elementos que setienen que ordenar o jerarquizar, de acuerdo conun criterio que se indica (cronolgico, lgico). Elcriterio de ordenamiento tiene que ser objetivo, node opinin o estimacin.

2.6. Varias preguntas con una base comn

A partir de un esquema de informacin (base) quepuede ser, entre otras posibilidades, una orden

de produccin, un plano, un texto o un grfico, seconstruyen diversas preguntas (por lo general, dealternativas constantes o de opcin mltiple) uti-lizando los datos incorporados en el esquema deinformacin.

Ejemplo:

Dado un plan de produccin especialmente esta-blecido, se pueden formular preguntas como lassiguientes:

1. En qu consiste el error detectado? (Marque conuna x)

( ) Secuencia horaria equivocada

( ) Nmero de orden de trabajo incorrecto

( ) Horario excedido del establecido por la empresa

( ) Superposicin de horario2. Dnde ubica el error? (Marque con una x)

( ) Mquina 1 Da Lunes

( ) Mquina 3 Da mircoles

( ) Mquina 2 Da jueves

( ) Mquina 1 Da viernes

A MODO DE SNTESIS

Podemos sealar que, una vez definidos los aspec-tos crticos a evaluar en funcin de la Norma, hayque reflexionar y tomar decisiones sobre cmo serecoger la informacin que servir de base pararealizar una evaluacin integrada.

En este sentido, hemos expresado que es necesario:

Tener en cuenta el criterio de validez para selec-cionar las tcnicas e instrumentos que resultenms idneos para obtener informacin en las dis-tintas situaciones.

Considerar la adaptacin de las tcnicas e instru-mentos al contexto en el que se realizar la eva-

luacin.Contemplar el requisito de confiabilidad, quehace referencia a la constancia o a cierta estabili-dad que debe plasmarse en los resultados cuandose aplica el mismo instrumento en diversas opor-tunidades.

Combinar distintas tcnicas en la recoleccin deevidencias para contar con informacin vlida ysignificativa que permita determinar si un traba-jador es o no competente. En tal sentido, las alter-nativas son:

Si No

El transformador permite modificar(aumentar o disminuir) el voltaje dela corriente alterna.


15/17


Observacin directa del postulante en ambientereal de trabajo.

Observacin de situaciones organizadas al efecto(simulaciones, resolucin de problemas, estudiosde casos, ensayos, etc.)

Anlisis de productos o resultados.

Anlisis o elaboracin de documentacin.

Entrevista.

Seleccionar los instrumentos que resulten msidneos como herramientas indispensables pararecoger y documentar los aspectos a verificar y

sus resultados. En tal sentido, pueden utilizarselistas de control, escalas de estimacin, distintostipos de preguntas y cuestionarios, entre otrosinstrumentos

Elaborar cada tipo de instrumento considerandolos requisitos bsicos para su construccin.

Analizar la coherencia del planteo realizado antesde avanzar en las etapas siguientes. Requerir, enla medida de lo posible, la lectura del material ylas sugerencias de personas expertas en el rol queno hayan intervenido en el proceso que se hadescrito.



16/17

BIBLIOGRAFA

Bertoni y otras. Evaluacin. Nuevos significados para una prctica compleja. Ed. Kapelusz. Buenos Aires.

1995

Camilloni y otras La evaluacin de los aprendizajes en el debate didctico contemporneo. Ed. Paids.Buenos Aires. 1998

House, E.R. Evaluacin, tica y poder. Ed. Morata. Madrid. 1994

De Ketele, J. M. y Roegiers X. Metodologa para la recogida de informacin. Ed. La Muralla. Madrid. 1995

McDonald, R; Boud D; Francis J y Gonczi. Nuevas perspectivas sobre la evaluacin. Boletn CINTERFORN149.2000. UNESCO. Pars.1995

Perrenoud, Philippe. Avaliaao Da Excelencia a Regulaao das Aprendizagens. Entre duas lgicas. Ed.Artmed. Porto Alegre. 1999

SENA (Servicio Nacional de Aprendizaje). Sistema de Evaluacin y Certificacin de Competencias Laborales.

Metodologa para Evaluar y Certificar Competencias Laborales. Direccin Sistema Nacional de FormacinProfesional. Bogot. 2003

Vargas, F.; Casanova, F.; Montanaro, L. El enfoque de Competencia Laboral: Manual de Formacin. Mdulo1. Unidad 4.CINTERFOR. Montevideo. 2001.

Vargas, F. La Evaluacin basada en Normas de Competencias. CINTERFOR. Montevideo. 2003

Ministerio de Trabajo, Empleo y Seguridad SocialLeandro N. Alem 638 piso 3 Ciudad de Buenos Aires (C1001AAN)

(54-11) 4310-5539 / [email protected]


17/17

Unidad Tcnica de Certificacin de CompetenciasDireccin de Fortalecimiento Institucional

Direccin Nacional de Orientacin y Formacin Profesional

Subsecretara de Polticas de Empleo y Formacin Profesional

Secretara de Empleo

Metodologia para el diseño de instrumentos de evaluación.pdf

Documents

Transcript of Metodologia para el diseño de instrumentos de evaluación.pdf