Post on 26-Sep-2018
15 de diciembre de 2006Asociación Colombiana de Facultades de Administración - ASCOLFA
Análisis de Resultados
Asociación Colombiana de Facultades de Administración
ASCOLFA
EXAMEN DE CALIDAD PARA LA EDUCACIÓN SUPERIOR
ECAES EN ADMINISTRACIÓN 2006
15 de diciembre de 2006Asociación Colombiana de Facultades de Administración - ASCOLFA
• El Proceso – Valor agregado• Usos y para qué sirve? • Estructura • Validez de la Prueba• Escala y Agrupación• Análisis Nacional General y por:
• Componente • Jornada • Tipo de Programa • Competencia
Agenda
15 de diciembre de 2006Asociación Colombiana de Facultades de Administración - ASCOLFA
El Proceso … Valor Agregado
• Inicios del ECAES• Definición Marco Legal – Ministerio de
Educación – Decreto 1781 de 2003 • Contratación Unión Temporal PROCAD
• Revisión Referente Internacional • Revisión Propuestas Curriculares a Nivel Nacional • Revisión del Ejercicio en Administración• Consolidar una Especificación de Prueba• Ejercicio de Socialización
15 de diciembre de 2006Asociación Colombiana de Facultades de Administración - ASCOLFA
El Proceso … Valor Agregado
• Construir el Instrumento • Elaboración de Preguntas
• Talleres de Tamizaje
• Selección preguntas para el Instrumento
• Producción de Resultados y Publicación
• Análisis de Resultados
• Impacto en los procesos de mejoramiento de
la calidad al interior de las facultades
15 de diciembre de 2006Asociación Colombiana de Facultades de Administración - ASCOLFA
Usos y Para qué sirve…
• Sirve para
• Cualificar Docencia en Evaluación
• Reconocer Fortalezas y Debilidades de los programas
• Emprender Planes de Mejoramiento
• Propiciar Escenarios de Integración
15 de diciembre de 2006Asociación Colombiana de Facultades de Administración - ASCOLFA
Usos y Para qué sirve ….• No Sirve Para
• Comparar Instituciones, Programas, Estudiantes,
utilizando únicamente este instrumento
• Definir Calidad Taxativamente
• Idoneidad en el Saber - Hacer
• Único Instrumento Certificación y Re-certificación
• Convalidar títulos
• Selección de Profesionales Mercado laboral
• Regularizar los PEI o las Particularidades de las
Facultades
15 de diciembre de 2006Asociación Colombiana de Facultades de Administración - ASCOLFA
Usos y Para qué sirve ….
• Los Usos no corresponden a los planteados por las Asociaciones
• El nivel de Discusión de los Resultados es Incipiente• La interpretación de las Escalas Confusa• Discutir Nuevos Modelos de Análisis• Complementar Información a la Académica con Informe
Técnico • Participación de las Asociaciones
15 de diciembre de 2006Asociación Colombiana de Facultades de Administración - ASCOLFA
Tabla de Especificación
15 de diciembre de 2006Asociación Colombiana de Facultades de Administración - ASCOLFA
Tabla de Especificación
15 de diciembre de 2006Asociación Colombiana de Facultades de Administración - ASCOLFA
Tabla de Especificación
15 de diciembre de 2006Asociación Colombiana de Facultades de Administración - ASCOLFA
Tabla de Especificación
15 de diciembre de 2006Asociación Colombiana de Facultades de Administración - ASCOLFA
Validez de la Prueba
•Relevancia
•Representatividad
•Calidad Técnica
15 de diciembre de 2006Asociación Colombiana de Facultades de Administración - ASCOLFA
Relevancia
• Los campos, componentes y temas que
conforman el examen, son:
• Fundamentales para el ejercicio de la
Administración.
• Están incluidas dentro de la estructura
curricular de las Facultades
15 de diciembre de 2006Asociación Colombiana de Facultades de Administración - ASCOLFA
Representatividad
• Las preguntas:
• Fueron realizadas por docentes de todas las
facultades de Administración
• Propiciaron un “buen” balance de la prueba.
(una distribución normal de los estudiantes)
15 de diciembre de 2006Asociación Colombiana de Facultades de Administración - ASCOLFA
Calidad Técnica• Del Examen:
• Según el Modelo TCP: Confiabilidad entre (0-1)
•Qué tanto aventaja un Estudiante a Otro
• Según el Modelo de RASCH (TRI) : Confiabilidad entre (0-1)
•Qué condiciones del Saber en Administración tiene cada
estudiante en relación con lo que se le pregunta
(conocimiento, razonamiento, complejidad de la
pregunta)
• De las Preguntas del último examen:• La totalidad tuvieron un nivel de precisión superior al 95%.
(Si la pregunta mide con alta precisión las condiciones del
saber en Administración)
15 de diciembre de 2006Asociación Colombiana de Facultades de Administración - ASCOLFA
Escala y Agrupación• Escala
• Media en 100 y desviación estándar de 10
• El modelo estima una habilidad de cada estudiante,
teniendo en cuenta el puntaje bruto y la dificultad de la
pregunta
• Posteriormente se traslada el dato a la escala estándar
• Agrupación• Es la única forma posible de entregar resultados que
permitan un cierto nivel de comparación
• Intervalos de Confianza
15 de diciembre de 2006Asociación Colombiana de Facultades de Administración - ASCOLFA
Escala y Agrupación
Punto o Media Teórica es para el efecto (90 o 100 o 110)1,96 representa el 95% de Confiabilidad“DesviaciónEstándar” es la Desviación presentada por cada programa“NúmerodeEstudiantes” es el número de estudiantes evaluados en cada programaY posteriormente se compara el promedio de cada facultad con los intervalos obtenidos para ubicar el grupo a la que pertenece.
15 de diciembre de 2006Asociación Colombiana de Facultades de Administración - ASCOLFA
Análisis de Resultados
EN EL NIVEL NACIONAL
15 de diciembre de 2006Asociación Colombiana de Facultades de Administración - ASCOLFA
Facultades por Nivel
Número de Facultades por Nivel
5
15
25
63
25
57
0
10
20
30
40
50
60
70
Muy Superior Superior Alto Medio Medio - Bajo Bajo
15 de diciembre de 2006Asociación Colombiana de Facultades de Administración - ASCOLFA
Facultades por Nivel - Comparativo
Porcentaje de Facultades por NivelComparativo
0.00%
5.00%
10.00%
15.00%
20.00%
25.00%
30.00%
35.00%
40.00%
Muy Superior Superior Alto Medio Medio - Bajo Bajo
% 2004% 2005% 2006
15 de diciembre de 2006Asociación Colombiana de Facultades de Administración - ASCOLFA
Análisis de Resultados
POR COMPONENTE
15 de diciembre de 2006Asociación Colombiana de Facultades de Administración - ASCOLFA
Análisis por ComponenteComportamiento Componentes por Nivel
22.11%
8.95% 10.53%
42.11%
26.32%
16.84%15.26%
27.89%
20.53%
63.49%
15.34%
49.47%
44.21%48.42%
52.63%
59.47%
53.68%
60.53%
48.42%
55.26%
24.34%
68.25%
27.89%
41.58%
40.00%
3.68%10.53%
22.63%
17.37% 16.84% 18.42%
0.53%
14.29%
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
AD
MIN
ISTR
AC
IÓN
Y
OR
GA
NIZ
AC
ION
ES
EC
ON
OM
ÍA
ESTA
DÍS
TIC
A
ETIC
A, R
ESPO
NSA
BIL
IDA
D
SO
CIA
L Y
DER
EC
HO
FIN
AN
ZA
S
GESTIÓ
N H
UM
AN
A
MA
TEM
ÁTIC
A
MER
CA
DEO
PR
OD
UC
CIÓ
N Y
OPER
AC
ION
ES
CO
MPR
EN
SIÓ
N IN
GLÉS
CO
MPR
EN
SIÓ
N L
EC
TO
RA
2006
Bajo
Medio - Bajo
Medio
Alto
Superior
Muy Superior
15 de diciembre de 2006Asociación Colombiana de Facultades de Administración - ASCOLFA
Análisis por Componente - Comparativo
Comportamiento Programas por ComponenteComparativo 2004 - 2005 - 2006
0%
10%
20%
30%
40%
50%
60%
70%
80%
Mu
y S
up
erio
rS
up
erio
rA
lto
Med
ioM
edio
- B
ajo
Baj
oM
uy
Su
per
ior
Su
per
ior
Alt
oM
edio
Med
io -
Baj
oB
ajo
Mu
y S
up
erio
rS
up
erio
rA
lto
Med
ioM
edio
- B
ajo
Baj
oM
uy
Su
per
ior
Su
per
ior
Alt
oM
edio
Med
io -
Baj
oB
ajo
Mu
y S
up
erio
rS
up
erio
rA
lto
Med
ioM
edio
- B
ajo
Baj
oM
uy
Su
per
ior
Su
per
ior
Alt
oM
edio
Med
io -
Baj
oB
ajo
Mu
y S
up
erio
rS
up
erio
rA
lto
Med
ioM
edio
- B
ajo
Baj
oM
uy
Su
per
ior
Su
per
ior
Alt
oM
edio
Med
io -
Baj
oB
ajo
Mu
y S
up
erio
rS
up
erio
rA
lto
Med
ioM
edio
- B
ajo
Baj
oM
uy
Su
per
ior
Su
per
ior
Alt
oM
edio
Med
io -
Baj
oB
ajo
Mu
y S
up
erio
rS
up
erio
rA
lto
Med
ioM
edio
- B
ajo
Baj
o
Admón y Org. Comp. Lectora Economía Estadística Ética Finanzas Gest. Humana Inglés Matemáticas Mercadeo Prod. Y Oper.
2004 2005 2006
15 de diciembre de 2006Asociación Colombiana de Facultades de Administración - ASCOLFA
Análisis por ComponentePromedio por Componente
Año 2006
9.97
9.89
10.1210.07
10.13
10.06
9.93
10.01
9.80
10.19
10.46
9.6
9.7
9.8
9.9
10
10.1
10.2
10.3
10.4
10.5
10.6
`
15 de diciembre de 2006Asociación Colombiana de Facultades de Administración - ASCOLFA
Análisis por Componente - Comparativo
Promedio por ComponenteComparativo 2004 - 2005
10.0510.02
9.989.97
9.89
10.12
9.93
10.13
10.0610.0310.05
9.82
10.01 10.01 10.0310.0310.04
9.67
10.0010.0210.00
10.0010.0110.0110.01
9.80
10.00
10.46
10.19
10.07
9.80
10.01
9.6
9.7
9.8
9.9
10
10.1
10.2
10.3
10.4
10.5
10.6
2004 2005 2006
15 de diciembre de 2006Asociación Colombiana de Facultades de Administración - ASCOLFA
Administración y Organizaciones
Distribución de Universidades por Nivel en Administración Organizaciones
Alto22%
Medio49%
Superior1%
Medio - Bajo28%
15 de diciembre de 2006Asociación Colombiana de Facultades de Administración - ASCOLFA
Administración y Organizaciones
Admón y Organizaciones Comparativo Anual
0%
10%
20%
30%
40%
50%
60%
Muy Superior Superior Alto Medio Medio - Bajo Bajo
2004
2005
2006
15 de diciembre de 2006Asociación Colombiana de Facultades de Administración - ASCOLFA
Economía
Distribución de Universidades por Nivel en Economía
Bajo5%
Medio - Bajo42%
Superior1%
Medio43%
Alto9%
15 de diciembre de 2006Asociación Colombiana de Facultades de Administración - ASCOLFA
Economía
Economía Comparativo Anual
0%
10%
20%
30%
40%
50%
60%
70%
Muy Superior Superior Alto Medio Medio - Bajo Bajo
2004
2005
2006
15 de diciembre de 2006Asociación Colombiana de Facultades de Administración - ASCOLFA
EstadísticaDistribución de Universidades por Nivel en
Estadística
Bajo1%
Medio - Bajo40%
Superior1%
Medio47%
Alto11%
15 de diciembre de 2006Asociación Colombiana de Facultades de Administración - ASCOLFA
Estadística
Estadística Comparativo Anual
0%
10%
20%
30%
40%
50%
60%
70%
80%
Muy Superior Superior Alto Medio Medio - Bajo Bajo
2004
2005
2006
15 de diciembre de 2006Asociación Colombiana de Facultades de Administración - ASCOLFA
Ética y Responsabilidad Social
Distribución de Universidades por Nivel en Ética y Responsabilidad Social
Bajo1%
Medio - Bajo4%
Superior1%
Medio52%
Alto42%
15 de diciembre de 2006Asociación Colombiana de Facultades de Administración - ASCOLFA
Ética y Responsabilidad Social
Ética y Responsabilidad Social Comparativo Anual
0%
10%
20%
30%
40%
50%
60%
70%
Muy Superior Superior Alto Medio Medio - Bajo Bajo
2004
2005
2006
15 de diciembre de 2006Asociación Colombiana de Facultades de Administración - ASCOLFA
Finanzas
Distribución de Universidades por Nivel en Finanzas
Alto26%
Medio
Superior3.68%
Medio - Bajo11%
15 de diciembre de 2006Asociación Colombiana de Facultades de Administración - ASCOLFA
Finanzas
FinanzasComparativo Anual
0%
10%
20%
30%
40%
50%
60%
70%
Muy Superior Superior Alto Medio Medio - Bajo Bajo
2004
2005
2006
15 de diciembre de 2006Asociación Colombiana de Facultades de Administración - ASCOLFA
Gestión Humana
Distribución de Universidades por Nivel en Gestión Humana
Bajo4%
Medio - Bajo23%
Superior2.63%
Medio53%
Alto17%
15 de diciembre de 2006Asociación Colombiana de Facultades de Administración - ASCOLFA
Gestión Humana
Gestión HumanaComparativo Anual
0%
10%
20%
30%
40%
50%
60%
70%
80%
Muy Superior Superior Alto Medio Medio - Bajo Bajo
2004
2005
2006
15 de diciembre de 2006Asociación Colombiana de Facultades de Administración - ASCOLFA
Matemáticas
Distribución de Universidades por Nivel en Matemáticas
Bajo1%
Superior4%
Alto15%
Muy Superior2.11%
Medio61%
Medio - Bajo17%
15 de diciembre de 2006Asociación Colombiana de Facultades de Administración - ASCOLFA
Matemáticas
MatemáticasComparativo Anual
0%
10%
20%
30%
40%
50%
60%
70%
Muy Superior Superior Alto Medio Medio - Bajo Bajo
2004
2005
2006
15 de diciembre de 2006Asociación Colombiana de Facultades de Administración - ASCOLFA
Mercadeo
Distribución de Universidades por Nivel en Mercadeo
Medio - Bajo17%
Superior6.84%
Medio48%
Alto28%
15 de diciembre de 2006Asociación Colombiana de Facultades de Administración - ASCOLFA
Mercadeo
MercadeoComparativo Anual
0%
10%
20%
30%
40%
50%
60%
Muy Superior Superior Alto Medio Medio - Bajo Bajo
2004
2005
2006
15 de diciembre de 2006Asociación Colombiana de Facultades de Administración - ASCOLFA
Producción y Operaciones
Distribución de Universidades por Nivel en Producción y Operaciones
Bajo0.53%
Superior4%
Alto21%
Muy Superior1.05%
Medio55%
Medio - Bajo18%
15 de diciembre de 2006Asociación Colombiana de Facultades de Administración - ASCOLFA
Producción y Operaciones
Producción y Operaciones Comparativo Anual
0%
10%
20%
30%
40%
50%
60%
Muy Superior Superior Alto Medio Medio - Bajo Bajo
2004
2005
2006
15 de diciembre de 2006Asociación Colombiana de Facultades de Administración - ASCOLFA
Comprensión Lectora
Distribución de Universidades por Nivel en Compresión Lectora
Bajo2%
Alto15.34%
Medio - Bajo14%
Medio69%
15 de diciembre de 2006Asociación Colombiana de Facultades de Administración - ASCOLFA
Comprensión Lectora
Comprensión Lectora Comparativo Anual
0%
10%
20%
30%
40%
50%
60%
70%
80%
Muy Superior Superior Alto Medio Medio - Bajo Bajo
2004
2005
2006
15 de diciembre de 2006Asociación Colombiana de Facultades de Administración - ASCOLFA
Comprensión de Inglés
Distribución de Universidades por Nivel en Compresión de Inglés
Medio - Bajo1%
Superior11.64%Medio
24%
Alto63%
15 de diciembre de 2006Asociación Colombiana de Facultades de Administración - ASCOLFA
Comprensión de Inglés
Comprensión de InglésComparativo Anual
0%
10%
20%
30%
40%
50%
60%
70%
Muy Superior Superior Alto Medio Medio - Bajo Bajo
2005
2006
15 de diciembre de 2006Asociación Colombiana de Facultades de Administración - ASCOLFA
Análisis de Resultados
POR JORNADA
15 de diciembre de 2006Asociación Colombiana de Facultades de Administración - ASCOLFA
Programas por Jornada - Nivel
Distribución en % de las Facultades por Jornada - Nivel
0.00%
10.00%
20.00%
30.00%
40.00%
50.00%
60.00%
70.00%
MuySuperior
Superior Alto Medio Medio - Bajo Bajo
DIURNO
EDUCACION ADISTANCIA
NOCTURNO
15 de diciembre de 2006Asociación Colombiana de Facultades de Administración - ASCOLFA
Comparativo Jornada Diurna
Jornada DiurnaComparativo Anual
0%
5%
10%
15%
20%
25%
30%
35%
40%
Muy Superior Superior Alto Medio Medio - Bajo Bajo
2004
2005
2006
15 de diciembre de 2006Asociación Colombiana de Facultades de Administración - ASCOLFA
Comparativo Jornada Nocturna
Jornada NocturnaComparativo Anual
0%
5%
10%
15%
20%
25%
30%
35%
40%
45%
Muy Superior Superior Alto Medio Medio - Bajo Bajo
2004
2005
2006
15 de diciembre de 2006Asociación Colombiana de Facultades de Administración - ASCOLFA
Comparativo Jornada Educación A Distancia
Jornada Educación a Distancia Comparativo Anual
0%
10%
20%
30%
40%
50%
60%
70%
Muy Superior Superior Alto Medio Medio - Bajo Bajo
2004
2005
2006
15 de diciembre de 2006Asociación Colombiana de Facultades de Administración - ASCOLFA
Análisis de Resultados
POR TIPO DE PROGRAMA
15 de diciembre de 2006Asociación Colombiana de Facultades de Administración - ASCOLFA
Administración de Empresas
Administración de EmpresasComparativo Anual
0%
20%
40%
60%
80%
100%
120%
Muy Superior Superior Alto Medio Medio - Bajo Bajo
2005
2006
15 de diciembre de 2006Asociación Colombiana de Facultades de Administración - ASCOLFA
Administración Financiera
Administración FinancieraComparativo Anual
0%
5%
10%
15%
20%
25%
Muy Superior Superior Alto Medio Medio - Bajo Bajo
2005
2006
15 de diciembre de 2006Asociación Colombiana de Facultades de Administración - ASCOLFA
Administración de Empresas Turísticas y Hoteleras
Administración de Empresas Turísticas y Hoteleras
Comparativo Anual
0%
1%
2%
3%
4%
5%
6%
7%
8%
9%
Muy Superior Superior Alto Medio Medio - Bajo Bajo
2005
2006
15 de diciembre de 2006Asociación Colombiana de Facultades de Administración - ASCOLFA
Administración de Empresas Agropecurias
Administración de Empresas Agropecuarias
Comparativo Anual
0%
1%
2%
3%
4%
5%
6%
7%
Muy Superior Superior Alto Medio Medio - Bajo Bajo
2005
2006
15 de diciembre de 2006Asociación Colombiana de Facultades de Administración - ASCOLFA
Análisis de Resultados
POR COMPETENCIA
15 de diciembre de 2006Asociación Colombiana de Facultades de Administración - ASCOLFA
Desempeño por CompetenciaDesempeño Nacional por Competencia
0.00%
10.00%
20.00%
30.00%
40.00%
50.00%
60.00%
70.00%
80.00%
Muy Superior Superior Alto Medio Medio - Bajo Bajo
ARGUMENTATIVA
INTERPRETATIVA
PROPOSITIVA
15 de diciembre de 2006Asociación Colombiana de Facultades de Administración - ASCOLFA
Competencia Argumentativa
Distribución de Universidades por Nivel en la Competencia Argumentativa
Bajo5%
Alto6.32%
Medio - Bajo68%
Medio21%
15 de diciembre de 2006Asociación Colombiana de Facultades de Administración - ASCOLFA
Competencia Argumentativa
Competencia Argumentativa Comparativo Anual
0%
10%
20%
30%
40%
50%
60%
70%
Muy Superior Superior Alto Medio Medio - Bajo Bajo
2005
2006
15 de diciembre de 2006Asociación Colombiana de Facultades de Administración - ASCOLFA
Competencia InterpretativaDistribución de Universidades por Nivel en la
Competencia Interpretativa
Medio12%
Medio - Bajo76%
Alto3.68%Bajo
8%
15 de diciembre de 2006Asociación Colombiana de Facultades de Administración - ASCOLFA
Competencia Interpretativa
Competencia Interpretativa Comparativo Anual
0%
10%
20%
30%
40%
50%
60%
70%
Muy Superior Superior Alto Medio Medio - Bajo Bajo
2005
2006
15 de diciembre de 2006Asociación Colombiana de Facultades de Administración - ASCOLFA
Competencia PropositivaDistribución de Universidades por Nivel en la
Competencia Propositiva
Medio - Bajo17%
Superior1.58%
Medio54%
Alto27%
15 de diciembre de 2006Asociación Colombiana de Facultades de Administración - ASCOLFA
Competencia Propositiva
Competencia PropositivaComparativo Anual
0%
10%
20%
30%
40%
50%
60%
70%
Muy Superior Superior Alto Medio Medio - Bajo Bajo
2005
2006
15 de diciembre de 2006Asociación Colombiana de Facultades de Administración - ASCOLFA
Análisis de Resultados
Conclusiones