La importancia de los sistemas de información en los procesos de … · 2019-12-30 · La...
123
La importancia de los sistemas de información en los procesos de evaluación y acreditación de la calidad universitaria Jose Miguel Carot Universidad Politécnica de Valencia [email protected]
Transcript of La importancia de los sistemas de información en los procesos de … · 2019-12-30 · La...
La importancia de los sistemas de información en
los procesos de evaluación y acreditación de la
calidad universitaria
Jose Miguel Carot
Universidad Politécnica de Valencia
Director de Calidad y Acreditación
Universidad Politécnica de Valencia
Jose Miguel Carot
La información en la
Sociedad del Conocimiento Un elemento clave
La Era de la Información
La información como motor
de transformación
en la Universidad
Un nuevo contexto para la Educación Superior
La Sociedad del Conocimiento
La Globalización
Los cambios constantes y rápidos
La universalización de la educación
La coyuntura económica
Nuevas demandas de la sociedad
La Información en la Universidad
El cambio de paradigma en la universidad exige transparencia
Hay mucha más información que hace 10 años y muchísima
más que hace 20
Los indicadores estadísticos han tomado una posición más
relevante en los últimos años debido a
La generalización de las TICs
La complejidad de la economía moderna
El aumento del nivel educativo de la población
La Información en la Universidad
La aparición y proliferación de los Rankings Universitarios
Su popularidad evidencia la necesidad de información
Los Rankings simplifican la complejidad
Por qué necesitamos
información?
Rendición de cuentas
Tomar decisiones
Transparencia
Mejora Institucional
Rendición de cuentas
Autonomía + Rendición de cuentas
A quién hay que rendir cuentas?
Imprescindible que las universidades ofrezcan
información sobre sus actividades y los resultados que
obtienen
La información que se ofrece debe ser válida, fiable y
manejable
Tomar decisiones
No hay duda que es mejor tener información para tomar
decisiones
Las universidades tienen la responsabilidad de ofrecer
información para los que toman decisiones sobre ellas
Pero necesitamos referencias: la elaboración de la
información debe hacerse de manera conjunta para dar
significado a los resultados
Transparencia
La sociedad exige transparencia
Las universidades deben explicar qué hacen y que
resultados obtienen para que los ciudadanos elijan según
sus intereses
La transparencia facilita la diferenciación y es una
alternativa a la sobreregulación
La mejor estrategia de búsqueda de calidad es la
apertura de las universidades a la demanda social
Mejora institucional
Creciente interés por la Calidad en las Instituciones de Educación Superior
(IES) debido a su contribución
al desarrollo social, económico y cultural
a una sociedad más equitativa y próspera
Las IES dedican grandes esfuerzos a planificar, medir y mejorar su
calidad
Pero la calidad exige disponer de información válida y fiable para la toma
de decisiones
Garantía de Calidad
Los Sistemas de Información son un elemento clave
en la garantía de calidad
La importancia de la gestión
eficiente de la información Un enfoque hacia la toma de decisiones
Misión de los Sistemas de Información
Ser herramientas útiles para la gestión
Los Sistemas de información deben estar diseñados
para facilitar la toma de decisiones
También
Reducir la burocracia
Principios en los que debe basarse un Sistema de
Información
Adecuación a los usuarios
Marco conceptual adecuado
Enfoque holístico
Articulación de la información
Mejora continua
Escalabilidad
• La información es siempre incompleta
Qué cantidad de información necesitamos?
La información puede interpretarse de manera distinta
Lo que se puede medir frente a lo que se debe medir
Cómo comparar
Sistema de Información: ¿Qué necesitamos?
Herramientas
Datos
Diseño
El Diseño Lo primero es planificar
Para qué
Objetivos
Diseño de políticas a nivel de
país
Definición interna de
políticas
Rendición de cuentas
Financiación
Para quién
Destinatarios
Futuros estudiantes y sus
familias
Estudiantes
Gestores universitarios
Profesores e investigadores
Agencias de calidad
Organismos gubernamentales
Sociedad
Empleadores
El modelo conceptual
Qué medir
Con qué estructura
El modelo conceptual. Algunos ejemplos
• INFOACES
El modelo conceptual. Algunos ejemplos
• INFOACES
Infraestructuras
Estructura
Oferta
Perfil
Investigación
- Producción
- Recursos captados
Transferencia +Ext
- Patentes
- Formación continua
Enseñanza
- Demanda
- Matrícula
- Recursos Humanos - Resultado
Resultados Contexto
Estructura
económica y
educativa del
entorno
El modelo conceptual. Algunos ejemplos
• SIIU España
El modelo conceptual. Algunos ejemplos
• U-Ranking
El modelo conceptual. Algunos ejemplos
• U-Multirank
Los Indicadores
Qué son
Características
Qué nivel de desagregación
Definición de los indicadores
Propiedades de los indicadores
Pertinencia
Validez
Fiabilidad
Comparabilidad
Comunicabilidad
Resistencia a la manipulación
Factibilidad
Economía
Vinculación con los objetivos
Propiedades de los sistemas de indicadores
Pertinencia
Completitud
Simplicidad
Utilidad
“En aquel imperio, el arte de la cartografía logró tal perfección que el
mapa de una sola provincia ocupaba toda una ciudad, y el mapa del
imperio, toda una provincia. Con el tiempo, estos mapas desmesurados
no satisficieron y los colegios de cartógrafos levantaron un mapa del
imperio, que tenía el tamaño del imperio y coincidía puntualmente con él.
Menos adictas al estudio de la cartografía, las generaciones siguientes
entendieron que ese dilatado mapa era inútil y no sin impiedad lo
entregaron a las inclemencias del sol y los inviernos. En los desiertos del
oeste perduran despedazadas ruinas del mapa, habitadas por animales
y por mendigos; en todo el país no hay otra reliquia de las disciplinas
geográficas.”
J.L. Borges (El Hacedor, 1960)
Definición de un indicador
La unidad de medida
Los elementos que lo componen
El origen de los datos
La periodicidad con que se mide
El proceso matemático seguido
El significado que debe darse al resultado numérico final
Definición de un indicador
• Los indicadores son descripciones parciales del fenómeno que se
pretende medir, por tanto simplifican la realidad
Los indicadores deben estar perfectamente alineados con los
objetivos de la organización
Es muy tentador medir lo que se puede en lugar de lo que se es
realmente relevante. Cuidado con los sesgos.
“... son como los explosivos, en que pueden ser usados de forma
destructiva o constructiva. Si fuesen productos químicos habría que
calificarlos de inestables, no en el sentido de que cambien con cierta
facilidad, sino en el sentido de que deben ser usados con extrema
precaución, dado que una manipulación indebida puede provocar
efectos no deseados” Higher Education Quality Council (1996)
Los elementos
Las Universidades
Las Agencias
El Ministerio de Educación
Otros agentes externos
Algunas reflexiones
sobre el diseño de un
Sistema de
Información
Algunas reflexiones
Para sistemas nacionales o supra-universitarios
Que permita analizar las diferencias entre universidades
Que permita hacer “comparación” entre universidades
Que permita recoger las especiÞcidades de cada
universidad o región
Que permita sintetizar y representar realidades complejas
Algunas reflexiones
Para sistemas nacionales o supra-universitarios
Es necesario que muestre el interior?
La medición es una cosa y los estándares otra
Deben fomentar la cultura de calidad
Algunas reflexiones
En el interior de las universidades
Más indicadores / Más precisión
La calidad de los datos
Orientado a la toma de decisiones para la gestión
eficiente de recursos
Compatible con SI externos
Algunas reflexiones
Permiten realizar estudios comparados: rendimiento,
abandono, equidad, tipología de universidades,...
“Data when organized is information.
Information when explained is knowledge. Add
insight: wisdom”
Ismail Serageldin
The seven pillars of the new knowdlege revolution
Herramientas
Informáticas La tecnología al servicio de la información
Elementos
Almacenamiento
Procesamiento
Entrada
Salida
Hardware y Software
Requerimientos técnicos
El registro de la
información
Manual: formularios
Captura automatizada
Interconexión entre
Sistemas de Información
Paradigma del dato
único
Almacenamiento y
Procesamiento
Bases de datos
estructuradas
Con tecnología
adecuada
Con capacidad de
conexión con otros
sistemas
Escalables
Salida
Adecuada al usuario
Usabilidad
La recogida de
Información
El registro de la
información
Manual: formularios
Captura automatizada
Interconexión entre
Sistemas de Información
La calidad de los
datos
La calidad de los
indicadores depende de
la calidad de los datos
que se usan para su
cálculo
• Disponibilidad
La teoría: cualquier IES moderna es capaz de generar datos
estadísticos sobre su funcionamiento
La práctica: muchos datos no están disponibles de forma inmediata
Causas: voluntad, no se ve necesario, É
Muchas iniciativas fallan aquí
Métodos de recolección y validación muy controlados
Atención al nivel de agregación de los datos
Conclusiones Finales Retos de futuro
La universidad en la sociedad del conocimiento
La universidad también ha entrado en la era de la
información
La confianza incondicional en la universidad se está
empezando a sustituir por la rendición de cuentas
En el nuevo paradigma universitario, la información puede
convertirse en motor de transformación
El cambio de paradigma en la universidad exige
transparencia: es imprescindible que las IES ofrezcan
información sobre sus actividades y resultados
Sobre Sistemas de Información
Los Sistemas de Información son una herramienta insustituible
para la toma de decisiones en la Educación superior
La calidad exige disponer de información válida y fiable para la
toma de decisiones y las universidades tienen la
responsabilidad de ofrecerla
Los Sistemas de Información son un elemento clave en la
garantía de calidad
Hay que diseñar con precisión los Sistemas de Información
Los indicadores son un elemento clave
Sobre Indicadores
Son una herramienta básica para la correcta gestión de la calidad
y la rendición de cuentas
Para favorecer el progreso de las universidades necesitamos
Planificación estratégica: Indicadores para la toma de decisiones
Financiación diferenciada: indicadores de rendimiento
Autoevaluación: indicadores para medir la calidad
Comparación de instituciones: indicadores para “rankings”
Es imprescindible un buen diseño de indicadores
Cómo lo hacemos?
Diseño + Herramientas + Datos
Cómo lo hacemos?
Diseño + Herramientas + Datos
Necesitamos hacerlo juntos
Experiencia en la Gestión de Sistemas de
Información en la Educación Superior Universitaria
Jose Miguel Carot
Universidad Politécnica de Valencia
Algunas experiencias en Sistemas de Información
El Sistema de Información de la UPV
Los Sistemas de Información implicados en los procesos
de evaluación y acreditación en España
INFOACES: un Sistema de Información de dimensión
internacional
El Sistema de Información
y la Gestión de la Calidad
en la Universidad Politécnica de Valencia
62 +
La Universidad Politécnica de Valencia
+La Universidad Politécnica de Valencia
. 36.000 alumnos
. 2600 profesores e investigadores
. 1900 personas de administración y
servicios
. 41 departamentos
. 40 centros e institutos de investigaciones
. 11 escuelas y 2 facultades
. 95 titulaciones
63
+
Algunos principios básicos Cómo entendemos los procesos de gestión de la calidad en la UPV
64
+ La toma de decisiones en la UPV
Decisiones basadas en datos objetivos
Desarrollo e implementación de herramientas cuantitativas de
apoyo a los procesos de decisiones
Sistemas de medición
Indicadores
Manejo de indicadores para la gestión a distintos niveles
65
+ Algunos principios básicos
Alineamiento con los objetivos y plan estratégico de la institución
Conexión entre garantía de calidad
Interna
Externa (agencias de calidad y instituciones de acreditación)
Utilización de
Modelos ya definidos y probados
Diseños a medida
La calidad es parte del trabajo habitual, no es un conjunto de
“trámites burocráticos” impuestos y que aparecen puntualmente
66
+ Algunos principios básicos
Tomar decisiones en base Obtener una visión global Transparencia
a datos objetivos y sin sesgos
67
Medir
información
Integrar
público
Hacer
____
+ Algunos principios básicos
68
Orientación a la mejora continua
Utilidad
Procedimientos de Calidad
Sencillez
+ Calidad en el ámbito
académico
69
Calidad en el ámbito Académico
Enseñanza
Títulos
Evaluación individual del PDI (personal docente-investigador)
Seguimiento de titulados
Investigación
Evaluación individual del PDI (personal docente-investigador)
Instituciones
Tercera Misión
Formación Permanente
Transferencia de tecnología e innovación
+ 70
Garantía de calidad de títulos
ACREDITACIÓN
RESULTADOS
SEGUIMIENTO
PROCESO
VERIFICACIÓN
AUTORIZACIÓN
DISEÑO
CALIDAD PREVISTA
+ 71
CALIDAD REAL
+ Garantía de calidad de títulos
72
Interna
Informe para Verificación
Informe de Gestión (Anual)
Informe Seguimiento (bienal)
Informe Acreditación
Externa
Verificación
Seguimiento
Acreditación
Índice de Actividad Docente
Índice de Actividad Investigadora
Índice de Actividad de Gestión
Índice de Actividad Académica
+Profesorado
Gestión
Investigación Docencia
73
+ Docencia e investigación
Índice de Actividad Docente e investigadora
32 / 54 indicadores
Evaluación anual
Para todo el profesorado
Sin papeles y barato
Aplicación informática que lo gestiona
74
Docen
cia
Gestió
n
Investi
gación
PLANIFICACIÓN
Actividad docente
del profesorado de
la UPV DESARROLLO
RESULTADOS
Formación
Guía Docente
Información de tutorías y grupos de docencia
Materiales docentes
Docencia impartida
Tutorías realizadas
Evaluación
Otras actividades docentes
Encuesta de opinión alumnado
Rendimiento académico
Cumplimiento de tutorías
Cumplimiento del plazo de entrega de
actas
+Indice de actividad docente 75
IAD
+Indice de Actividad Académica
Actividad docente -
IAD
Actividad
académica del
profesorado de la
UPV
Actividad
investigadora - VAIP
IAA
Actividad de gestión
- AG
76
Consecuencias
PARA GESTORES
Información para la toma de decisiones
- Definición de políticas para PDI
- Incentivos económicos, tamos docentes, acreditación,...
Objetividad de la evaluación y viabilidad del modelo
PARA PROFESORES e INVESTIGADORES
Herramienta de ayuda para la mejora de la calidad de la docencia y de la investigación
Incremento del interés por la dimensión docente
Fomento de actividades de innovación docente
Mayor preocupación por considerar la opinión de los estudiantes
+ 77
Consecuencias
A NIVEL INSTITUCIONAL
Cultura de evaluación en la UPV
Desarrollo de planes de atención individualizada y de seguimiento
Incorporación del IAD, IAI, IAG como indicador en los procesos internos
Integración de Docencia-Investigación-Gestión (IAA)
OTROS EFECTOS
Mejora de los sistemas de información
Cumplimiento de obligaciones formales
Visibilidad de actividades docentes o investigadoras no convencionales
+ 78
+ Acreditaciones
Por Agencias nacionales
AVAP
ANECA
Europa
EUR-ACE
EURO-INF
Otras específicas: ABE,É
USA
ABET
79
+ Calidad en el ámbito de
gestión
80
Calidad en el ámbito de gestión
Calidad de servicios
Personal de administración y servicios
Centros
Departamentos
+ 81
Programa PEGASUS
¿Qué es?
Es el programa de mejora en la gestión de la administración y los
servicios universitarios de la UPV impulsado desde la Gerencia.
¿Para qué?
Para proporcionar a los usuarios servicios que den satisfacción a sus
necesidades y expectativas.
Para establecer un sistema de mejora continua de los servicios universitarios
de la UPV.
Para implantar un sistema de retribución por productividad del Personal de
Administración y Servicios de la UPV.
+ Programa PEGASUS
+PEGASUS
¿qué es la CALIDAD de un servicio?
+El diseño
Servicios UPV Colectivos de Características Unidades de Gestión usuarios
+ La encuesta
Modelo de encuesta construido a medida
Pero en línea con modelos de validez probada (Servqual /Servperf)
U Información recibida
U Sencillez mecanismos solicitud
U Adecuación de los plazos
U Trato recibido
U Profesionalidad
U Eficacia
U SATISFACCIÓN GENERAL
+ Los indicadores
Absolutos Valor medio de satisfacción en los siete atributos con el servicio prestado
% de usuarios satisfechos (+ % de usuarios insatisfechos)
Relativo Percentil de ese valor medio, tomando como referencia al resto de descriptores
+
Cómo lo hacemos?
87
+
Estructura organizativa
Área de Calidad y Acreditaci ón
SEPQ (Servicio de Evaluación, Planificación y Calidad)
88
Gerencia
Rector
VAEU VTIC VIIT VOAP VAEP VRSC VCI GR
VECA
Sistema de información (Mediterranea)
+ Algunos aspectos clave
Liderazgo
Organización
Gestión por procesos
Procesos
Servicios
Cartas de servicio
Medición de resultados
Indicadores Objetivos
Indicadores de Satisfacción
Formación
Fomento de la implicación de las personas
89
Los Sistemas de Información
implicados en los procesos de
evaluación y acreditación en España
Los sistemas de información del Sistema
Universitario en España
Universidades
Sistemas propios
Ministerio de Educación
SIIU (Sistema Integrado de Información Universitaria)
CRUE (Conferencia de Rectores de las Universidades Españolas
Informe: La universidad Española en Cifras
Agencias de Calidad y Acreditación
Plataformas informáticas de apoyo a los procesos de evaluación y acreditación
Conjunto de indicadores comunes para seguimiento y acreditación
• Participan:
Ministerio de Educación
Comunidades Autónomas
Universidades
Almacena microdatos
Proporciona indicadores e
informes
http://www.mecd.gob.es/
Sistema Integrado de Información Universitaria
La Universidad
Española en Cifras
http://www.crue.org/
Desde 2000
9 ediciones en 15 años
243.123 datos en 67 tablas
Datos facilitados por las
universidades públicas y privadas
Agencias
ANECA: Agencia Nacional de
Evaluación de la Calidad y
Acreditación
Agencias Regionales
Red de agencias de calidad
Conjunto de indicadores
comunes
Cada agencia tiene su propia
plataforma de apoyo a los
procesos de evaluación y
acreditación
INFOACES
un Sistema de Información
con dimensión internacional
INFOACES
Un Sistema Integral de Información
para la Educación superior de América Latina
Datos del proyecto
Participantes
Objetivos
Crear un Sistema Integral de Información sobre las IES de AL que permita el desarrollo institucional, la cooperación académica entre las instituciones participantes y que sirva de soporte al desarrollo del Área Común de Educación Superior (ACES) en
sinergia con la UE
General
Beneficiarios del proyecto
Estudiantes de AL y sus familias
IES de AL y sus
gestores
Gobiernos de AL y
organismos I
Directos
A largo plazo Empleadores de AL
ACES de
AL y EU
IES de EU y sus gestores y estudiantes
Resultados
Resultados Fomentar el desarrollo de la FE
Un “modelo de medición”:
Consensuado entre todos los actores
Con una estructura y un marco conceptual adecuados
Con indicadores definidos de forma precisa
Que estén alineados con lo que se hace en Europa
R1 El diseño del Sistema de Información
Resultados Fomentar el desarrollo de la FE
Ágil, robusta, capaz, y orientada al usuario
fo_ins
Una plataforma informática R2
Resultados el Esperados Fomentar desarrollo de la FE
R3 Una estructura organizativa regional de soporte
Lo que el proyecto no va a hacer
Ranking
El Sistema Integral de Información
Marco conceptual
Estructura
Infraestructuras
Oferta
Perfil
Investigación
- Producción - Recursos captados
Transferencia +Ext
- Patentes - Formación continua
Enseñanza
- Demanda
- Matrícula
- Recursos Humanos
- Resultado
Resultados Contexto
Estructura económica y educativa del
entorno
El modelo propuesto
Qué resultados tienen?
Que hacen?
Cómo son?
Dónde están?
Datos para el SII
IES / Organismos
Información adecuada a
cada grupo de interés
Sistema Básico de indicadores
44 indicadores agrupados en tres dimensiones y 7 ámbitos
v.3
Noviembre 2013
v.1 v.2
Marzo 2012 Marzo 2013
Plataforma Informática
Herramientas Formación
Red de Expertos
Plataforma para
socios Sistema de Seguimiento de Egresados
Plataforma Pública
Plataforma Pública
Accesible para cualquier visitante de la página web
Información ofrecida: descriptiva básica
Plataforma para socios
Información completa
Accesible con clave de acceso para los que han proporcionado información a la plataforma
Seguimiento de Egresados
Establecimiento de una colaboración con PROFLEX para ofrecer de forma gratuita una plataforma de egresados a socios del proyecto
Plataforma autogestionada
Pueden usarla de modo inmediato y de forma continuada
Conexión directa de indicadores PROFLEX – INFOACES
Experiencia en la Gestión de Sistemas de
Información en la Educación Superior Universitaria
Jose Miguel Carot
Universidad Politécnica de Valencia
