PRIMAVERA 2003 Decisio 51

SABERES

MATEMÁTICAS EN LÍNEAElementos para una evaluación

Paula Bourges y Guillermina WaldeggCONSULTORA INDEPENDIENTE, DIAMOND BULLET / DEPARTAMENTO DE INVESTIGACIONES EDUCATIVAS, CINVESTAV-IPN / MÉXICO

paulabourges@hotmail.com / gwaldegg@mail.cenvestav.mx

INTRODUCCIÓN. El Consejo Nacional de Educación parala Vida y el Trabajo (CONEVyT), en su Programa deMediano Plazo 2001-2006, propone la utilización pe-

dagógica de las tecnologías de la información y comuni-cación para llevar los servicios educativos a todos losciudadanos, puesto que estas tecnologías permiten la ope-ración de la educación a distancia y la constitución deredes de aprendizaje.

Para llevar a cabo la propuesta, el CONEVyT ha resuel-to instalar en todo el país plazas comunitarias con servi-cios educativos que incorporen las tecnologías de la in-

formación y comunicación al aprendizaje de los adultos.La idea es que estas plazas comunitarias dispongan decomputadoras con conexión a Internet que permitan suaprovechamiento como medio educativo, a través de unportal que contenga servicios educativos integrados.

La meta para el sexenio es contar con un paquete in-tegrado de productos multimedia de educación para lavida y el trabajo distribuidos en todas y cada una de lasplazas comunitarias instaladas, para atender así una po-blación de 17 millones de jóvenes que no cuentan coneducación básica concluida, a los cinco millones de indí-

52 Decisio PRIMAVERA 2003

genas que han permanecido al margen de una oferta edu-cativa pertinente, y a la población económicamente acti-va que requiere educación para el trabajo.

El uso de las tecnologías de la información y comuni-cación que propone el CONAVyT supone la inversión decantidades considerables de recursos, tanto económicoscomo humanos especializados que, en general, son esca-sos en las instituciones educativas. Para garantizar quelos recursos invertidos tengan los mejores efectos posi-bles, es necesaria la realización sistemática de evaluacio-nes, tanto del proceso educativo que se pone en marchahaciendo uso de las tecnologías en cuestión, como de losproductos que se ofrecen por esta vía.

La parte principal de la evaluación está centrada en elanálisis de los contenidos instruccionales. Sin embargo,para que la evaluación esté completa se debe tomar encuenta el diseño de las herramientas tecnológicas, comoun factor determinante para su aceptación. Esto signifi-ca que para obtener un diagnóstico correcto de las herra-mientas usadas en entornos educativos (formales o no),es necesario que dentro de los esquemas de evaluacióneducativa, sea posible identificar los problemas atribui-bles al diseño de dichas herramientas, y distinguirlos deaquéllos atribuibles al diseño didáctico. Actualmente, den-tro de los estándares de evaluación educativa no sólo nose toma en cuenta esta variable, sino que no se contem-pla ningún tipo de valoración de las herramientas tecno-lógicas por lo que son los usuarios, los programas y loscontenidos los que deben adaptarse a las herramientasdisponibles, en lugar de que sean éstas las que se adaptena las necesidades de estos (estudiantes y/o educadores).

LA EVALUACIÓN DE LAS INTERFASES DEL USUARIO. Un individuo pue-de interactuar con una herramienta tecnológica solamentea través de una serie de agentes mediadores. La compu-tadora, por ejemplo, no podría ser utilizada si no existie-ran los mecanismos que permiten controlar y manipularlos procesos internos de la máqui-na, haciéndolos, en cierta forma,invisibles a un usuario no especiali-zado. La pantalla, el teclado, el ra-tón son mediadores materiales entreel individuo y la máquina; mientrasque los menús, los botones, el pun-tero y los comandos que aparecenen la pantalla realizan labores de in-termediación visual, que facilitan alusuario la comprensión y el accesoa las diferentes funciones y aplica-ciones de la máquina. Todos estosagentes reciben el nombre genéri-co de interfases de usuario. Para reali-zar cualquier tarea con cualquier he-rramienta dependemos totalmentede sus interfaces, de ahí el papelcentral que juega su diseño y suevaluación.

Uno de los principales acercamientos empleados paramedir el grado de adecuación del diseño de las herra-mientas tecnológicas y de sus interfaces es la usabilidad.Este acercamiento está dirigido a analizar la facilidad deuso del artefacto tecnológico en el proceso de realiza-ción de tareas específicas dentro de contextos específicos. Lausabilidad pretende determinar en qué medida el arte-facto dificulta o facilita interacciones tales como la co-municación entre distintos usuarios, la búsqueda, el di-bujo, la escritura, la modelación, la visualización o elaprendizaje, en función del objetivo de la herramienta.El concepto de usabilidad involucra la perspectiva de losusuarios finales, a diferencia de otros indicadores quecalifican aisladamente el desempeño funcional de las he-rramientas. Este concepto incluye no sólo el análisis delas interfaces, sino también su relación con la capacidadde un usuario determinado para ejecutar tareas concre-tas en un contexto dado.

Existe una gama amplia de métodos de análisis y eva-luación de usabilidad, provenientes del campo de estu-dio llamado interacción humano-computadora. Uno de elloses la evaluación heurística. Para ejemplificar el análisis deusabilidad se seleccionó este método:

LA EVALUACIÓN HEURÍSTICA. Aunque mide conceptos o princi-pios generales y no incluye la participación de usuariosfinales, la evaluación heurística es un método relativa-mente rápido y fácil de aplicar, que requiere de pocosrecursos y produce resultados notables en la identifica-ción de problemas comunes de usabilidad. El métodorequiere de varios evaluadores, expertos en el diseño de inter-fases (tres, idealmente), quienes llevan a cabo inspeccio-nes independientes de las herramientas, enfocándose enpuntos críticos que han sido reconocidos como fuentesde problemas en muchos estudios de usabilidad realiza-dos con diferentes técnicas y usuarios finales. Estos pun-tos críticos componen una lista de principios o heurísticos

PRIMAVERA 2003 Decisio 53

básicos de usabilidad que el evaluador usa como guía com-parativa. Es ya clásica la heurística de Nielsen (1994) queincluye principios de diseño aceptados ampliamente (véa-se la Tabla I, 1ª y 2ª columnas); aunque, en la práctica, unequipo de evaluadores puede desarrollar heurísticos adi-cionales, específicos del contexto de cada herramientaevaluada. Para concluir la evaluación, los reportes de losdistintos expertos son considerados globalmente, con elfin de maximizar las oportunidades de identificar ade-cuadamente cualquier problema de usabilidad.

Para evaluar herramientas con propósitos educativos,otro teórico del diseño, Quinn (1996), propuso un modeloque incluye, además de la evaluación de heurísticos deldiseño de interfaces, la inspección de heurísticos que hansido desarrollados especialmente por expertos en eldiseño educativo y en los contenidos instruccionales(véase Tabla II, 1ª y 2ª columnas). Esta heurísticacomprende una compilación de elementos de diseño edu-cativo, basados en teorías educativas actuales, como el

aprendizaje colaborativo, el aprendizaje mediado por latecnología, la resolución de problemas, etc. Los elementosfueron elegidos porque, a pesar de sus diferencias, sonprincipios constructivistas que comparten característicascomunes, como el compromiso del estudiante en lasecuencia de actividades y la reflexión guiada.

UN EJEMPLO: LOS SALTOS DE LOS MUCHACHOS. Para ilustrar losmétodos de evaluación heurística descritos anteriormen-te, tomaremos la Actividad 4, de la Unidad 1, titulada"Los saltos de los muchachos", del curso Fracciones yporcentajes (www.conevyt.org.mx/cursos/fracciones/curso.htm) perteneciente al eje de matemáticas del Mode-lo Educación para la Vida y el Trabajo, nivel avanzado. Lapremisa pedagógica del curso es que se parte de situacio-nes que se dan en la vida diaria para desarrollar nuevosaprendizajes. Recomendamos al lector interesado con-sultar la página de Internet correspondiente para seguirel razonamiento de la evaluación.

TTTTTABLAABLAABLAABLAABLA I. E I. E I. E I. E I. EVVVVVALUACIÓNALUACIÓNALUACIÓNALUACIÓNALUACIÓN HEURÍSTICAHEURÍSTICAHEURÍSTICAHEURÍSTICAHEURÍSTICA DEDEDEDEDE LALALALALA I I I I INTERFNTERFNTERFNTERFNTERFAZAZAZAZAZ G G G G GRÁFICARÁFICARÁFICARÁFICARÁFICA DEDEDEDEDE U U U U USUARIOSUARIOSUARIOSUARIOSUARIO ( ( ( ( (IGUIGUIGUIGUIGU) () () () () (BASADABASADABASADABASADABASADA ENENENENEN N N N N NIELSENIELSENIELSENIELSENIELSEN)))))

Criterio

Asegura la visibilidad del es-tado del sistema

Maximiza la correspondenciaentre el sistema y el mundo real

Maximiza el control y la li-bertad del usuario

Descripción

La IGU mantiene al usuarioinformado sobre las accio-nes que realiza el sistema(como tiempo de descarga),a través de avisos adecuadosy a tiempo.

La IGU habla el lenguaje delusuario. La informaciónaparece en un orden lógicoy natural.

El usuario puede salir de lo-caciones y deshacer errores.

Evaluación

Como las funciones de este curso en línea son limitadasy no incluyen procesamiento de datos, este heurístico nose aplica, salvo en el caso de la descarga de animaciones,donde no existen elementos gráficos que indiquen el es-tado o tiempo de descarga de la animación; esta informa-ción es importante para usuarios con conexiones lentas(ya sea que se trate de usuarios de los centros comunita-rios o usuarios remotos).

Algunos términos, acomodos y representaciones podríanno ser adecuadas para la diversidad de usuarios a los queel sistema está dirigido. Aunque existen algunas definicio-nes de términos en la sección de ayuda, se recomiendaincluir un glosario técnico y de contenido con una liga deacceso siempre visible. También se recomienda realizaruna evaluación con los usuarios de distintos grupos paradefinir si la información usada está organizada en la for-ma adecuada.

Se recomienda no utilizar líneas de código (scripts) paraabrir ventanas nuevas al oprimir botones, ya que, si la ven-tana nueva cubre totalmente la ventana original, el usua-rio puede no percatarse de que se trata de una ventanadiferente y confundirse sobre cómo regresar a la anterior.Si se desea utilizar este código, se recomienda reducir eltamaño de las ventanas para que el usuario se de cuentasiempre de que ha abierto una ventana nueva.

54 Decisio PRIMAVERA 2003

Criterio

Maximiza la consistencia y lacoincidencia con estándares

Previene errores

Apoya el reconocimiento, másque la memoria

Permite flexibilidad y eficien-cia de uso

Usa un diseño estético y mini-malista

Descripción

El usuario no tiene que pre-guntarse si diferentes pala-bras, situaciones o accionessignifican lo mismo. Se si-guen estándares de opera-ción del sistema y de diseñode interfaces para aprove-char el conocimiento previodel usuario y facilitar la com-prensión de los elementosde la interfaz.

La IGU provee de guías quereduzcan el riesgo de que elusuario cometa errores.

Los objetos, funciones y/oopciones de la IGU están vi-sibles. El usuario no tieneque recurrir a la memoria. Lainformación está visible o esfácilmente accesible en elmomento en que el usuariola necesita.

La IGU permite al usuariorecurrente o experimentadousar atajos y ajustar el entor-no según su conveniencia.Así mismo es lo suficiente-mente intuitivo como paraque el usuario novato puedautilizarlo sin necesidad deentrenamiento especial oayuda de instructores.

La IGU provee de un entor-no atractivo y no despliegainformación irrelevante o deuso poco frecuente.

Evaluación

Algunos botones no siguen estos estándares. Por ejem-plo, el icono usado para representar la acción de regresares ya un estándar de la función recargar (reload). El iconousado para Portal es una representación universal de arri-ba. Por otro lado, algunas funciones de la interfaz tienensignificados muy similares: regresar y anterior resultan con-fusos si el usuario no ha leído la sección de ayuda. Tam-bién es recomendable usar siempre verbos para los boto-nes de acción de los ejercicios: Iniciar, Continuar, Inten-tar de Nuevo, Concluir, etc.

Contiene guías generales para evitar errores en la secciónde ayuda. Sin embargo, se recomienda incluir instruccio-nes explícitas de uso en cada recuadro de cada lecciónpara facilitar la interacción y evitar errores comunes.

Las interfases apoyan el reconocimiento y reducen la ne-cesidad de recordación. Para reforzar este heurístico serecomienda numerar los recuadros de lecciones (por ejem-plo: "1 de 5") con ligas para saltar entre ejercicios. Tam-bién se recomienda incluir índices o menús y submenússiempre visibles con opciones de acceso directo a unida-des y temas.

La IGU sí permite esta flexibilidad; sin embargo, se reco-mienda incluir atajos tales como menús siempre visiblescon acceso directo a los distintas unidades y/o temas, parafacilitar el salto entre lecciones. Se recomienda evitar eluso de ventanas internas (frames) ya que éstas restan con-trol al usuario, impidiéndole señalarlas adecuadamente ensu lista de favoritos y dificultando la impresión de las mis-mas (en algunas versiones de navegadores inclusive la im-pide). Es importante que el usuario novato no dependatanto del instructor ni del ajuste de preferencias del nave-gador para visualizar y usar las interfaces.

El diseño es simple y claro, sin embargo se usa una granvariedad de estilos en las imágenes de las lecciones. Serecomienda la consistencia de estilos gráficos en los re-cuadros de lecciones y ejercicios.

PRIMAVERA 2003 Decisio 55

Criterio

Ayuda al usuario a reconocer,diagnosticar y corregir errores

Provee de ayuda e información

Permite el acceso universal

Descripción

Los mensajes de error seexpresan en lenguaje llano,indican claramente el pro-blema y recomiendan unasolución.

La IGU provee de ayuda enlínea adecuada, y de docu-mentación fácilmente acce-sible y relacionada con lasnecesidades del usuario.

La IGU permite el acceso ausuarios con diferentes pla-taformas tecnológicas (nave-gadores, sistemas operati-vos, etc.), distintos entornos,o con discapacidades.

Evaluación

La mayoría de los mensajes de error dependerán del na-vegador usado (por ejemplo, "javascript error") y la IGU delos cursos carece de información suficiente que ayude alusuario a interpretar este tipo de mensajes o a lidiar conotros problemas relacionados con la tecnología empleada(como que la página no se descargue, que no se vea unaimagen, que se caiga la conexión, etc.). Se recomienda in-cluir una lista de problemas técnicos con opciones de so-lución o de preguntas frecuentes.

La IGU contiene la ayuda adecuada para la navegación; sinembargo, se recomienda incluir instrucciones pertinentesen el mismo sitio, para cada interacción que se pueda rea-lizar en los recuadros de las lecciones. En caso de que elcurso pretenda llegar también a usuarios remotos (queaccedan al sistema fuera de los centros comunitarios) lainterfaz no contiene información sobre acceso a descar-ga de programas conectores (plug-ins) necesarios para vi-sualizar las animaciones del programa Flash. Si la des-carga de los conectores es automática, la interfaz debeasegurar la visibilidad del estatus del sistema al descargar.

La IGU no es accesible en algunas plataformas. En el casode los centros comunitarios esto puede no ser un proble-ma, siempre y cuando todos los centros utilicen el mis-mo tipo de equipo, versión de navegador y sistema opera-tivo. En caso de que el curso pretenda llegar a usuariosremotos (que accedan al sistema fuera de los centros), serecomienda hacer pruebas en diferentes navegadores paraasegurar que las líneas de programación en lenguaje Java(javascripts) y las animaciones en el programa Flash (swf)corran adecuadamente. Las imágenes no tienen etiquetasque permitan su interpretación por software lector parainvidentes. Es recomendable no usar el color como undiferenciador entre opciones o imágenes para asegurarque usuarios daltónicos comprendan adecuadamente loselementos de la interfaz.

56 Decisio PRIMAVERA 2003

TTTTTABLAABLAABLAABLAABLA II: E II: E II: E II: E II: EVVVVVALUACIÓNALUACIÓNALUACIÓNALUACIÓNALUACIÓN HEURÍSTICAHEURÍSTICAHEURÍSTICAHEURÍSTICAHEURÍSTICA EDUCAEDUCAEDUCAEDUCAEDUCATIVTIVTIVTIVTIVAAAAA ( ( ( ( (BASADABASADABASADABASADABASADA ENENENENEN Q Q Q Q QUINNUINNUINNUINNUINN) ) ) ) ) DEDEDEDEDE LALALALALA U U U U UNIDADNIDADNIDADNIDADNIDAD I: U I: U I: U I: U I: USOSOSOSOSO YYYYY COMPCOMPCOMPCOMPCOMPARACIÓNARACIÓNARACIÓNARACIÓNARACIÓN DEDEDEDEDE FRACCIONESFRACCIONESFRACCIONESFRACCIONESFRACCIONES.....AAAAACTIVIDADCTIVIDADCTIVIDADCTIVIDADCTIVIDAD 5: L 5: L 5: L 5: L 5: LOSOSOSOSOS SALSALSALSALSALTOSTOSTOSTOSTOS DEDEDEDEDE LOSLOSLOSLOSLOS MUCHACHOSMUCHACHOSMUCHACHOSMUCHACHOSMUCHACHOS

Criterio

Objetivos y metas claros

Contexto significativo para elcampo y para el estudiante

Representaciones múltiples yclaras del contenido con posibi-lidades de accesos múltiples

Actividades de andamiaje

Consigue la comprensión del es-tudiante

Descripción

La herramienta educativadeja claro al estudiante quées lo que va a lograr y cuálserá la ganancia por usarlo.

Las actividades en la herra-mienta están situadas en lapráctica e interesarán y en-gancharán al estudiante.

El mensaje en la herramien-ta no es ambiguo. La herra-mienta apoya las preferen-cias del estudiante respectoa las diferentes rutas de ac-ceso. El estudiante es capazde encontrar informaciónrelevante cuando se concen-tra en la actividad.

La herramienta suministraayuda para las actividades delestudiante y le permite tra-bajar dentro de sus compe-tencias actuales al mismotiempo que lo enfrenta confragmentos significativos deconocimiento.

La herramienta exige al es-tudiante articular sus com-prensiones conceptualescomo punto de partida parala retroalimentación.

Evaluación

En la presentación del curso y en la presentación de laUnidad I aparecen los objetivos respectivos; sin embar-go, al inicio de la actividad no hay ninguna indicación delo que el estudiante obtendrá. Al final de la actividad hayuna aviso de lo que se supone que el estudiante aprendió,(a comparar décimos, unidades divididas en diez partesiguales) pero no tiene una referencia directa con los obje-tivos del curso o de la unidad.

La comparación entre las cantidades (que es el objetivocentral de la actividad) se advierte a simple vista, no esnecesario ninguna otra forma de representación (en par-ticular, no se requiere llegar a las fracciones decimalescomo pretende la actividad). La introducción de la activi-dad es artificial, ya que no se trata de una actividad naturalde la vida cotidiana.

No hay rutas alternas ni complementarias para realizar laactividad. La actividad no exige del usuario la búsquedade información relevante.

La actividad no representa un reto para el estudiante; puederesolverse usando solamente conceptos establecidos tiem-po atrás, como el orden en los números naturales de unasola cifra.

No existe ninguna exigencia para que el estudiante recu-rra a otros conocimientos, ni que ponga en juego diver-sos acercamientos.

PRIMAVERA 2003 Decisio 57

Criterio

Evaluación formativa

El desempeño debe ser "referi-do a criterio"

Soporte para la transferenciay la adquisición de habilidadesde autoaprendizaje.

Soporte para el trabajo cola-borativo

Descripción

La herramienta proporcionaal estudiante una retroali-mentación constructiva ensu entorno.

La herramienta produciráresultados claros y mediblesque servirán de base parauna evaluación basada encompetencias.

La herramienta favorece latransferencia de habilidadesmás allá del ambiente deaprendizaje y facilitará que elestudiante se vuelva capaz demejorar por sí mismo.

La herramienta proveeoportunidades y ayuda parael aprendizaje a través de lainteracción con otros, la dis-cusión y otras actividadescolaborativas.

Evaluación

En las pantallas que requieren de alguna acción del estu-diante, la retroalimentación se reduce a: "ensayo y error"sin que medie una indicación acerca del tipo de error co-metido, con lo que la oportunidad de aprender del errorse reduce.

La actividad da una medición del desempeño referida acriterio; sin embargo, el corte corresponde a un nivel muybajo de complejidad cognitiva.

Las habilidades que la actividad desarrolla, en tanto queestán ya establecidas en este nivel de escolaridad, no sonningún problema para la transferencia a otros contextos.

No las promueve, aunque no las impide.

RRRRRECOMENDACIONESECOMENDACIONESECOMENDACIONESECOMENDACIONESECOMENDACIONES

La evaluación heurística supone la participación de expertos encada una de los aspectos que se analizan, y los resultados de ellaestán dirigidos a los especialistas encargados de la producciónde las herramientas tecnológicas; así, la Tabla I contiene las reco-mendaciones dirigidas al diseñador (o a los diseñadores) de lainterfaz, mientras que la Tabla II va dirigida al equipo de peda-gogos y matemáticos responsables de la selección y diseño delcontenido. De esta forma, aunque la evaluación supone un pro-yecto integral, tanto las recomendaciones como las modificacio-nes deben ser llevadas a cabo por el o los expertos respectivos.

58 Decisio PRIMAVERA 2003

Lecturas sugeridas

CONEVyT, 2002, Programa de mediano plazo 2001-2006, Con-sejo Nacional Para la Vida y el Trabajo, México.www.conevyt.org.mx

NIELSEN, J.,1994, "Heuristic Evaluation" en Jacob Niel-sen and Robert L. Mack (editors), Usability Inspection Me-thods, New York, John Wiley and Sons, Inc., pp. 25-61.

QUINN, C. N., 1996, "Pragmatic evaluation: lessons fromusability" en A. Christie, P. James & B. Vaughan (eds.)Proceedings of ASCILITE 96, 13th Annual Conference of theAustralasian Society for Computers in Learning in Ter-tiary Education, Australasian Society for Computers inLearning in Tertiary Education, Adelaida, pp. 437-446.

BOURGES, P., 2000, "Interacción hombre-computadora"en Ciencia y Desarrollo, Vol. XXVI, Num. 151, marzo-abril2000, pp. 54-59.www.conacyt.mx/rcyd

FLORÍA CORTÉS, A., 2000, Recopilación de métodos de usabili-dad, Área de Ingeniería de Proyectos, Departamento deIngeniería de Diseño y Fabricación, Centro PolitécnicoSuperior, Universidad de Zaragoza.Disponible en Internet en: www.sidar.org/recur/desdi/traduc/es/visitable/Herramientas.htm (Consultado el02/02/2003).e-mail: alejandrofc@sidar.org

Podemos ser pesimistas en el pensamiento, pero optimistas enla voluntad.

Antonio Gramsci, líder y teórico político italiano, 1891-1937.