Grupo 2
Evaluación de Productos
Grupo 2
Agenda
• Introducción• Norma ISO/IEC 14598• Proceso para Evaluadores
Grupo 2
Evaluación de Productos• Importancia de evaluar productos• Para la evaluación de calidad:
– Modelo de calidad– Método de evaluación– Medición del software– Herramientas de soporte
Grupo 2
Norma ISO/IEC 14598• Conformada por:
– 1: Descripción General– 2: Planificación y gerenciamiento– 3: Proceso para Desarrolladores– 4: Proceso para Adquirientes– 5: Proceso para Evaluadores– 6: Documentación de Módulos de evaluación
Grupo 2
Norma ISO/IEC 14598-1• Descripción General
– Descripción de las partes que conforman la norma– Quienes la pueden usar
• Desarrolladores
• Adquirientes
• Evaluadores
Grupo 2
Norma ISO/IEC 14598-2• Planificación y Gerenciamiento
– Determinar requerimientos para asegurar el éxito de la evaluación
– Función de soporte al proceso de evaluación:• Adquisición de estandares nacionales e internacionales
• Desarrollo de estandares internos y herramientas que se adecuan a los requerimientos de la organización
Grupo 2
Norma ISO/IEC 14598-3• Define Proceso de evaluación de producto para
Desarrolladores– Evaluación para Desarrollo y Mantenimiento– Aplica a todas las fases del desarrollo– Se realiza por miembros de la propia empresa– Se evalúa productos intermedios y finales
Grupo 2
Norma ISO/IEC 14598-4• Define Proceso de evaluación de producto para
Adquirientes– Evaluación de productos ya desarrollados– La evaluación resultante de este proceso se aplica
para la toma de decisiones de la adquisición del producto.
Grupo 2
Norma ISO/IEC 14598-5• Define Proceso de evaluación de producto para
Evaluadores– Realizado por personal independiente– Evaluación de productos intermedios y finales
Grupo 2
Norma ISO/IEC 14598-6• Guía para Documentación de Módulos de
evaluación– Modulo de evaluación: estandarización para
documentar nuevas métricas y guias de uso– Se documentan las técnicas, métricas y métodos del
proceso de evaluación– Ej.;Definición de Templates
Grupo 2
Producto de software
Proceso deevaluación
Recursos yentorno
Efecto delproductosoftware
Apoyo a laevaluación
Proceso deevaluación
MétricasInternas
Métricasexternas
Métricas decalidad en
uso
14598-2
14598-6
14598-3
14598-4
14598-5
14598-1
9126-3 9126-2 9126-4
9126-1
ISO/IEC 14598 - ISO/IEC 9126
Grupo 2
Agenda
• Introducción• Norma ISO/IEC 14598
• Proceso para Evaluadores
Grupo 2
Proceso para evaluadores• Define un proceso de evaluación
– Actividades– Entregables
• Debería ser usado por:– Laboratorios evaluadores– Empresas desarrolladoras de software– Adquirientes de software– Usuarios de un producto– Entidades certificadoras
Grupo 2
Proceso para evaluadores (2)• Promueve las siguientes características:
– Repetible– Reproducible– Imparcial– Objetivo
Grupo 2
aEstablecimiento de los Requerimientos
Grupo 2
• Propósito– Definir los objetivos de la evaluación.
- Proyectar uso del producto de software y riesgos asociados.
- Puede ser interesante considerar diferentes puntos de vista (desarrollador, proveedor,
encargado de mantenimiento, etc)
Establecimiento de los Requerimientos
Grupo 2
Caja AmpliadaEstablecimiento de los Requerimientos
Grupo 2
Entradas• Requerimientos del Solicitante
– Aspectos del producto a gran escala que el Solicitante quiere evaluar.
Grupo 2
Actividades a desarrollar
• Planteo de requerimientos del Solicitante. • Definición del cubrimiento de la evaluación por
parte del Solicitante. • Orientación del Evaluador hacia el Solicitante en
la definición de requerimientos.• Acuerdo mutuo en la definición de
requerimientos.
Grupo 2
Salidas• Requerimientos de la Evaluación
– Descripción general del dominio de la aplicación– Listado de requerimientos de calidad a evaluar (se
recomienda basarse en ISO/IEC 9126-1)– Ponderar reqs. de calidad en función del tipo de
aplicación a evaluar
Grupo 2
• Producto a Evaluar: Gmail• Evaluación de Interfaz en las sig. tareas
• Envio de mail• Uso de Chat• Armado de grupos• Redireccionamiento a otra casilla de correo
• Atributos de calidad• Efectividad• Productividad• Satisfaccion
Ejemplo: Reqs de la Evaluación
Grupo 2
Especificación de la Evaluación
Grupo 2
Especificación de la Evaluación
• Propósito– Especificar las mediciones a realizar acerca de los
atributos anteriormente seleccionados.– Brindar un nivel de detalle suficiente como para
asegurar que el proceso sea repetible y reproducible.
Grupo 2
Especificación de la Evaluación
Grupo 2
Entradas• Requerimientos de Evaluación (etapa anterior)• Descripción del Producto (Solicitante)• Especificaciones Predefinidas (Evaluador)
– Conjunto de posibles mediciones a realizar sobre un cierto atributo de calidad
Grupo 2
Actividades a desarrollar
• Análisis de la descripción del producto– Determinación de los componentes a ser evaluados y
estudio de factibilidad.
• Especificación de las evaluaciones– Especificación de que atributos de calidad van a ser
evaluados por componente.– Especificación de las métricas a ser utilizadas en
ciertos componentes (Evalúo midiendo).– Determinación de requerimientos a ser testéados.
(Evalúo testeando).
Grupo 2
Actividades a desarrollar (2)
• Verificación de la Especificación de la Evaluación– Verificar el cubrimiento de los Reqs. de evaluación con
respecto a la Especificación de la Evaluación.
Grupo 2
Salidas• Especificación de la Evaluación
– Resultado de las actividades anteriormente mencionadas.
Grupo 2
• Evaluaremos los siguientes atributos de calidad:– Efectividad– Productividad– Satisfacción
Ejemplo: Esp. de la Evaluación
Grupo 2
Ejemplo: Esp. de la Evaluación
• Efectividad– % funciones relevantes usadas– % de usuarios capaces de completar cada tarea– % de usuarios capaces de completar una tarea sin
capacitación
Grupo 2
Ejemplo: Esp. de la Evaluación
• Productividad– Tiempo insumido en primer intento – Tiempo insumido normalmente– Cantidad de clicks necesarios
Grupo 2
Ejemplo: Esp. de la Evaluación
• Satisfacción– Relación entre opiniones positivas y negativas de los
usuarios– % de usuarios que recomendarían el producto– % de usuarios que lo califican de fácil uso en
comparación con otro competidor
Grupo 2
Diseño de la Evaluación
Grupo 2
Diseño de la Evaluación
• Propósito– Documentar los métodos y procedimientos a ser
usados en la evaluación– Identificar los recursos a ser utilizados en la evaluación
Grupo 2
Diseño de la Evaluación
Grupo 2
Entradas• Especificación de la Evaluación (etapa anterior)• Descripción del Producto (Solicitante)• Métodos de Evaluación (Evaluador)
– Conjunto de técnicas y procedimientos conocidos por el Evaluador.
Grupo 2
Actividades a desarrollar• Documentación de los métodos y
procedimientos en un plan inicial.– Para cada evaluación a realizar, se deberá describir en
forma detallada el método a ser usado y como este va a ser instanciádo.
• Agendar las actividades a realizar de acuerdo a los recursos disponibles.
• Optimización del plan inicial.
Grupo 2
Salidas• Plan de la Evaluación
– Métodos a seguir– Agenda.
Grupo 2
Ejemplo: Diseño de la Evaluación
• Plan de Evaluación– Encuestas
• % de usuarios que recomendarían el producto.
– Cronómetro• Tiempo insumido en primer intento.
– Contar clicks• Cantidad de clicks necesarios.
Grupo 2
Ejecución de la Evaluación
Grupo 2
Ejecución de la Evaluación
• Propósito– Llevar a cabo el plan definido en el diseño registrando
los resultados obtenidos y las acciones tomadas.
Grupo 2
Ejecución de la Evaluación
Grupo 2
Entradas• Plan de la Evaluación (etapa anterior)• Componentes del Producto (Solicitante)• Herramientas de Evaluación (Evaluador)
Grupo 2
Actividades a desarrollar• Gestión de los componentes del producto
– Llevar registro de los componentes de producto recibidos.
• Identificador único de componente o documento
• Nombre del documento o componente
• Estado del documento (en buen estado, dañado, etc)
• Versión
• Fecha de recibido
– En caso de ser necesario se podra usar Gestión de la Configuración
Grupo 2
Actividades a desarrollar (2)• Gestión de resultados obtenidos
– Manejo ordenado– Prevención de modificaciones accidentales– Manejo de la confidencialidad– Tener en cuenta el lugar de desarrollo de la evaluación
Grupo 2
Actividades a desarrollar (3)• Gestión del uso de herramientas
– Inclusión en el Informe borrador de la evaluación información acerca de las herramientas utilizadas
– Inclusión en el registro de acciones de información detallada sobre el uso de herramientas
– Verificación del correcto funcionamiento de las herramientas
– Capacitación (en caso de ser necesario) en el uso de las herramientas.
Grupo 2
Actividades a desarrollar (4)• Revisión de los datos obtenidos y generación de
reportes– Todos los resultados deben ser analizados– Participación de integrantes no involucrados
directamente en la medición de los resultados– Resultados de la revisión se deben incluir en el
Informe Borrador de la Evaluación
Grupo 2
Salidas• Plan de la Evaluación
– Informe Borrador de la Evaluación– Registros de Acciones
Grupo 2
Conclusión de la Evaluación
Grupo 2
Conclusión de la Evaluación
• Propósito– Revisión conjunta (Solicitante, Evaluador) del Informe
Borrador de la Evaluación– Eliminación de los datos no relevantes de la
evaluación
Grupo 2
Conclusión de la Evaluación
Grupo 2
Entradas• Requerimientos de la Evaluación (etapas
anteriores)• Especificación de la Evaluación(etapas
anteriores)• Informe Borrador de la Evaluación(etapa
anterior)• Componentes del Producto (Solicitante)
Grupo 2
Actividades a desarrollar• Revisión conjunta
– Puesta en común de los resultados documentados– Comentarios del solicitante– Generación del Informe Final de la Evaluación, la cual
incluye la integración de los documentos de entrada
• Cierre de la evaluación– Destino de los datos, documentos, componentes,
herramientas, hw, etc.
Grupo 2
Salidas del Proceso• Informe Final de la Evaluación
– Resultado de las actividades anteriormente mencionadas.
– Entregado al Solicitante y almacenado por parte del Evaluador
Grupo 2
Salidas del Proceso• Registros de la Evaluación
– Almacenado solo por el Evaluador– Es lo permite que el proceso sea repetible y
reproducible.
Grupo 2
Preguntas
Top Related