Metodología WebQEM Fases, Modelos y Herram. Método Heurístico ConclusionesContenidos Parte IV...

• Metodología WebQEM • Fases, Modelos y Herram.

• Método Heurístico• Conclusiones

Contenidos Contenidos Parte IVParte IV

Dr. Luis Olsina Luis Olsina

GIDIS_Web, Dpto. de Informática,GIDIS_Web, Dpto. de Informática,

Facultad de Ingeniería, UNLPamFacultad de Ingeniería, UNLPam

E-mail E-mail [email protected]@ing.unlpam.edu.ar

©© 2007 GIDIS_Web 2007 GIDIS_Web

Ingeniería Web: Ingeniería Web: Marco de Marco de

Medición y Evaluación de CalidadMedición y Evaluación de Calidad

Curso de Posgrado Universidad Nacional de San Luis / La Rioja / Catamarca

mailto://[email protected]

EsquemaEsquema

• Una Metodología de Inspección: Una Metodología de Inspección: WebQEMWebQEM

• Otro Método: Método HeurísticoOtro Método: Método Heurístico• ConclusionesConclusiones

Taxonomía de Métodos de EvaluaciónTaxonomía de Métodos de Evaluación

-- Testing-- Testing-- -- InspecciónInspección-- Consulta, ...-- Consulta, ...

-- Análisis de Log Files -- Análisis de Log Files -- Evaluación Heurística-- Evaluación Heurística-- -- Evaluación de CaracterísticasEvaluación de Características, ..., ...

-- Manual-- Manual-- Semi-Automático-- Semi-Automático-- Automático-- Automático

FaseFase

-- Requerimientos-- Requerimientos-- Captura-- Captura-- Análisis-- Análisis-- Recomendaciones-- Recomendaciones

-- Fácil de Usar, Aprender-- Fácil de Usar, Aprender-- Efectivo, Preciso-- Efectivo, Preciso-- Rango de Aplicabilidad-- Rango de Aplicabilidad

Clase de MétodoClase de Método

TaxonomíaTaxonomíade Métodos dede Métodos deEvaluaciónEvaluación

Tipo de MétodoTipo de Método

Tipo de AutomatizaciónTipo de Automatización

Nivel de EsfuerzoNivel de Esfuerzo

Ejemplo de Método de EvaluaciónEjemplo de Método de Evaluación

-- Inspección-- Inspección

-- Evaluación de Características-- Evaluación de Característicasy atributosy atributos

-- Manual-- Manual-- Automático-- Automático

FaseFase

-- Análisis-- Análisis-- Recomendaciones-- Recomendaciones

-- Medianamente Fácil de Usar-- Medianamente Fácil de Usar-- Efectivo-- Efectivo


WebQEMWebQEM




MotivacionesMotivaciones

No había una No había una Metodología Cuantitativa Metodología Cuantitativa ampliamente reconocida para la evaluación de ampliamente reconocida para la evaluación de WebApps, en el tipo de Métodos de Inspección por WebApps, en el tipo de Métodos de Inspección por Características.Características.

» Al menos hasta 1998 - Al menos hasta 1998 - WebQEMWebQEM» (2000) (2000) WebQUAL, 2QCV2Q ...WebQUAL, 2QCV2Q ...

Los procesos de Evaluación y Medición para que Los procesos de Evaluación y Medición para que sean efectivos requieren no sólo soporte sean efectivos requieren no sólo soporte metodológicometodológico sino también sino también tecnológico.tecnológico.

Problemática en la EvaluaciónProblemática en la Evaluación

¿La ¿La Evaluación de la CalidadEvaluación de la Calidad, está basada en , está basada en modelos y métricasmodelos y métricas de calidad, o está librada de calidad, o está librada a la a la intuición y subjetividadintuición y subjetividad de los de los evaluadores?evaluadores?

¿Los procedimientos de valoración de atributos ¿Los procedimientos de valoración de atributos y características, están centrados en y características, están centrados en modelos modelos de agregación y métodos cuantitativosde agregación y métodos cuantitativos de de cálculo, o en cálculo, o en modelos cualitativosmodelos cualitativos? ?

Problemática en la EvaluaciónProblemática en la Evaluación

¿Las decisiones fundamentales de la evaluación están ¿Las decisiones fundamentales de la evaluación están centradas y dirigidas por el centradas y dirigidas por el juicio de expertosjuicio de expertos, o por el, o por el juicio de los usuariosjuicio de los usuarios??

¿El ente a valorar, puede ser considerado ¿El ente a valorar, puede ser considerado simple o simple o complejocomplejo, desde el punto de vista de la evaluación?, desde el punto de vista de la evaluación?

¿Cuáles son los ¿Cuáles son los componentes objetivos y subjetivoscomponentes objetivos y subjetivos en el proceso de evaluación? ¿Los subjetivos pueden en el proceso de evaluación? ¿Los subjetivos pueden ser minimizados?ser minimizados?

Propuesta de WebQEMPropuesta de WebQEM

Evaluar y Comparar la Calidad de Artefactos Web Evaluar y Comparar la Calidad de Artefactos Web – más o menos complejosmás o menos complejos

Basada en Modelos y Métricas de calidadBasada en Modelos y Métricas de calidad– Modelo de Calidad ISO (modelo mixto)Modelo de Calidad ISO (modelo mixto)– Cuantificar atributos directos e indirectos Cuantificar atributos directos e indirectos

Basada en modelos de Agregación de Atributos y Basada en modelos de Agregación de Atributos y CaracterísticasCaracterísticas

– Modelo de cálculo meramente aditivoModelo de cálculo meramente aditivo– Modelo de cálculo multi-atributo no lineal Modelo de cálculo multi-atributo no lineal

Centrada en el juicio de evaluadores expertos en el Centrada en el juicio de evaluadores expertos en el dominiodominio

Permita Trazabilidad en el proceso de evaluaciónPermita Trazabilidad en el proceso de evaluación– Favorezca seguimiento y justificación de resultadosFavorezca seguimiento y justificación de resultados

Propuesta de Metodología Integral, Sistemática y Propuesta de Metodología Integral, Sistemática y Cuantitativa centrada en principios de ISCuantitativa centrada en principios de IS

– para evaluar la Calidad de Aplicaciones Web para evaluar la Calidad de Aplicaciones Web

““Si no sabemos dónde estamos parados un mapa no ayuda”Si no sabemos dónde estamos parados un mapa no ayuda”– Evaluar, para realizar recomendacionesEvaluar, para realizar recomendaciones

Propuesta de WebQEMPropuesta de WebQEM

Definición de los Requerimientos de CalidadDefinición de los Requerimientos de Calidad» Metas de EvaluaciónMetas de Evaluación» Perfil de Usuario (gerente, desarrollador, visitante)Perfil de Usuario (gerente, desarrollador, visitante)» Definición de Requisitos No-funcionalesDefinición de Requisitos No-funcionales

Evaluación ElementalEvaluación Elemental» Considerando etapas de Diseño e ImplementaciónConsiderando etapas de Diseño e Implementación

Evaluación Parcial/GlobalEvaluación Parcial/Global» Considerando etapas de Diseño e ImplementaciónConsiderando etapas de Diseño e Implementación

Conclusión de la EvaluaciónConclusión de la Evaluación» Considerando RecomendacionesConsiderando Recomendaciones

Propuesta de WebQEM: Propuesta de WebQEM: FasesFases

““Si no sabemos dónde estamos parados un mapa no ayuda”Si no sabemos dónde estamos parados un mapa no ayuda”

Fases de WebQEMFases de WebQEM

Se le cció nd e l

D o m in io

W e b- S1

W e b- S2

W e b- Sn

Pu n to d e Vis tad e l U s u a rio

Car

acte

ríst

icas

y A

trib

utos

del

Arb

ol d

e R

equ

erim

ient

os

Atr

ibut

os C

uant

ifica

bles

X 1

X n

A 1

A n

F ( X 1 )

F ( X n )

Pre

fere

nci

as

Ele

me

nta

les

I E n

I E 1

Mo d e lod e

Sco rin g(L SP)

F

unci

ón d

e C

riter

io E

lem

enta

l

E v a lu ac ió n y C o m p ar ac ió n

100 %

50%

0

R an k in g F in al d e lo s A rt efact o s W eb

I G - S iMe ta s

D e fin ic ió n y Es p e cifica ció nd e R e q u e rim ie n to s

Eva lu a ció n E le m e n ta l:D e fin ic ió n e Im p le m e n ta ció n

Eva lu a ció n G lo b a l:D e fin ic ió n e Im p le m e n ta ció n

An á lis is d e R e s u lta d o s , C o n clu s io n e s y D o cu m e n ta ció n

P la n ifica ció n y P ro g ra m a ció n d e la Eva lu a ció n

Mar

gina

lU

nsa

tisf

acto

rySa

tisf

acto

ry

100 %

50%

0

W e b- S2

W e b- Sn

W e b- S1

Q u ality R eq u ir em en tsD ef in it io n

M e tric D e fin ition E le m e nta ryIndic a tor D e fin ition

G loba l Indic a torD e fin ition

M eas u r em en tI m p lem en ta tio n

E lem en tar y I n d ic a to rI m p lem en ta tio n

G loba l Indic a torIm ple m e nta tion

Re q u ire me n tsS p e c ific a t io n

IS O / IEC 9126-1 Q u a lity M o d e ls o r o w n -d e fin e d W e b Q u a lity M o d e ls

W e b A u d ie n c e 's N e e d s Co n te xtu a lD e c is io nCrit e ria

M e a s u reVa lu e

In d ic a to rVa lu e

Des

ign

o

fth

e E

val

uat

ion

D o c um e ntat io n / C o nc lus io n o f the E valuat io n

F in a lRe s u lt s

Rec

om

men

dat

ion

s

N on-func tiona l R e quire m e nts E le m e nta ry E va lua tion P a rtia l/G loba l E va lua tion

W e b P ro d u c tD e s c rip t io n s

Ev a lu a t io nGo a l

Ex

ecu

tio

n o

fth

e E

val

uat

ion

Ele me n ta ryIn d ic a to rS p e c ific a t io n

W e b P ro d u c tCo mp o n e n t s

Glo b a lIn d ic a to rS p e c ific a t io n

M e t ricS p e c ific a t io n

El Modelo de Calidad El Modelo de Calidad ISO 9126-1ISO 9126-1

Software

Quality

Software

Quality

ReliabilityReliability

Suitability

Accuracy

Interoperability

Security

Compliance

Suitability

Accuracy

Interoperability

Security

Compliance

FunctionalityFunctionality

Maturity

Fault Tolerance

Recoverability

Compliance

Maturity

Fault Tolerance

Recoverability

Compliance

Understandability

Learnability

Operability

Attactiveness

Compliance

Understandability

Learnability

Operability

Attactiveness

Compliance

Time behaviour

Resource utilization

Compliance

Time behaviour

Resource utilization

Compliance

Analysability

Changeability

Stability

Testeability

Compliance

Analysability

Changeability

Stability

Testeability

Compliance

Adaptability

Instalability

Co-existence

Replaceability

Compliance

Adaptability

Instalability

Co-existence

Replaceability

Compliance

UsabilityUsability EfficiencyEfficiency MaintainabilityMaintainability PortabilityPortability

CharacteristicsCharacteristics

SubcharacteristicsSubcharacteristics

Usability :Usability : “The capability of the software product to be understood, “The capability of the software product to be understood, learned, used and attractive to the user, when used under specified learned, used and attractive to the user, when used under specified conditions”conditions”

Comparación de SubcaracterísticasComparación de Subcaracterísticas

UsabilidadUsabilidad

ISO 9126 Título: Usabilidad Tipo: Característica Sub-característica/s: Comprensibilidad

Facilidad de Aprender

Operabilidad Grado de Atracción

IEEE 1061 Título: Usabilidad Tipo: Característica Sub-característica/s: Comprensibilidad

Facilidad de Aprender

Operabilidad

Nivel de Comunicación

Modelo de Calidad para la Web Título: Usabilidad Tipo: Característica Sub-característica/s: Comprensibilidad (Global del Sitio)

Mecanismo de Ayuda y Retroalimentación

Aspectos de Interfaces

Aspectos Estéticos y de Estilo

Características y SubcaracterísticasCaracterísticas y Subcaracterísticas

Usabilidad Usabilidad » Comprensión Global del SitioComprensión Global del Sitio» Ayuda y RetroalimentaciónAyuda y Retroalimentación» Aspectos de Interface Aspectos de Interface » Aspectos EstéticosAspectos Estéticos

Funcionalidad Funcionalidad » Búsqueda y RecuperaciónBúsqueda y Recuperación» Navegación y ExploraciónNavegación y Exploración» Funciones y Contenido Específicos del Dominio (E-commerce, Funciones y Contenido Específicos del Dominio (E-commerce,

Museos, Universidades ...)Museos, Universidades ...) ConfiabilidadConfiabilidad

» EnlacesEnlaces» PáginasPáginas» Compatibilidad de NavegadoresCompatibilidad de Navegadores

EficienciaEficiencia» PerformancePerformance» AccesibilidadAccesibilidad

Usabilidad Usabilidad Comprensión Global del SitioComprensión Global del Sitio

– Esquema de Organización GlobalEsquema de Organización Global» Tabla de ContenidosTabla de Contenidos» Mapa del SitioMapa del Sitio» Indices (Alfabéticos, Temáticos, Híbridos ...)Indices (Alfabéticos, Temáticos, Híbridos ...)

– Visita Guiada (convencional y/o virtual)Visita Guiada (convencional y/o virtual)– Mapa de ImagenMapa de Imagen

Aspectos de Interfaces y EstéticosAspectos de Interfaces y Estéticos– Permanencia y Estabilidad en la Presentación de los Controles Permanencia y Estabilidad en la Presentación de los Controles

PrincipalesPrincipales» Controles DirectosControles Directos» Controles IndirectosControles Indirectos» EstabilidadEstabilidad

– Mantenimiento del Color de los EnlacesMantenimiento del Color de los Enlaces

Características yCaracterísticas y AtributosAtributos

ConfiabilidadConfiabilidad– EnlacesEnlaces

» Enlaces RotosEnlaces Rotos

» Enlaces InválidosEnlaces Inválidos

» Enlaces no ImplementadosEnlaces no Implementados

– PáginasPáginas» Páginas MuertasPáginas Muertas

» Páginas bajo ConstrucciónPáginas bajo Construcción

» Errores de OrtografiaErrores de Ortografia

Características y AtributosCaracterísticas y Atributos

Atributos y MétricasAtributos y Métricas

Porcentaje de Enlaces Rotos de un SitioPorcentaje de Enlaces Rotos de un Sitio

100×+

=talEnlacesCantidadTo

ExternoslacesRotosCantidadEnInternoslacesRotosCantidadEnosEnlacesRotPorcentaje

100×=stalImágeneCantidadTo

ágenesALTCantidadImLTPresenciaAPorcentaje

Porcentaje de Presencia de la propiedad ALTPorcentaje de Presencia de la propiedad ALT..

Evaluación ElementalEvaluación Elemental Panorama Panorama

Me

as

ura

ble

Att

rib

ute

s

X 1

X n

A1

An

F (X 1 )

F (X n )E

lem

en

tary

Pre

fere

nc

es

EQ n

EQ 1

Cri

teri

a F

un

cti

on

De

finit

ion

E lem entary E valuation:Des ign and Im plem entation

100 %

50%

0

Métrica Web y Criterio ElementalMétrica Web y Criterio Elemental

Métrica Métrica Porcentaje de Enlaces RotosPorcentaje de Enlaces Rotos

X = #Enlaces_Rotos / #Total_Enlaces_del_Sitio

Indicador de Calidad ElementalIndicador de Calidad Elemental

IE = 1 (or 100%) si X = 0;IE = 0 (or 0%) si X >= X max ;otherwise IE = (X max – X) / X max si 0 < X < X max

donde X max es algún umbral superior acordado, tal como 0.03

Amazon Barnes & Noble Cúspide Díaz de Santos Borders1. Usability1.2.3.1 100 100 100 0 1001.2.3.2 100 100 80 80 1002. Functionality2.1.1.1 100 100 100 0 1002.1.1.2 100 100 100 100 702.3.1.1.1 100 100 40 24 702.3.1.1.2.1 100 100 50 50 02.3.1.1.2.2 42 42 12 12 212.3.1.2.1 0 0 0 0 02.3.2.1.1.1.1 100 100 100 100 1002.3.2.1.1.1.2 100 70 0 0 402.3.2.1.1.1.3 100 100 100 100 1002.3.2.1.1.2 100 0 0 0 1002.3.2.1.1.3.1 100 100 100 0 1002.3.2.1.1.3.2 100 100 100 0 03. Reliability3.1.1.1 98.4 97.45 99.83 60.07 76.344. Efficiency4.1.1 100 77.75 100 99.75 99.70

Preferencias de Calidad ElementalPreferencias de Calidad Elemental

Caso de Estudio de Caso de Estudio de E-bookstoreE-bookstore

Evaluación GlobalEvaluación Global Panorama Panorama

EQ n

EQ 1 Ranking P roc es s

Glo b a l Q u a lit y P re fe re n c e s

G Q -S i

G lobal Evaluation:Des ign and Im plem entation

Ag

gre

ga

tio

n P

roc

es

s

(Ad

itiv

e o

r L

SP

Mo

de

l) 100 %

50%

0

Mar

gina

lU

nsat

isfa

ctor

ySa

tisf

acto

ry

W e b - S2

W e b - S1

W e b - Sn

Evaluación GlobalEvaluación Global Modelos de Puntaje Modelos de Puntaje

Modelo de Puntaje AditivoModelo de Puntaje Aditivo (T.Gilb)(T.Gilb)

Indicador Global = Indicador Global = (Peso componente x Indicator elemental) (Peso componente x Indicator elemental)

IG/P = PIG/P = P11 IE IE11+ ....+ P+ ....+ Pnn IE IEnn

Modelo de Puntaje LógicoModelo de Puntaje Lógico Multi-criterio (LSP) Multi-criterio (LSP) (Weighted Power Mean(Weighted Power Mean Model - J. Dujmovic)Model - J. Dujmovic)

IG/PIG/P (r) = (P(r) = (P11 IE IE r r11 + P + P2 2 IEIE r r

2 2+ ... + P+ ... + Pm m IEIE r r m m))

1/ r 1/ r

Simultaneidad (“y lógico”)Simultaneidad (“y lógico”)Reemplazabilidad (“o lógico”)Reemplazabilidad (“o lógico”)Neutralidad Neutralidad

Evaluación Parcial:Evaluación Parcial: Modelo Aditivo Modelo Aditivo

2.3 Specific Functionality and Contents for E-learning.……………………………………………………..2.3.3.1 Virtual Learning Environment Features (for a WbIS) <.0.35> (?)2.3.3.2 Synchronous Communication and Collaboration Resources <0.40> (44.63) 2.3.3.1.1 Class Session Palette <0.20> (60.00) 2.3.3.1.2 Participation/Collaboration Mechanisms <0.25> (62.50) 2.3.3.1.2.1 Hand Raising <0.25> (0) 2.3.3.1.2.2 Class Member List <0.20> (100) 2.3.3.1.2.3 Synchronized Web Navigation <0.15> (100) 2.3.3.1.2.4 Assistant Instructor Participation <0.20> (50) 2.3.3.1.2.5 Workgroup Facility <0.25> (70) 2.3.3.1.3 Synchronous Resources. <0.25> (68.00) 2.3.3.1.3.1 Streaming Slides <0.20> (0) 2.3.3.1.3.2 Streaming Video <0.20> (100) 2.3.3.1.3.3 Shared Applications (e.g., Whiteboard) <0.20> (50) 2.3.3.1.3.4 Audio/Video Conference <0.20> (90) 2.3.3.1.3.5 Chat <0.20> (100) 2.3.3.1.4 Virtual Lab <0.30> (0.00) 2.3.3.1.3 = 0.20 * 0 + 0.20 * 100 + 0.20 * 50 + 0.20 * 90 + 0.20 * 100 = 68 %

Límites del Modelo de Agregación Meramente Aditivo Límites del Modelo de Agregación Meramente Aditivo

Número limitado de componentes para la evaluación.Número limitado de componentes para la evaluación. peso peso promediopromedio de cada componente es 1/n (o 100/n %). de cada componente es 1/n (o 100/n %).

Imposibilidad de modelar requerimientos obligatorios.Imposibilidad de modelar requerimientos obligatorios.

Imposibilidad de modelar requerimientos simultáneos. Imposibilidad de modelar requerimientos simultáneos.

Imposibilidad de modelar requerimientos suficientes.Imposibilidad de modelar requerimientos suficientes.

Malgasto en el esfuerzo de la evaluación. Malgasto en el esfuerzo de la evaluación.

Modelos de Estructuración y PuntajeModelos de Estructuración y Puntaje

Modelo LSP con 17 Operadores LógicosModelo LSP con 17 Operadores Lógicos

Modelo LSP - Mecanismo de AgregaciónModelo LSP - Mecanismo de Agregación

1Us abi l i dad

2Fu n ci on a l i dad

0 .3

0 .3

C - +Pre fe re n ciaG lo ba l

3C on fi abi l i dad

4 Efi ci e n ci a

0 .2

0 .2

Actividades en el Proceso de AgregaciónActividades en el Proceso de Agregación

Selección del tipo de relación lógica entre elementos y/o Selección del tipo de relación lógica entre elementos y/o

componentes:componentes: es decir, cabe preguntarse: ¿es la relación entre las entradas con es decir, cabe preguntarse: ¿es la relación entre las entradas con

una polarización lógica conjuntiva, disyuntiva o neutra?una polarización lógica conjuntiva, disyuntiva o neutra?

Selección del tipo de función conforme a la relación de Selección del tipo de función conforme a la relación de

entradas entre elementos y/o componentes:entradas entre elementos y/o componentes: es decir, la cuestión es decir, la cuestión

básica a considerar consiste en decidir ¿es la relación de entradas simétrica o básica a considerar consiste en decidir ¿es la relación de entradas simétrica o asimétrica? asimétrica?

Selección del operador conforme al nivel de intensidad de Selección del operador conforme al nivel de intensidad de la polarización lógicala polarización lógica

Selección de la importancia relativa de cada entrada Selección de la importancia relativa de cada entrada

conforme a los requerimientosconforme a los requerimientos (esto es, la selección de los pesos)(esto es, la selección de los pesos)

Preferencias de Calidad GlobalPreferencias de Calidad Global

Characteristic and Sub-characteristics Amazon B&N Cúspide Díaz Stos Borders1. Usability 76.16 82.62 75.93 56.09 72.872. Functionality 83.15 80.12 61.69 28.64 61.452.1 Searching and Retrieving Issues 100 100 91 42.67 72.062.2 Navigation and Browsing Issues 70.71 69.85 73.25 64.12 51.952.3 Domain Specific Functionality and Content 81.99 76.53 45.81 14.42 61.552.3.1 Product Information 63.72 42.20 40.64 10.20 15.982.3.2 Purchase Features 91.76 84.84 67.72 17.11 81.922.3.3 Customer Features 100 85 20 28.08 652.3.4 Store Features 100 96.80 71.20 33.60 93.572.3.5 Promotion Policies 60 100 40 0 1003. Reliability 99.44 99.11 90.97 78.51 91.664. Efficiency 96.88 74.54 90.17 86.01 90.90Global Quality Preference 86.81 82.95 75.52 50.37 74.86

Consideraciones FinalesConsideraciones Finales

Los desarrollos Web tienen cada vez más complejidad Los desarrollos Web tienen cada vez más complejidad añadida y están creciendo rápidamente añadida y están creciendo rápidamenteOrientación a Documentación y a Funcionalidad de Orientación a Documentación y a Funcionalidad de

AplicaciónAplicación– Sin embargo, las prácticas recientes para desarrollos Web han Sin embargo, las prácticas recientes para desarrollos Web han

sido mas bien ad-hocsido mas bien ad-hoc– Y el aseguramiento y el Y el aseguramiento y el control de la calidadcontrol de la calidad han sido, por lo han sido, por lo

general, procesos poco tenidos en cuenta. general, procesos poco tenidos en cuenta. – Urge un cambio de paradigma para minimizar la crisis en la WebUrge un cambio de paradigma para minimizar la crisis en la Web

Web QEM realiza un aporte ingenieril mediante el uso de un Web QEM realiza un aporte ingenieril mediante el uso de un enfoque disciplinado y cuantitativo que se adecua a la enfoque disciplinado y cuantitativo que se adecua a la evaluación, comparación, análisis y recomendaciones de la evaluación, comparación, análisis y recomendaciones de la calidad Webcalidad Web

Describimos las fases y actividades principales y los Describimos las fases y actividades principales y los procedimientos para realizarlas.procedimientos para realizarlas.

Fase de Definición y Especificación de los Fase de Definición y Especificación de los Requerimientos de CalidadRequerimientos de Calidad Determinación de Metas y Perfil de UsuarioDeterminación de Metas y Perfil de Usuario

Selección del Modelo de Calidad Selección del Modelo de Calidad – Modelo fijo de CalidadModelo fijo de Calidad– Defina su propio modeloDefina su propio modelo– Modelo mixto de CalidadModelo mixto de Calidad

Especificación del Arbol de RequerimientosEspecificación del Arbol de Requerimientos– Arbol de Requerimientos reusable para Dominios WebArbol de Requerimientos reusable para Dominios Web


Fase de Diseño e Implementación de la Evaluación Fase de Diseño e Implementación de la Evaluación ElementalElemental

Criterios de Evaluación para cada Atributo CuantificableCriterios de Evaluación para cada Atributo Cuantificable– Valores y RangosValores y Rangos

– Tipos de Criterios de Preferencia ElementalTipos de Criterios de Preferencia Elemental

Marco Descriptivo (Plantillas) de Características y Atributos Marco Descriptivo (Plantillas) de Características y Atributos – Favorece la creación de documentos hiperenlazadosFavorece la creación de documentos hiperenlazados

– Modelo de TrazabilidadModelo de Trazabilidad

Recolección de datos Manual y Automático Recolección de datos Manual y Automático – Website_MAWebsite_MA


Fase de Diseño e Implementación de la Evaluación Fase de Diseño e Implementación de la Evaluación GlobalGlobal

Selección de un Modelo Cuantitativo que permita derivar y calcular Selección de un Modelo Cuantitativo que permita derivar y calcular Subcaracterísticas y Características de más alto nivelSubcaracterísticas y Características de más alto nivel

– Modelo meramente aditivo, linealModelo meramente aditivo, lineal

– Modelo no-lineal multiatributo, LSP Modelo no-lineal multiatributo, LSP » Fortalezas y DebilidadesFortalezas y Debilidades

Cálculo Automático Cálculo Automático – WebQEM_ToolWebQEM_Tool


Fase de Análisis de Resultados y RecomendacionesFase de Análisis de Resultados y Recomendaciones

Web-site QEM permite ComprenderWeb-site QEM permite Comprender El estado del arte de Sitios Web OperativosEl estado del arte de Sitios Web Operativos

– Subcaracterísticas y Atributos Ausentes Subcaracterísticas y Atributos Ausentes

– Problemas de Diseño Problemas de Diseño (Interface, Navegación, Contenido, Performance, (Interface, Navegación, Contenido, Performance, Funcionalidad ...)Funcionalidad ...)

– Requerimientos Pobremente ImplementadosRequerimientos Pobremente Implementados

Especificar y Controlar Requerimientos de Calidad para Nuevos Especificar y Controlar Requerimientos de Calidad para Nuevos ProyectosProyectos

Web-site QEM permite realizar Recomendaciones para MejorarWeb-site QEM permite realizar Recomendaciones para Mejorar la Calidad de Productos Web la Calidad de Productos Web


ReferenciasReferencias

Olsina L., 2000, “Metodología Cuantitativa para la Evaluación y Comparación de Calidad de Sitios Web”, Tesis doctoral defendida en Abril del 2000, Facultad de Ciencias Exactas, UNLP, La Plata.

Olsina L., Papa, M.F., Souto, M.E., Rossi, G.; 2001, “Providing Automated Support for the Web Quality Evaluation Methodology”, Proceed. of the Fourth Workshop on Web Engineering, at the 10th International WWW Conference, Hong Kong, pp 1-11.


Olsina, L.; Lafuente, G.J; Rossi, G.; 2000, E-commerce Site Evaluation: a Case Study, LNCS of Springer-Verlag; 1st International Conference on Electronic Commerce and Web Technology, London, UK.

Olsina L., Rossi G., 2002, Measuring Web Application Quality with WebQEM, IEEE Multimedia, Vol. 9, Nº 4, pp. 20-29.

EsquemaEsquema



El Método de Evaluación HeurísticaEl Método de Evaluación Heurística

-- Inspección-- Inspección

-- Basada en Guías Heurísticas-- Basada en Guías Heurísticas

-- Manual-- Manual-- Automático-- Automático

FaseFase

-- Análisis-- Análisis-- Recomendaciones-- Recomendaciones

-- Fácil de Usar-- Fácil de Usar-- Efectivo en Costos-- Efectivo en Costos-- Impreciso-- Impreciso


EvaluaciónEvaluaciónHeurísticaHeurística




En En EvaluaciónEvaluación Heurística Heurística uno o más uno o más evaluadores (expertos en el dominio) evalúan evaluadores (expertos en el dominio) evalúan independientemente un sitio Web, usando una independientemente un sitio Web, usando una Lista de Heurísticas. Lista de Heurísticas. HeurísticasHeurísticas en el sentido de guías venidas de en el sentido de guías venidas de

expertosexpertos– Principios, Rule of Thumbs (Reglas Prácticas)Principios, Rule of Thumbs (Reglas Prácticas)

Evaluación HeurísticaEvaluación Heurística, es la tarea de estimar el , es la tarea de estimar el estado de Usabilidad al aplicar RP establecidas y estado de Usabilidad al aplicar RP establecidas y derivar un puntaje para el sitio basado en cuan derivar un puntaje para el sitio basado en cuan próximo se cumplimentan los requerimientos próximo se cumplimentan los requerimientos establecidos (J. Nielsen).establecidos (J. Nielsen).

Método de Evaluación HeurísticaMétodo de Evaluación Heurística

En En EvaluaciónEvaluación HeurísticaHeurística el resultado del el resultado del proceso de evaluación es típicamente una lista proceso de evaluación es típicamente una lista de posibles problemas de Usabilidad; esto es, de posibles problemas de Usabilidad; esto es, violaciones RoT.violaciones RoT.

Los evaluadores luego de evaluar Los evaluadores luego de evaluar independientemente el sitio Web, determinan y independientemente el sitio Web, determinan y asocian grados de severidad para cada potencial asocian grados de severidad para cada potencial problema de Usabilidad. problema de Usabilidad.


Evaluación Heurística Evaluación Heurística es el método de es el método de inspección más informal aunque efectivo en inspección más informal aunque efectivo en costos. costos.

Con frecuencia, con RoT contradictorias!!!Con frecuencia, con RoT contradictorias!!!

Es un método rápido de aplicar, barato, fácil de Es un método rápido de aplicar, barato, fácil de usarusar..


Heurísticas para el atributo Texto de Página Heurísticas para el atributo Texto de Página Users prefer pages with more content as opposed to breaking Users prefer pages with more content as opposed to breaking

content over multiple pages content over multiple pages (Landesman and Schroeder 2000).(Landesman and Schroeder 2000).

Keep text short; use 50% less text than in print publications Keep text short; use 50% less text than in print publications (Nielsen 2000).(Nielsen 2000).

Break text up into smaller units on multiple pages Break text up into smaller units on multiple pages (Flanders 1998; (Flanders 1998; Nielsen 2000).Nielsen 2000).

Heurísticas para el atributo Título de PáginaHeurísticas para el atributo Título de Página Use no more than 64 characters Use no more than 64 characters (Berners-Lee 1995).(Berners-Lee 1995).

Use 2-6 words (40-60 characters) Use 2-6 words (40-60 characters) (Flanders 1998).(Flanders 1998).

Use different page titles for each page Use different page titles for each page (Nielsen 2000).(Nielsen 2000).

Guías HeurísticasGuías Heurísticas

Heurísticas para el atributo Longitud del Texto del Heurísticas para el atributo Longitud del Texto del EnlaceEnlaceUse 2-4 words in text links Use 2-4 words in text links (Nielsen 2000).(Nielsen 2000). Use links with 7-12 “useful" words Use links with 7-12 “useful" words (Sawyer and (Sawyer and

Schroeder 2000).Schroeder 2000).

Heurísticas para el atributo Banner de PropagandaHeurísticas para el atributo Banner de PropagandaAds afect the user experience; integrate ads with Ads afect the user experience; integrate ads with

content content (Klee and Schroeder 2000).(Klee and Schroeder 2000). Usability dictates that ads should be eliminated Usability dictates that ads should be eliminated

(Nielsen 2000).(Nielsen 2000). Ads increase credibility Ads increase credibility (Kim and Fogg 1999).(Kim and Fogg 1999).

Guías HeurísticasGuías Heurísticas

An An Advocacy Web PageAdvocacy Web Page is one sponsored by an organization attempting is one sponsored by an organization attempting to influence public opinion (that is, one trying to sell ideas). URL to influence public opinion (that is, one trying to sell ideas). URL frequently ends in frequently ends in .org.org..

Criterion #1: AUTHORITY Criterion #1: AUTHORITY 1.1. Is it clear what organization is responsible for the contents of the Is it clear what organization is responsible for the contents of the

page? page?

2.2. Is there a link to a page describing the goals of the organization? Is there a link to a page describing the goals of the organization?

3.3. Is there a way of verifying the legitimacy of this organization? Is there a way of verifying the legitimacy of this organization? That is, is there a phone number or postal address to contact for That is, is there a phone number or postal address to contact for more information? (Simply an email address is not enough.) more information? (Simply an email address is not enough.)

4.4. Is it clear whether this is a page from the national or local chapter Is it clear whether this is a page from the national or local chapter of the organization? of the organization?

5.5. Is there a statement giving the organization's name as copyright Is there a statement giving the organization's name as copyright holder? holder?

Guías Heurísticas Guías Heurísticas (segun Tate (segun Tate et alet al))

Criterion #2: ACCURACYCriterion #2: ACCURACY

1.1. Are the sources for any factual information clearly listed so Are the sources for any factual information clearly listed so they can be verified in another source? (If not, the page they can be verified in another source? (If not, the page may still be useful to you as an example of the ideas of the may still be useful to you as an example of the ideas of the organization, but it is not useful as a source of factual organization, but it is not useful as a source of factual information). information).

2.2. Is the information free of grammatical, spelling, and Is the information free of grammatical, spelling, and typographical errors? (These kinds of errors not only typographical errors? (These kinds of errors not only indicate a lack of quality control, but can actually produce indicate a lack of quality control, but can actually produce inaccuracies in information.) inaccuracies in information.)


Criterion #3: OBJECTIVITY Criterion #3: OBJECTIVITY 1.1. Are the organization's biases clearly stated? Are the organization's biases clearly stated? 2.2. If there is any advertising on the page, is it clearly If there is any advertising on the page, is it clearly

differentiated from the informational content? differentiated from the informational content?

Criterion #4: CURRENCYCriterion #4: CURRENCY1.1. Are there dates on the page to indicate: Are there dates on the page to indicate:

a.a. When the page was written? When the page was written? b.b. When the page was first placed on the Web? When the page was first placed on the Web? c.c. When the page was last revised?When the page was last revised?

2.2. Are there any other indications that the material is kept Are there any other indications that the material is kept current?current?


Criterion #5: COVERAGE Criterion #5: COVERAGE

1.1. Is there an indication that the page has been Is there an indication that the page has been completed, and is not still under construction? completed, and is not still under construction?

2.2. Is it clear what topics the page intends to address? Is it clear what topics the page intends to address?

3.3. Does the page succeed in addressing these topics, or Does the page succeed in addressing these topics, or has something significant been left out? has something significant been left out?

4.4. Is the point of view of the organization presented in a Is the point of view of the organization presented in a clear manner with its arguments well supported?clear manner with its arguments well supported?

http://www2.widener.edu/Wolfgram-Memorial-Library/webevaluation/http://www2.widener.edu/Wolfgram-Memorial-Library/webevaluation/advoc.htmadvoc.htm



Alexander, J.; Tate, M., 1999, “Web Wisdom: How to Evaluate and Create Information Quality on the Web”, Lawrence Erlbaum Pub., 1999.

Nielsen, J., Molich, R; Snyder, C; Farrel, S; 2001, “E-Commerce User Experience”, Nielsen Norman Group.

EsquemaEsquema



ConclusionesConclusiones

Web EngineeringWeb Engineering is concerned with the establishment and is concerned with the establishment and use of sound scientific, engineering and management use of sound scientific, engineering and management principles and disciplined and systematic approaches to the principles and disciplined and systematic approaches to the successful development, control, deployment and successful development, control, deployment and maintenance of maintenance of high quality WebApps within budgetary high quality WebApps within budgetary constraintsconstraints

Debemos seleccionar los métodos y prácticas apropiadas Debemos seleccionar los métodos y prácticas apropiadas en el momento adecuado con el fin de Asegurar la en el momento adecuado con el fin de Asegurar la Calidad de WebAppsCalidad de WebApps

One size does not fit all needs and preferences … however, we One size does not fit all needs and preferences … however, we ought to use some of them!ought to use some of them!

Metodología WebQEM Fases, Modelos y Herram. Método Heurístico ConclusionesContenidos Parte IV...

Documents

Transcript of Metodología WebQEM Fases, Modelos y Herram. Método Heurístico ConclusionesContenidos Parte IV...