Esquema 1.- Introducción - FFIS · 2011-11-18 · Escalas jerárquicas en función del rigor...

Valoración de la calidad de una Valoración de la calidad de una investigación y de los resultados investigación y de los resultados

obtenidosobtenidos

Fernando Navarro MateuUnidad Docente de Salud Mental

Subdirección General de Salud MentalServicio Murciano de Salud

Objetivos del TallerObjetivos del Taller Sensibilizar sobre la importancia de la valoración

de la calidad de las investigaciones Introducción general a la Atención Sanitaria

Basada en Evidencias (ASBE) Lectura crítica de un Ensayo clínicoRevisión sistemática.

EsquemaEsquema

1. Introducción2. Valoración de la calidad

a) Análisis de diferentes componentes de la calidad metodológica

b) Escalas de calidad metodológicac) Aproximación propuesta por la MBE

ECAs Revisiones Sistemáticas

3. Conclusiones

1.1.-- IntroducciónIntroducción

Revisión bibliográfica en investigación, ¿para qué?

¿Por qué es importante valorar la calidad de los estudios científicos?

Preguntas clavePreguntas clave

¿Cómo diferenciar las investigaciones buenas de las

malas?

¿Qué es una buena investigación?

Una investigación de calidad suficiente como para apoyar los

resultados (independientemente de si son + ó -)

Fraudes científicos históricosFraudes científicos históricoswww.museumofhoaxes.com

Created with novaPDF Printer (www.novaPDF.com). Please register to remove this message.

http://www.museumofhoaxes.com

http://www.novapdf.com

Validez del estudio:Analizar ...

Resumen estructurado

Apartado “Metodología”

Formato IMRAD:• Introducción• Métodos• Resultados And• Discusión

Level Therapy/Prevention, Aetiology/Harm

Prognosis Diagnosis Differential diagnosis/symptom prevalence study

Economic and decision analyses

1a SR (with homogeneity*) of RCTs SR (with homogeneity*) of inception cohort studies; CDR† validated in different populations

SR (with homogeneity*) of Level 1 diagnostic studies; CDR† with 1b studies from different clinical centres

SR (with homogeneity*) of prospective cohort studies

SR (with homogeneity*) of Level 1 economic studies

1b Individual RCT (with narrow Confidence Interval‡)

Individual inception cohort study with > 80% follow-up; CDR† validated in a single population

Validating** cohort study with good††† reference standards; or CDR† tested within one clinical centre

Prospective cohort study with good follow-up****

Analysis based on cl inically sensible costs or alternatives; systematic review(s) of the evidence; and including multi-way sensitivity analyses

1c All or none§ All or none case-series Absolute SpPins and SnNouts†† All or none case-series Absolute better-value or worse-value analyses ††††

2a SR (with homogeneity*) of cohort studies

SR (with homogeneity*) of either retrospective cohort studies or untreated control groups in RCTs

SR (with homogeneity*) of Level >2 diagnostic studies

SR (with homogeneity*) of 2b and better studies

SR (with homogeneity*) of Level >2 economic studies

2b Individual cohort study (including low qual ity RCT; e.g., <80% follow-up)

Retrospective cohort study or follow-up of untreated control patients in an RCT; Derivation of CDR† or validated on split-sample§§§ only

Exploratory** cohort study with good†††reference standards; CDR† after derivation, or validated only on split-sample§§§ or databases

Retrospective cohort study, or poor follow-up

Analysis based on cl inically sensible costs or alternatives; limited review(s) of the evidence, or single studies; and including multi-way sensitivity analyses

2c "Outcomes" Research; Ecological studies

"Outcomes" Research Ecological studies Audit or outcomes research

3a SR (with homogeneity*) of case-control studies




3b Individual Case-Control Study Non-consecutive study; or without consistently applied reference standards

Non-consecutive cohort study, or very limited population

Analysis based on limited alternatives or costs, poor quality estimates of data, but including sensitivity analyses incorporating clinically sensible variations.

4 Case-series (and poor qual ity cohort and case-control studies§§)

Case-series (and poor quality prognostic cohort studies***)

Case-control study, poor or non-independent reference standard

Case-series or superseded reference standards

Analysis with no sensitivity analysis

5 Expert opinion without explicit cr itical appraisal, or based on physiology, bench research or "fi rst principles"

Expert opinion without expl icit critical appraisal, or based on physiology, bench research or "first principles"

Expert opinion without explicit critical appraisal, or based on physiology, bench research or "first principles"

Expert opinion without explicit critical appraisal, or based on physiology, bench research or "first principles"

Expert opinion without explicit critical appraisal, or based on economic theory or "first principles"

Produced by Bob Phillips, Chris Ball, Dave Sackett, Doug Badenoch, Sharon Straus, Brian Haynes, Martin Dawes since November 1998.

Oxford Centre for EvidenceOxford Centre for Evidence--based Medicine based Medicine Levels of Evidence (May 2001)Levels of Evidence (May 2001)

Jerarquía de las evidencias Escalas jerárquicas en función del rigor científico del

diseño y en su vulnerabilidad hacia los sesgos.

Son guías aproximadas

Jerarquía de las evidencias Limitaciones (Jiménez, 2000):

– no suelen discriminar entre las diferencias de calidad y rigor científico en el mismo nivel de evidencia científica.

– un estudio de categoría inferior puede ser de mayor calidad que otro superior.

El efecto de la intervención en ECAs pequeños pero con una secuencia de asignación correcta y oculta, con doble ciego no difieren de los hallados en ECAs más grandes. (Kjaergard y cols, Ann

Intern Med 2001; 135: 982-989)

Factores de calidad en Factores de calidad en ECAsECAs que tienden que tienden a sobrestimar el efecto terapéuticoa sobrestimar el efecto terapéutico Valoración crítica de un artículo

Requiere:

Detección del objetivo de la publicación

Comprensión básica de los puntos débiles y fuertes del estudio para valorar:• la validez y

• la importancia (¿utilidad en la práctica clínica?)



Concepto de Validez de un Concepto de Validez de un artículo científicoartículo científico

¿Cuánto se aproxima a la verdad?

Validez interna (VI): control de sesgos

Validez externa (VE): generalización de

los resultados en otras circunstancias

La VI es imprescindiblepara la VE

Método EpidemiológicoMétodo Epidemiológico

Errores:

•Aleatorios

•Sistemáticos

Tipos de errores: Tipos de errores: Error aleatorio o de muestreo (Error aleatorio o de muestreo (E.AE.A.).)

Por variabilidad inherente al proceso de muestreo.

T.M. E.A. Consecuencias:

Falta de precisión que puede evaluarse con pruebas de significación estadística

A precisión papel del azar

Cálculo previo del TM adecuado

Tipos de errores:Tipos de errores:Error Sistemático (Error Sistemático (E.SE.S.).)

No relacionados con las muestras (no con TM).

Relacionados con el diseño del estudio

La ausencia de sesgos garantiza la validez de una estimación.

Validez del estudio

La evaluación final de la validez no es nunca una decisión dicotómica de “sí o no” y ha de ser subjetivaen cierta medida.



Valoración de la calidadValoración de la calidad

La calidad es un concepto complejo Existe un gran número de herramientas para

valorar la calidad de los estudios científicos– Preferentemente ECAs– Menor nº para estudios observacionales

La única forma de valorar la calidad de un estudio depende de la información escrita en la publicación

2. Valoración crítica de un artículo2. Valoración crítica de un artículo

1. Análisis de diferentes componentes de la calidad metodológica

2. Escalas de calidad metodológica

3. Aproximación propuesta por la MBE

Análisis de diferentes componentes Análisis de diferentes componentes de la calidad metodológicade la calidad metodológica

Elaboración de cuestionarios “ad hoc” con diferentes componentes de la calidad

Preguntas esencialesPreguntas esenciales

¿Es original el estudio?

¿Sobre quién/qué va el estudio?

¿Está bien diseñado?

¿Se minimizó o se evitaron los sesgos sistemáticos?

¿Se realizó a ciegas?

¿Se tuvieron en consideración algunas disquisiciones estadísticas preliminares?

¿Sobre quién va el estudio? (I)¿Sobre quién va el estudio? (I)

¿Puedo aplicar estos resultados a mi paciente? Diferencias entre los pacientes del ECA y los

míos:– más o menos enfermos– diferentes grupos étnicos o estilos de vida– reciben diferentes atención durante el estudio de lo que le puede

ofertar– a diferencia de mis pacientes, no tienen otras enfermedades– ninguno de ellos fuma, bebe o está tomando anticonceptivos

¿Sobre quién va el estudio? (II) ¿Sobre quién va el estudio? (II) Preguntas básicasPreguntas básicas

¿Cómo fueron reclutados los participantes?

¿Quién fue incluído?

¿Quién fue excluído?

¿Fueron estudiados en circunstancias de la vida real?



¿Está bien diseñado?¿Está bien diseñado?

¿Qué se está estudiando y con qué se compara?. ¿Es relevante?, ¿aporta algo?

¿Cómo se evalúa el resultado?– Subrrogate end points (“variables de valoración

indirectas”)– Medición del resultado previamente validados

¿Se minimizaron o evitaron los ¿Se minimizaron o evitaron los sesgos sistemáticos?sesgos sistemáticos?

Cada tipo de estudio utilizan diferentes estrategias para reducir los sesgos:– ECA.......... Aleatorización– Estudios no aleatorizados: .....el sentido común para

decidir si las diferencias basales entre ambos grupos son lo suficientemente grandes como para invalidar los efectos encontrados.

Efectos de la aleatorización en la estimulación eléctrica nerviosa

transcutánea

Características de un buen Características de un buen esquema de esquema de aleatorizaciónaleatorización

La asignación a los grupos de tratamiento debe ser desconocida e impredecible

El proceso de asignación debe ser reproducible y estar documentado

Debe basarse en propiedades matemáticas conocidas No debe permitir que se prevenga la secuencia de los

tratamientos

(Galende y cols, Med Clin (Barc) 1994; 102: 465-470.)

Fuentes de sesgos en los Fuentes de sesgos en los ECAsECAs

Resultado

Seguimiento

Intervención

Experimental

Resultado

Seguimiento

No intervención

Control

Aleatorización

Población diana

Sesgo de selección

Sesgo de actuación

Sesgo de exclusión

Sesgo de detección

¿Se realizó a ciegas?¿Se realizó a ciegas?

Tipos de enmascaramiento

Simple ciego

Doble ciego

Triple ciego



Cegamiento y acupuntura en el dolor Cegamiento y acupuntura en el dolor de espaldade espalda

¿Disquisiciones estadísticas ¿Disquisiciones estadísticas preliminares?preliminares?

Cálculo previo del tamaño muestral

Duración del seguimiento suficiente para obtener

el efecto esperado

Abandonos ..... Análisis por intención de tratar

¿Consideraciones estadísticas a ¿Consideraciones estadísticas a posteriori?posteriori?

1. No dejarse fascinar por la p: describir los resultados con independencia de su significación estadística (tablas, figuras).

2. Calcular la magnitud de la asociación, diferencia o riesgo.3. Calcular su grado de significación y los intervalos de

confianza.4. Si la diferencia no es estadísticamente significativa, calcular

el poder estadístico.5. Juzgar la relevancia clínica de los resultados, tanto si son

estadísticamente significativos como si no.

1) ¿Por qué se hizo el estudio y qué hipótesis se están testando?

2) ¿Qué tipo de estudio se ha realizado?

3) ¿El diseño utilizado es el más apropiado para el tipo de investigación realizado?.

Preguntas preliminares básicasPreguntas preliminares básicas

2. Valoración de la calidad2. Valoración de la calidad


2. Escalas de calidad metodológica3. Aproximación propuesta por la MBE

Escalas de Calidad MetodológicaEscalas de Calidad Metodológica nº escalas (>25 para ECAs)

– Incluyen entre 3 y 57 elementos y requieren entre 10 y 45 minutos (o más…)

– Basados en criterios aceptados Problemas.

– Se tiende a confundir la calidad de los informes con la validez del diseño y su realización

– La calificación se basa en si algo se informó y no en si se hizo apropiadamente

– Contienen elementos no directamente relacionados con la validez (cálculo de la potencia estadística, …)

– No se ha demostrado que las escalas más complejas proporcionen puntuaciones de validez más fiables



Escalas de evaluaciEscalas de evaluacióón de la calidad n de la calidad en investigacien investigacióónn

No hay un “patrón oro” para determinar la validez real de un estudio

Para evaluar la validez es preferible usar métodos sencillos que puedan informarse cláramente

Las más conocidas:– CONSORT (CONsolidated Standards for Reporting of Trials)– QUORUM (Quality Of Reporting Of Meta-analyses)– AGREE (Appraisal of Guidelines REsearch & Evaluation)– Escala de Jadad o de Oxford de 5 puntos– The Oxford Pain Validity Scale (OPVS)

Mejor descripción de la metodología

(Plint y cols, MJA 2006; 185: 263-267)

Escala de calidad en estudios Escala de calidad en estudios observacionalesobservacionales

Escala de valoración de la calidad de Escala de valoración de la calidad de JadadJadad

1. ¿Tiene el estudio una asignación aleatorizada?2. ¿Cumple los criterio de doble ciego?3. ¿Están descritas las retiradas y abandonos)

1 punto por cada “sí” o 0 puntos por cada “no”

Sumar un punto adicional Restar un punto adicional

Si aleatorización/ cegamiento apropiado

Si aleatorización/ cegamiento inaapropiado

Rango puntuación: 0-5Calidad pobre < 3



1) ¿Por qué se hizo el estudio y qué hipótesis se están testando?

2) ¿Qué tipo de estudio se ha realizado?

3) ¿El diseño utilizado es el más apropiado para el tipo de investigación realizado?.

Preguntas preliminares básicasPreguntas preliminares básicas 2. Valoración de la calidad2. Valoración de la calidad


2. Escalas de calidad metodológica3. Aproximación propuesta por la MBE

Medicina ...Basada en ...Evidencias

... utilización consciente, explícita y juiciosa de la mejor evidencia

científica clínica disponible para tomar decisiones sobre el cuidado de

pacientes individuales

M.B.E.: ¿Sólo lectura de artículos?

...es la lectura crítica del artículo correcto en el momento adecuado y, en consecuencia, tomar

la mejor decisión posible.

(Greenhalgh, T. How to read a paper. BMJ, 1997)

... mucho más ...

¿¿MedicinaMedicina BasadaBasada en en EvidenciasEvidencias??

Experiencia Experiencia clínicaclínica

Las mejores Las mejores evidenciasevidencias

Preferencias del Preferencias del pacientepaciente

(Adaptado de (Adaptado de HaynesHaynes y y colscols. . MedMed ClinClin ((BarcBarc) 2000; 115; 7: 258) 2000; 115; 7: 258--260)260)

El circuito de la MBEEl circuito de la MBE

(1) Formulación del Problema

(3) Evaluacióncrítica

(2) Búsqueda

El Paciente(4) Decisión compartida



El circuito de la MBEEl circuito de la MBE



(2) Búsqueda


Estilos de práctica de la MBEEstilos de práctica de la MBE

Estilo completoEstilo completo

Estilo Estilo replicativoreplicativo

Estilo de Estilo de búsqueda búsqueda selectivaselectiva

(Sackett y cols. Evidence-Based Medicine.How to Practice and Teach EBM. 2º Ed. 1999)

El circuito de la MBE:El circuito de la MBE:Estilo evaluativo o completoEstilo evaluativo o completo


(2) Búsqueda



El circuito de la MBE:El circuito de la MBE:Estilo de búsqueda selectivaEstilo de búsqueda selectiva

(2) Búsquedaselectiva



El circuito de la MBE:El circuito de la MBE:Estilo replicativoEstilo replicativo



ExpertoExperto

““Con autoridad” vs “autoritario”Con autoridad” vs “autoritario”

¿Son válidas estas evidencias ¿Son válidas estas evidencias sobre ....?sobre ....? Diagnóstico Tratamiento o prevención Efectos nocivos Pronóstico Revisión de conjunto Análisis de decisión clínica Guías de práctica clínica Recomendaciones de asistencia sanitaria Variaciones de los resultados de los servicios sanitarios Utilización clínica .....

Guías para usuarios de la literatura médica (JAMA)



Aproximación crítica a la evidencia: Preguntas básicas

A) ¿Son válidos los resultados del estudio?

B) ¿Cuales son los resultados?

C) ¿Me ayudarán los resultados en el cuidado de mi paciente?

MBE:MBE:Lectura crítica de artículos Lectura crítica de artículos científicos sobre Tratamiento (ECA)científicos sobre Tratamiento (ECA)

¿Son válidas estas evidencias ¿Son válidas estas evidencias sobre ....?sobre ....? Diagnóstico Tratamiento o prevención Efectos nocivos Pronóstico Revisión de conjunto Análisis de decisión clínica Guías de práctica clínica Recomendaciones de asistencia sanitaria Variaciones de los resultados de los servicios sanitarios Utilización clínica .....


................................

Aproximación crítica a la evidencia Aproximación crítica a la evidencia (MBE): (MBE): Preguntas básicasPreguntas básicas




Validez Interna

Significación y precisión

Validez Externa

A) ¿Son válidas estas evidencias sobre A) ¿Son válidas estas evidencias sobre un tratamiento? (I)un tratamiento? (I)Criterios PrimariosA.C.1a) ¿Se ha realizado de forma aleatoria y enmascarada la

asignación de los tratamientos a los pacientes?

A.C.1b) ¿Se han tenido en cuenta adecuadamente todos los pacientes incluidos en el ensayo y se ha realizado un seguimiento completo?

A.C.1c) ¿Se han analizado los pacientes en los grupos a los que fueron asignados aleatoriamente?

• Asignación aleatoria y en secreto

• Seguimiento completo de todos los pacientes

• Análisis por intención de tratar

A) ¿Son válidas estas evidencias sobre A) ¿Son válidas estas evidencias sobre un tratamiento? (II)un tratamiento? (II)

Criterios secundariosA.C.2a) ¿Se ha mantenido un diseño “ciego” respecto al

tratamiento aplicado?

A.C.2b) ¿Eran similares los grupos al inicio del ensayo?

A.C.2c) Aparte de la intervención experimental, ¿se ha tratado a los grupos de la misma forma?

•• Simple, doble,...Simple, doble,...

•• En todos los factores o análisis ajustadoEn todos los factores o análisis ajustado

•• Similar Similar TtoTto basalbasal



B) ¿Cuales son los resultados del estudio? (I)

1.- ¿Cual ha sido la magnitud del efecto?

2.- ¿Con qué precisión se ha estimado el efecto?•• IC95%IC95%

•• RRR, RRA y NNTRRR, RRA y NNT

C.1) C.1) ¿¿Puedo aplicar estos resultados a Puedo aplicar estos resultados a mi pacientemi paciente? (I)? (I)

Integración evidencia + experiencia clínica para :

Evaluar el impacto del Tto en pacientes con características idénticas ¿Tan importante es la diferencia entre mi paciente y los del ECA para que sus

resultados no puedan aplicarse?

C.1) C.1) ¿¿Puedo aplicar estos resultados a Puedo aplicar estos resultados a mi pacientemi paciente? (II)? (II)

Recoger valores y preferencias del paciente– ¿Tiene una valoración clara de sus preferencias y valores?

– ¿Se ajustan el Tto y sus consecuencias a esta valoración?

MBE:MBE:Lectura crítica de artículos Lectura crítica de artículos científicos sobre Revisiones científicos sobre Revisiones Sistemáticas o Sistemáticas o MetaanálisisMetaanálisis

Escenario ClínicoEscenario ClínicoEscenario Clínico A: Recientemente se han organizado unas sesiones

bibliográficas en su centro de trabajo y le toca presentar una sesión el próximo mes. Ha pensado revisar la eficacia de las sales de litio en la prevención de recaídas en el trastorno bipolar, dado que recuerda haber leído u oído algo sobre las dudas que determinados profesionales se plantean sobre el tema.

Ejemplos de revisiones Ejemplos de revisiones tradicionales (I)tradicionales (I)

Moncrieff J: Lithium: evidencereconsidered. 171: 113-119

Cookson J: Lithium: balancingrisks and benefits. 171: 120-124

Evidencias sobre la efectividad del litio

• Escasas

• Suficientes

Evidence Based Medicine (British Journal of Psychiatry, 1997):



Ejemplos de revisiones Ejemplos de revisiones tradicionales (II)tradicionales (II) Diferente número de referencias (93 en Moncrieff

y 72 en Cookson), de las que sólo comparten 14. No se menciona:

– el método de selección de artículos.– Cómo se valoró la calidad de los mismos.

Difícilmente se puede valorar cual se acerca más a la realidad

Revisiones tradicionales:Revisiones tradicionales:limitacioneslimitaciones

No exhaustividad en la selección de artículos. Carecen de método sistemático de evaluación de

la evidencia Incorporación frecuente de opiniones subjetivas Frecuentes sesgos (ej: publicación, ...)

Revisiones sistemáticasRevisiones sistemáticas

Metodología científica reproducible y explícita para:

selección de artículos, evaluación de su calidad agrupación de los datos y análisis cuantitativo de

los mismos (meta-análisis)

Tipo de investigación Estudio

Cualitativo Transversal Casos y

controles Cohortes EAC Revisión

Sistemática Diagnóstico X XXX Cribaje X XXX Tratamiento X X XX XXX Pronóstico X X XX XXX Etiología X XX X(¿) XXX Calidad X X X X XXX

Diseño y objetivos del estudioDiseño y objetivos del estudio

Preguntas clínicas: Preguntas clínicas: Escenario AEscenario A ¿Es eficaz el tratamiento con sales de litio en el

tratamiento de mantenimiento de los trastornos bipolares?

Tipo de pregunta: Tratamiento

Estudio: Meta-análisis



Estrategia de búsquedaEstrategia de búsqueda

Determinar

Fuentes de evidencias

Estrategia de búsqueda

Descriptores a utilizar

¿Operadores boreanos?

LithiumLithium

MedMed--lineline ((PubPub ––Med)Med)

CochraneCochrane

MBE:MBE:Lectura crítica de artículos Lectura crítica de artículos científicos sobre Revisiones científicos sobre Revisiones Sistemáticas o Sistemáticas o MetaanálisisMetaanálisis

Fichas sobre los criterios para la Fichas sobre los criterios para la evaluación de un artículo sobre ....?evaluación de un artículo sobre ....? Diagnóstico Tratamiento o prevención Efectos nocivos Pronóstico Revisión de conjunto Análisis de decisión clínica Guías de práctica clínica Recomendaciones de asistencia sanitaria Variaciones de los resultados de los servicios sanitarios Utilización clínica .....




Aproximación crítica a la Aproximación crítica a la evidencia: Preguntas básicasevidencia: Preguntas básicas




Validez Interna

Significación y precisión

Validez Externa

A) ¿Son válidas estas evidencias sobre A) ¿Son válidas estas evidencias sobre una Revisión Sistemática o un Metauna Revisión Sistemática o un Meta--análisis? (I)análisis? (I)Criterios Primarios

1) ¿Se aborda un tema específico?

2) ¿Fueron apropiados los criterios utilizados para

la inclusión de los artículos a seleccionar?

A) ¿Son válidas estas evidencias sobre A) ¿Son válidas estas evidencias sobre una Revisión Sistemática o un Metauna Revisión Sistemática o un Meta--análisis? (II)análisis? (II)Criterios secundarios3) ¿Es poco probable que se pasaran por alto estudios

relevantes importantes?

4) ¿Se evaluó la validez y calidad de los estudios incluidos?

5) ¿Fueron reproducibles las evaluaciones de los estudios?

6) ¿Fueron similares los resultados de estudio a estudio?. ¿Se hizo una prueba de homogeneidad?

B) ¿Cuales son los resultados del estudio? (I)

1.- ¿Cuáles han sido los resultados globales de la revisión de conjunto?

2.- ¿Con qué precisión se han estimado los

resultados?

C) C) ¿¿Me resultarán útiles los resultados Me resultarán útiles los resultados para la asistencia a mis pacientespara la asistencia a mis pacientes??

1.- ¿Se consideraron todos los resultados clínicamente importantes?

2.- ¿Los beneficios compensan los inconvenientes o los costes?

Resolución del escenarioResolución del escenario



3.3.-- ConclusionesConclusiones

En la actualidad, es imprescindible, independientemente de nuestra orientación (clínica y/o investigadora):– Valorar la calidad de los artículos científicos– Entrenarse en habilidades de lectura crítica de la literatura

científica La formación en MBE mejora las habilidades de los

clínicos y de los investigadores de una forma estructurada:– elaboración de preguntas, estrategias de búsqueda, lectura

crítica, aplicación de resultados, …

La práctica de la M.B.E. es...La práctica de la M.B.E. es...

un proceso de aprendizaje de por vida,

autodirigido, y basado en problemas

Preguntas, comentarios y ...Preguntas, comentarios y ...

Muchas Muchas gracias ...gracias ...



Esquema 1.- Introducción - FFIS · 2011-11-18 · Escalas jerárquicas en función del rigor...

Documents

Transcript of Esquema 1.- Introducción - FFIS · 2011-11-18 · Escalas jerárquicas en función del rigor...