"La visión del evaluador", por Maria Patrocinio González Dugo - Área de Ingeniería y Producción...

Almería, diciembre 2016

La visión del evaluador

María Pat González Dugo

¿Q

ué

es

el I

FA

PA

?

Instituto de Investigación y Formación Agraria y Pesquera de Andalucía


Consejería de Agricultura, Pesca y Desarrollo Rural

Investigación, desarrollo, transferencia de tecnología y formación

Co

nte

nid

o d

e la

pre

sen

tac

ión


• El papel de los evaluadores

• Procedimiento de evaluación

• Criterios de evaluación

• Comentarios finales

El p

ap

el d

e lo

s e

va

lua

do

res


expertos registrados en el portal del participante

trabajo personal, no en representación de una institución o

país

diversa procedencia y experiencia (academia,

empresa…)

disponibilidad ocasional para asignaciones de corta

duración (5-10 días)

Tareas:

• Evaluación de propuestas

• Seguimiento de acciones

El p

ap

el d

e lo

s e

va

lua

do

res


-Comités de evaluación multidisciplinares

-No son expertos en TODO lo relacionado con el

proyecto (compromiso difícil entre dirigirse a un

experto y facilitar la comprensión de un no-experto)

-El tiempo para evaluar cada propuesta es

insuficiente para hacer una revisión en profundidad

El p

ap

el d

e lo

s e

va

lua

do

res


INDEPENDENCIA, trabajo individual que no representa a un

país o institución

IMPARCIALIDAD, tratar por igual todas las propuestas y

evaluarlas sin tener en cuenta el origen o la identidad de los

solicitantes

OBJETIVIDAD, evaluar las propuesta tal como son, por sus

méritos y no por su potencialidad si se hicieran cambios

RIGOR, considerar únicamente los criterios de evaluación

oficiales y lo indicado en la convocatoria, y nada más

CONSISTENCIA, aplicar el mismo criterio a todas las propuestas

Respetar los plazos

Obligaciones y principios

El p

ap

el d

e lo

s e

va

lua

do

res


CONFIDENCIALIDAD

-No discutir aspectos de la evaluación con nadie

-No contactar con socios, subcontratados o terceras partes del

consorcio

-No difundir nombres del comité de evaluación

-Mantener la confidencialidad de los documentos

Obligaciones y principios

CONFLICTO DE INTERESES

- Beneficiarse de cualquier manera, relación persona/familiar…

con algún solicitante

-Identificar el COI, informar a la Comisión

-Medidas: no participar en la evaluación de alguna propuesta

concreta ni en la fase de consenso

El p

roc

ed

imie

nto

de

ev

alu

ac

ión


El proceso de evaluación en la práctica

El p

roc

ed

imie

nto

de

ev

alu

ac

ión


Procedimiento similar en convocatorias de una o dos etapas

El p

roc

ed

imie

nto

de

ev

alu

ac

ión


Receipt of proposals

Individual evaluation

Consensus report

Finalisation

Evaluators

Individual Evaluation Reports

(Remote)

Consensus Report

(Remote)

Evaluation Summary Report

Eligibility check

Allocation of proposals to evaluators

Commission/Agency Commission/Agency

Second stage

First stage (April-May)

Evaluación en dos-etapas

El p

roc

ed

imie

nto

de

ev

alu

ac

ión


Receipt of proposals

Individual evaluation

Consensus report

Finalisation

Evaluators

Individual Evaluation Reports

(Remote)

Consensus Report

(Central)

Evaluation Summary Report

Eligibility check

Allocation of proposals to evaluators

Commission/Agency Commission/Agency

Funding decision

Second stage (September-October)

Evaluación en dos-etapas

Crite

rio

s d

e e

va

lua

ció

n


Informe de evaluación individual:

puntuación

• De 0 a 5 en cada criterio:

•Excelencia (peso 100%, prioridad 2)

•Impacto (peso 100%, prioridad 1)

•implementación (peso 100%, prioridad 3)

• Debe superar el 3 en cada uno de ellos y

10 en total

• La puntuación debe ser coherente con

los comentarios

Poor

Fair

Good

Very Good

Excellent

0

1

2

3

4

5

Crite

rio

s d

e e

va

lua

ció

n


• Clarity and pertinence of the objectives

• Soundness of the concept, including trans-disciplinary considerations, where relevant

• Extent that proposed work is ambitious, has innovation potential, and is beyond the state of the art (e.g. ground-

breaking objectives, novel concepts and approaches)

• Credibility of the proposed approach

Exce

llen

ce

• The expected impacts listed in the work programme under the relevant topic

• Enhancing innovation capacity and integration of new knowledge

• Strengthening the competitiveness and growth of companies by developing innovations meeting the needs of European and global markets; and, where relevant, by delivering such innovations to the markets

• Any other environmental and socially important impacts (not already covered above)

• Effectiveness of the proposed measures to exploit and disseminate the project results (including management of IPR), to communicate the project, and to manage research data where relevant

Imp

act

• Coherence and effectiveness of the work plan, including appropriateness of the allocation of tasks and resources

• Complementarity of the participants within the consortium (when relevant)

• Appropriateness of the management structures and procedures, including risk and innovation management Im

ple

men

tati

on

Scope of the proposal/Operational capacity. Se evalúan pero no se puntúan

Crite

rio

s d

e e

va

lua

ció

n


Puntuación

The proposal fails to address the criterion or cannot be assessed due to

missing or incomplete information.

Poor. The criterion is inadequately addressed, or there are serious

inherent weaknesses.

Fair. The proposal broadly addresses the criterion, but there are

significant weaknesses.

Good. The proposal addresses the criterion well, but a number of

shortcomings are present.

Very Good. The proposal addresses the criterion very well, but a small

number of shortcomings are present.

Excellent. The proposal successfully addresses all relevant aspects of

the criterion. Any shortcomings are minor.

0

1

2

3

4

5

Crite

rio

s d

e e

va

lua

ció

n


Fase de consenso

3 a 5 expertos por panel, se obtiene el informe final de conseso que servirá para decidir la financiación

No es una re-evaluación y ni un promedio de puntuaciones,

se trata de llegar a un acuerdo considerando todas los comentarios individuales

Se discuten comentarios positivos y negativos de todos los

revisores

Es importante que las puntuaciones individuales estén bien

justificadas (con hechos, comentarios precisos, uso de

ejemplos o referencias a puntos concretos de la propuesta)

Crite

rio

s d

e e

va

lua

ció

n


Cada evaluador tiene acceso a los comentarios de todo el

panel antes de la reunión

Participa un moderador/observador/facilitador de parte de

la Comisión

Énfasis en la coherencia entre comentarios

positivos/negativos y puntuación

Si hay varios paneles, un miembro del comité participa en

otra reunión posterior con representantes de otros paneles

para llegar a una lista definitiva

Fase de consenso


-Claridad y concisión en elementos claves que responden

directamente a los aspectos a evaluar

-Evitar que tenga que interpretar o relacionar nuestra propuesta

con los objetivos y retos de la convocatoria. Usar el mismo

lenguaje e ideas clave, literalmente!

-Transmitir la idea de se conoce perfectamente el tema del

proyecto, desde todos los ángulos y que todo lo relevante e

incluso lo no relevante, está previsto (así confiará y puntuará mejor

los aspectos que menos conoce)

-Cuidar la estructura para facilitar la comprensión:

-lista de acrónimos si se usan muchos,

-estructuras agrupando conceptos o métodos,

-cajas para resaltar elementos clave …

PONERSELO FÁCIL y “VENDER” EL

PROYECTO AL EVALUADOR:

Co

me

nta

rio

s fin

ale

s

Co

me

nta

rio

s fin

ale

s


Una propuesta no se puede improvisar,deber ser una

buena idea, bien elaborada, Y ADEMÁS:

Encajar perfectamente con:

• ámbito y retos específicos de la convocatoria y

demostrarlo, no dejarlo a la interpretación del revisor

•y con los principios del H2020:

• Basado en abordar retos

• Enfocado al impacto y la innovación

• Trans-disciplinar y trans-sectorial

• papel relevante y activo de los usuarios finales

•Prestar atención a aspectos transversales: dimensión

socio-económica (SSH), RRI, género, cooperación internacional,

difusión open-access, desarrollo sostenible…


Gracias por su atención

"La visión del evaluador", por Maria Patrocinio González Dugo - Área de Ingeniería y Producción...

Environment

Transcript of "La visión del evaluador", por Maria Patrocinio González Dugo - Área de Ingeniería y Producción...