Post on 10-Jan-2017
III JornadaRed Española de Agencias de Evaluación de Tecnologí as Sanitarias y Prestaciones del Sistema Nacional de Salud
Zaragoza, 1 de diciembre de 2016
Grandes retos presentes y futuros
Evaluar tecnologías basadas en mHealth. ¿Es posible un marco común de evaluación?
Elisa Puigdomenech
Agència de Qualitat i Avaluació Sanitàries de Catalunya (AQuAS)
ANTECEDENTES
mHealth (mSalud/ salud móvil) “medical and public health practice supported by
mobile devices , such as mobile phones, patient monitoring devices, personal digital
assistants (PDAs), and other wireless devices (OMS, 2011)
Información Accesibilidad
�Potencian universalizaciónatención sanitaria(prevención, tratamiento,...)
�Empoderamiento paciente
� Más de 100.000 appsmédicas
�Rompen barreras físicas
Instantaneidad Heterogeneidad
�Facilita al instante la información relevante para la salud
�Comunicación instantaneacon el profesional sanitario
�Elevada heteorogeneidad
ANTECEDENTES
Chronic care,
disease management
Health, wellness,
fitness
Professional support
Patient education and advocacy
Acute care, virtual visits
OBJETIVO Proponer marco colaborativo para la evaluación de las soluciones de mHealth
potenciando así un ambiente más colaborativo para salvaguardar el bienestar de los pacientes
y ciudadanos a la vez que se fomenta la inovación tecnológica
�Revisión bibliográfica
�Grupos focales con expertos y paceintes
�Propuesta modelo
METODOLOGÍAREVISIÓN MODELOS EXISTENTES
ORCHA (Organisation for the Review of Care and Health Appl ications)
Repositorios de Appshttp://www.imedicalapps.com/http://myhealthapps.net /
WHO. mobile health (mHealth) evidence reporting and assessment (mERA) checklist
Infraestructura, plataforma tecnológica, interopera bilidad,
intervención, (contenido, periodicidad), UX, coste s,
limitaciones, contexto
METODOLOGÍAREVISIÓN MODELOS EXISTENTES
Distintivo App Saludable.Agencia de Calidad Sanitaria de Andalucía
AppSalut. Acreditación Apps. TIC Salut
Calidad y seguridad de la App. Evalúa 4 bloques: di seño y
pertinencia, Calidad y seguridad de la información,
Prestación de servicios, Confidencialidad y Privaci dad
Acreditación de aplicaciones. App. Evalúa 4 bloque s: usabilidad,
aspectos tecnológicos, seguridad y contenido clínic o
METODOLOGÍAREVISIÓN MODELOS EXISTENTES
MAST: Model for Assessment of Telemedicine application s
Evaluación del impacto de un servicio basado en TIC s (incluyendo telemedicina) con el objetivo de
informar y dar apoyo a la toma de decisiones basada en evidencia científica (condición clínica y
tecnología eHealth, efectividad y seguridad clínica , UX, impacto económico y organizativo, aspectos
éticos, legales y culturales) (Kidholm K et al. MAST (2012). Interl J of Tech Asses s in Health Care (vol. 28, n. 1, p. 44-51)
Consulta sobre las barreras existentes y cuestiones
relacionadas con la salud móbil, identificación del
camino a seguir para potenciar la salud móbil
Green paper on Mobile Health
EU Working group on mHealth assessment guidelines
Grupo de trabajo (sociedad civil, organizaciones
investigación y usuarios, industria) para desarroll ar
directrices para evaluar la validez y fiabilidad de la msalud
METODOLOGÍAESTUDIO CUALITATIVO
Objetivo: Explorar las actitudes, preferencias y experiencias y propuestas relacionadas con evaluación de las soluciones de mHealthde profesionales de distintos perfiles y usuarios
Profesional H M Total (N)Profesionales sanitarios que usanapps en sus programas de atención(neumología, medicina interna, de familia,epidemiologia)
5 1 40%
Desarrolladores (“Enfermera virtual”,“Medtep”, “Eurecat”, “HealthApp”)
3 2 33,3%
Investigadoras (epidemiólogas, expertas enevaluación-impacto, investigación en actividadfísica)
- 4 26,7%
UsuariosRelojes inteligentes ( SmartWatch) 2 - 22,2%Apps control período menstrual - 2 22,2%Apps de actividad física yalimentación
1 233,3%
Apps de gestión sanitaria y saludinfantil
- 222,2%
METODOLOGÍAESTUDIO CUALITATIVO
¿Necesidadevaluación?
Sí unánime
Fomenta la transparencia
Necesidadcriterios
Elevada complejidad
Puedeinfluenciar en la elección de
la App
No debe ser una barrera
Si es un apoyoal tratamiento
�Objetivo /finalidad App
�Fiabilidad
�Sensibilidad de la información recogida
�Apoyo al tratamiento o de promoción de la salud
�Riesgo para la salud
�Muchas apps disponibles en el mercado
�Campo cambiante
�Dificultad de medir su impacto en salud a corto, medio y largo plazo
�¿Cómo evaluar si las mediciones son precisas o no?
METODOLOGÍAESTUDIO CUALITATIVO
DIMENSIÓN ASPECTO CONCRETO U PS I D
TÉCNICA
Precisión técnica (de los instrumentos de medida)
✔ ✔
La aplicación se orienta al objetivo planteado ✔ ✔ ✔
La aplicación cumple el objetivo inicial ✔ ✔ ✔ ✔
USABILIDAD
Usabilidad (interfaz amigable, intuitiva…) ✔ ✔ ✔
Aceptabilidad por parte de usuarios ✔
Adaptabilidad, personalización para el usuario ✔ ✔
Intención inicial de uso ✔
Niveles de uso, adherencia ✔ ✔
FIABILIDAD CONFIANZA
Fiabilidad los parámetros que se utilizan ✔ ✔
Agentes involucrados ✔ ✔
EFICACIA
Efectividad ✔ ✔ ✔
Coste-beneficio ✔ ✔ ✔
Seguimiento a largo plazo ✔ ✔
Motivación, niveles de adherencia ✔
SEGURIDAD
Seguridad percibida por el paciente ✔
Seguridad clínica ✔ ✔ ✔
Posibles efectos adversos ✔ ✔ ✔ ✔
Niveles de seguridad y privacidad ✔ ✔ ✔
U: Usuarios; PS: profesional sanitario; I: Investigador; D: desarrollador
METODOLOGÍAESTUDIO CUALITATIVO
• Entidades externas y reconocidas
• Equipos interdisciplinares
• Ajenos a los desarrolladores
Agentesevaluadores
• Sello distintivo que garantize que la solución de mSaludno es perjudicial para la salud
• ¿Costes de certificación?
• Propuesta de proceso de co-creación y co-diseñoCertificación
• Necesidad de actualizar métodos disponibles; actuales son demasiado estáticos para una tecnología tan dinámica y cambiante
• Combinar aproximaciones cuantitativas y cualitativas
• Equipos multidisciplinares (desarrolladores, clínicos y usuarios)
• Peer review antes del lanzamiento
Metodología de evaluación
RESULTADOS
1. ¿Qué soluciones se deben evaluar?
2. ¿Quiénes son los potenciales usuarios?
3. ¿Cuáles son los dominios y sub dominios que deben
considerarse?
4. ¿Cuál es el mejor proceso a seguir?
RESULTADOS
Se puede utilizar para la evaluación de un amplio espectro de soluciones de mSalud e inovaciones
� Evaluación de soluciones como PRODUCTOS en un momentodeterminado (la evaluación seria necesaria para cada nueva versión)
� Evaluar el SERVICIO donde la app es sólo uno de los elementos
¿Qué soluciones se deben evaluar?
RESULTADOS
¿Usuarios potenciales?
Macro
• Public
authorities
• Policy
makers
• …
Macro
• Public
authorities
• Policy
makers
• …
Meso
• Hospital
Managers
• Health
insurances
• Academia
• …
Meso
• Hospital
Managers
• Health
insurances
• Academia
• …
Micro
• H Prof
• Patients
• Citizens
• Developers
• …
Micro
• H Prof
• Patients
• Citizens
• Developers
• …
RESULTADOS
Modelo escalonado
�Matriz de clasificación del riesgo: combinando el r iesgo del tipo de la intervención y el del paciente
�Usuarios: Pacientes, profesionales, cuidadores, ... o todos juntos
�Integración : por sí solas o completamente integrad as
Pre-evaluación
RESULTADOS
Modelo escalonado
Propia de cada contexto y Referencia para los evalu adores
Puede incluir:�Finalidad de la app (monitorizar, guía, tratamiento)�Nivel de desarrollo�Seguridad y privacidad�Usabilidad�Funcionalidades
Checklist
- Usuarios
- Organización
- Sistemas de atención
social y sanitaria
- Comunidad
- Usuarios
- Organización
- Sistemas de atención
social y sanitaria
- Comunidad
- Usuarios
- Organización
- Sistemas de atención
social y sanitaria
- Comunidad
- Usuarios
- Organización
- Sistemas de atención
social y sanitaria
- Comunidad
RESULTADOS
Dominios y subdominios
�Seleccionados en función del propósito de la evalua ción
�Pueden depender del tipo de solución de mHealth
�Metodología cualitativa y cuantitativa
�Pocas herramientas validadas
Madureztecnológica Beneficios
RiesgoRecursos necesarios
mHealth
Modelo escalonado
BENEFITS
User Organization HC system Community
Clinical(improvement in health outcomes,
mortality, quality of life, exacerbations,
disease complications, etc)
Process-improvements
(decreased waiting times, work load)
Quality improvements
(improved coordination of care)
Improved general health (decreased disease prevalence
and incidence, QALYs gained)
Behavioural change (healthy lifestyles, self-management)
Quality improvements
(higher case resolution, decreased
hospit rates)
Economical (cost and time savings, cost-effectiveness)
Increased productivity
(decreased disability rates, lost work days)
Empowerment and satisfaction and
improved access to care
User satisfaction Improved generalhealth (disminution of
prevalence and incidence of a disease
Enhance collaboration
through information sharing
RESULTADOS
RISKS
User Organization HC system Community
Technical(data-related: leak,
loss, error; etc..)
Technical(data-related: leak,
loss, error; etc..)
Decrease in quality of care
(when ineffective solutions are implemented)
increased access inequality
(if cost for the end user is too high)
Clinical and behavioural
(adverse effects; anxiety, addiction);
Decrease in quality of care
(not integrated or in contradiction with
operating pathways & protocols)
Economical (increased costs due to technical
or clinical cost, overuse of services)
Unintended consequences (environmental changes, etc)
Inadequate contents (reliability)
(not evidence-based information sources,
lack of update mechanisms)
Economical(increased costs if the
solution is not cost-effective, or due to
overuse of services)
Increased access inequality (if cost for
the end user is too high)
Overdiagnosis
RESULTADOS
TECHNICAL MATURITY/ READINESS
User OrganizationHealth & social care
systemCommunity
UsabilityRobustness of the technical system
Interoperabilitystandards compliance
Legal compliance(data protection)
User experienceInteroperability
standardscompliance
Technical validity and precision
(measures what it says)
Regulatory/market compliance
(if a medical device)
User-centreddesign
Clinical integration with
operating IT systems
Reliability of measures
Acceptability
Process integration with operating clinical
pathways and protocols
Replicability
RESULTADOS
RESOURCES NEEDED (AFFORDABILITY/FEASIBILITY)
User Organization HC system Community
Technical literacy Training provided Training provide dEnvironmental
changes
Training received Logistics
Initial investment costs (devices, infrastructure,
network)
Cost paid by the user
Initial investment costs (devices, infrastructure,
network)
RESULTADOS
RESULTADOS
Dominios y subdominios EVALUACIÓN
Generación de evidencia
REGULACIÓN
USUARIOS FINALESDecisiones Informadas
Población diana?
PROVEEDORESRe-diseño de servicios
DESAROLLADORESMejoras Tecnológicas
Generación de evidencia
RESULTADOS
Dominios y subdominios
Evaluación iterativa
DISCUSIÓNREFLEXIONES / RECOMENDACIONES
� Conviene definir cuál es el objetivo de la evaluación
� Evaluación a medida según pre-evaluación (clasificación) y objetivo
� Conviene identificar herramientas de evaluación de los diferentes dominios y subdominios que estén validadas
� Existe un “gap” de conocimiento importante sobre cuál es el mejor diseño de estudio para evaluar la salud móvil
� El equipo evaluador es importante que sea multidisciplinar
� El proceso de evaluación debe ser iterativo
� Es importante adaptar la evaluación al contexto de cada zona
ACTIVIDADES FUTURAS
� Descripción del uso de la mHealth. Ej: ¿quién/qué/por qué se recomienda algunas soluciones de mHealth?
� Consenso sobre qué y como evaluar la mHealth
� Creación de una red de evaluadores
� Formarnos en UX
� Propuesta conjunta TIC salut-AQuAS: certificación y evaluación efecto en salud
� Repositorio de apps evaluadas
� …
III JornadaRed Española de Agencias de Evaluación de Tecnologí as Sanitarias y Prestaciones del Sistema Nacional de Salud
Grandes retos presentes y futuros
¡Muchas gracias!epuigdomenech@gencat.cat
E. Puigdomenech, C. Carrion, S.F. Gómez, C. Almazan, M. Espallargues
Agència de Qualitat i Avaluació Sanitàries de Catalunya (AQuAS)
TransLab Research Group, Facultat de Medicina, Universitat de Girona
Universitat Oberta de Catalunya (UOC)
Red de Investigación en Servicios Sanitarios en Enfermedades Crónicas (REDISSEC)
CIBER de Epidemiología y Salud Pública (CIBERESP)