Mobile Testing: Qué tener en cuenta y trampas a evitar

Post on 21-Jan-2018

156 views 2 download

Transcript of Mobile Testing: Qué tener en cuenta y trampas a evitar

José MuñozBusiness Presales

Gracias por vuestro tiempo

Para cualquier duda, por favor, sentíos libres de hablar conmigo durante los descansos y visitar nuestro stand para saber más de Globe Testing y nuestros servicios: “Pruebas de Software Bien Hechas”

+10 años de experiencia en el ámbito de la calidad

Hace 10 años: Smartphones

Y de repente…

Uso del móvil

Evolución del móvil

Hemos incrementado las expectativas…

…Y llegado a esto

Las app 5 estrellas requieren atención constante

Notificaciones Push

GPS

Cartera y pago

Social

“Pitfalls to avoid”

¿Y estos globos?

1. Selección de Dispositivos

Cuota de dispositivos

Compañía 2Q16Unidades

2Q16 Cuota Mercado(%)

2Q15Unidades

2Q15 Cuota Mercado(%)

Samsung 76,743.5 22.3 72,072.5 21.8

Apple 44,395.0 12.9 48,085.5 14.6

Huawei 30,670.7 8.9 26,454.4 8.0

Oppo 18,489.6 5.4 8,073.8 2.4

Xiaomi 15,530.7 4.5 15,464.5 4.7

Others 158,530.3 46.0 160,162.1 48.5

Total 344,359.7 100.0 330,312.9 100.0

Ventas de Smartphones a nivel mundial a usuarios finales 2Q16 (miles de unidades). Gartner (Agosto 2016)

Fragmentación Android

Selección de Dispositivos

• ¿Cuántos dispositivos utilizo? ¿Qué

dispositivos utilizo?

• Escoge 2:

– Bien (funcionalidad)

– Rápido (tiempo)

– Barato (dinero)

Testing en emuladores

https://mobile1st.com/emulators-lie/#emulators

Testing en emuladores

https://mobile1st.com/emulators-lie/#emulators

Emuladores vs Real

• “Emulators don’t test the rendering engine”

• “Handset emulators are useful for early

functional testing but are not a substitute

for access to real devices” – Gartner

Laboratorio de dispositivos. ¿Propio?

¿Qué necesitas?

1. Dispositivos

2. Navegadores

3. Equipos

4. Redes

5. Automatización

6. SAN

7. Gente

Precios de un laboratorio

Dispositivos « Must » Dispositivos « Major » Dispositivos « Market »

Dispositivos ~4 ~10 20-40Nuevos

Disp.~1 por cuatrimestre ~2 por cuatrimestre ~10 por cuatrimestre

Fuente Emuladores + Disp Dedicados Disp. Dedicados Disp. Compartidos

Test Unitarios

Sanity

Regresión

Interoperabilidad

Compatibilidad

Desarrollo QA Producción

3M’s

2. El móvil y su interacción

Problemáticas con el dispositivo

• Servicios de localización on/off

• Nivel de batería

• Interacción con otras apps

• Permisos y configuración de notificaciones

• Brillo de la pantalla

• Llamadas y mensajes entrantes

• Acciones sobre botones físicos del dispositivo

• …

Testing in the wild (Crowdsourcing)

• “Taking a job traditionally performed by a

designated employee and outsourcing it to

an undefined, generally large, group of

people in the form of an open call”

• E.g. Wikipedia

3. Automatización

Mitos de Automatización

• “We can’t take the time to automate.”

• “Because of fragmentation, it’s just not possible to get

broad device coverage.”

• “We can only afford manual

testing”.

• “Automation replaces

manual testing.”

4. Disponibilidad de servicios

Servicios de 3os

• No completado

• Aun en evolución

• Controlado por un tercero o partner

• Solo disponible para pruebas con capacidad limitada o a horas inapropiadas

• Difícil de provisionar o configurar en un entorno de pruebas

• Restringido o muy caro de usar para pruebas de L&P

Existing Infrastructure

Los servicios virtuales se crean para reemplazar a los servicios reales

cuando los desarrolladores o testers los necesitan

Mainframe

JDBC

SOAP

RFC/IDOC

MQ/CICS

Third Party

Application Under Test

Mobile App

Web browser

Composite Application

API

SAP System

Existing database

Web service andLegacy application

RESTPay-per-transaction

Underconstruction

Service Virtualization

SOAPRESTJDBCMQRFCCICS

Simulation

Data

Perf.

Config

Service Virtualization

CongruentDevice Selection

Automate ASAP

Virtualize

Tiempo de Preguntas