Estrategia de pruebas

Descripción de la aplicación

Habitica es un gestor de tareas que nos permite cumplir nuestros objetivos diarios como si fuera un juego de roes, lo ideal es ir incrementando las habilidades de nuestro avatar cuando a medida que se van cumpliendo retos y distintas tareas.

La arquitectura de esta aplicación es Kotlin que corre sobre la máquina virtual de JAVA, el proyecto está construido con Gradle como administrador de paquetes incluyendo Android-tools. La aplicación sigue la arquitectura de cliente-servidor, donde el servidor utiliza el framework Express.js corriendo en Node.js y el cliente es la aplicación nativa.

Contexto de ejecución del proceso de pruebas

Para nuestro segundo sprint se cuenta con 3 Ingenieros y 4 horas semanales cada uno, los recursos a nivel general son simuladores Android de Genymotion con las características que se describen en la matriz de dispositivos. Las PC disponibles para las pruebas son:

Especificaciones
Dell Intel Core i7, RAM 16GB, 64 bit, Windows
Asus Intel Core i5, RAM 8GB, 64 bit, Windows
Asus Intel Core i7, RAM 8GB, 64 bit, Windows

Simuladores Android (Matriz de pruebas)
Google Nexus 6, Android 8 API 26, 1440*2560
Motorola Moto X, Android 4.4 API 19, 720*1280
Samsung A10, Android 9 API-28, 64 bit, 720*1520

Hemos aprovechado el uso de la herramienta Genymotion para utilizar diferentes versiones de OS y diferentes tamaños de pantallas para observar el funcionamiento de la aplicación.

Objetivos del proceso de pruebas

• Ejecutar pruebas pruebas E2E en la aplicación para encontrar errores los cuales serán reportados en la plataforma mantis.
• Detectar defectos de la aplicación a través de la realización de pruebas BDT.

Funcionalidades a probar

• Login
• Registro
• Editar avatar
• Visualizar tarea
• Hábitos
• Tareas pendientes
• Tarea diarias
• Recompensas
• Realizar búsqueda de tareas
• Crear equipo
• Invitar amigos a un equipo
• Editar equipo
• Invitar a una misión
• Enviar mensajes a miembros del equipo
• Cambiar de lenguaje la aplicación

Tipos y niveles de pruebas

se definió realizar pruebas a nivel sistema de tipo BDT sobre 15 funcionalidades de la aplicación móvil utilizando la herramienta Calabash. Esto se realiza con el objetivo de detectar defectos en la aplicación.

Resultados de las pruebas

A continuación se muestran las resultados de las pruebas realizadas. El repositorio con estas pruebas es el siguiente: https://github.com/NATHA1096/testing-scripts .

HabiticaApp

Hemos encontrado 6 defectos los cuales están reportados y relacionados en este enlace: https://titans.mantishub.io/login_page.php, allí se relaciona el error con sus respectivos archivos relacionados y el procedimiento que se siguió para poder reproducirlo.

Para este sprint nos hemos adentrado mas en la herramienta Calabash, por medio de la cual hemos realizado pruebas de tipo BDT que nos conducen a temas mas específicos de la aplicación y diseñar scripts mas acertados teniendo en cuenta no solo el comportamiento de la aplicación en un solo contexto sino en diferentes entornos (diferentes OS y diferentes tamaños de pantallas). Los resultados has sido satisfactorios puesto que ha sido posible identificar comportamientos erróneos en varios procesos para la versión 2.0.3 (2189). Lamentablemente para el moto X con android 4.4 no funciono la instalación de la aplicación por tener un SDK muy viejo. Para el Samsung A10 algunos scripts tiene problemas de retardo y ocasionalmente no reconoce algunas ordenes de presión de botón en ciertas areas o ciertos espacios, pero en lineas generales la aplicación se comporta muy similar a como lo hace en el Google Nexus que es nuestro simulador de pruebas principal, para nuestro cuarto sprint deseamos ampliar las pruebas a simuladores mas recientes para verificar el comportamiento de la aplicación en otros ambientes.

Click aqui para descargar directamente el video.