A P2P platform supporting virtual communities to assist independent living of senior citizens

Trials

El protocolo de evaluación del proyecto contemplaba pruebas en España y en Grecia en diferentes momentos del proyecto y utilizando diferentes versiones del sistema. En total, 40 personas participaron en estas pruebas: 19 en España y 21 en Grecia. En España, los usuarios fueron captados a través de los grupos de memoria organizados por Ingema. En Grecia, los usuarios pertenecían a clubs de personas mayores a los que AEDA tiene un acceso directo a través de la Municipalidad de Atenas. Para las pruebas se preparó y se complementó el sistema PeerAssist con varias opciones y funciones, la mayoría de las cuales se derivaban del informe D2.2 (Definición de los escenarios de uso de PeerASsist) y del informe D2.3 (Definición de los requerimientos generales, las pruebas y la demostración), en los cuáles se recogían las preferencias y necesidades de los usuarios.

En España, según la metodología que se diseñó, las pruebas se desarrollaron en parejas. Concretamente, había un usuario y un evaluador en una habitación y otro usuario con otro evaluador en otra habitación. Cuando los usuarios llegaban al laboratorio donde tenían lugar las pruebas, recibían instrucciones sobre cómo usar el sistema siguiendo una serie de tareas concretas diseñadas por el consorcio de PeerAssist. Durante las evaluaciones, los usuarios eran guiados por un asistente personal que estaba físicamente presente para hacerles sentir más cómodos durante las pruebas. Después de las primeras pruebas en España, se fijó una segunda fecha en un plazo de una semana con el objetivo de que volvieran a probar el sistema PeerAssist de nuevo y de que informaran sobre las diferencias en la percepción del sistema entre las dos pruebas.

Las pruebas en Grecia se basaron en las realizadas en España, aprovechando la experiencia y la evaluación general obtenida en España y utilizando una versión mejorada del interfaz de usuario que fue diseñada en base a los comentarios de los usuarios de las pruebas en España. La metodología de evaluación en Grecia incluyó parejas de usuarios que probaron el sistema en las instalaciones de AEDA, y también usuarios que se comunicaron a través de PeerAssist desde sus casas, experimentando el mismo conjunto de escenarios desde su propio entorno, lo cual permite una experiencia más realista. A continuación se pueden ver algunas de las fotografías de las pruebas.

evaluation

Tanto en España como en Grecia, se evaluaron las siguientes funciones del sistema PeerAssist:
CaracterísticaDescripción
UsabilidadEn qué medida es fácil y agradable utilizar estas características

Este es un atributo de calidad que evalúa hasta qué punto es fácil utilizar los interfaces de usuario. La palabra "usabilidad" también se refiere a los métodos para mejorar la facilidad de uso durante el proceso de diseño.

Es también la evaluación funcional de las capacidades del sistema: utilidad relacionada con las capacidades del sistema, las nuevas capacidades alternativas de las que se puede beneficiar el usuario y las relaciones sinérgicas indirectas entre el usuario y la interacción con el sistema.
AceptaciónLa respuesta relacionada con la aceptación, la tolerancia y con cuánto le gusta a un usuario el sistema que está probando. Incluye similitudes personales, confianza, fiabilidad, etc. Hay dos factores que influyen en la decisión: utilidad percibida y facilidad de uso percibida.
AccesibilidadEs el grado en el cuál un producto, dispositivo, servicio o entorno está disponible para el mayor número de gente posible. Describe su facilidad de ser alcanzado, utilizado y entendido. En términos de experiencia del usuario, diseñarlo puede estar también relacionado con la inteligibilidad global de la información y las características presentadas al usuario. Esto contribuye a acortar la curva de aprendizaje del sistema.
Tiempo para completar la tareaEl tiempo que un usuario tarda en completar unas tareas concretas. Naturalmente, esta variable influye en las características descritas arriba.


El estudio se llevó a cabo en 9 pasos:

1. Introducción y consentimiento informado
2. Datos sociodemográficos
3. Escenario 1 “Perfil de usuario” – Cuestionario de después del escenario (ASQ)
4. Escenario 2 “Perfil social” – Cuestionario de después del escenario (ASQ)
5. Escenario 3 “Búsqueda de servicio” – Cuestionario de después del escenario (ASQ)
6. Escenario 4 “Cuidadores” – Cuestionario de después del escenario (ASQ)
7. Escenario 5 “Notificaciones” – Cuestionario de después del escenario (ASQ)
8. Cuestionario Post-Estudio de Usabilidad del Sistema (PSSUQ)
9. Cierre

Respecto al perfil de usuario, al principio los criterios de inclusión para participar en la evaluación fueron: persona mayor de 60 años, sin deterioro cognitivo, en buenas condiciones físicas y mentales, vivir independientemente y ser activo. Por otra parte, teniendo en cuenta la esencia del proyecto PeerAssist, no fue necesario que los usuarios estuvieran familiarizados con las nuevas tecnologías.

Perfil del usuarioPersona mayor (60+ años)
Sin deterioro cognitivo
Buenas condiciones físicas
Buenas condiciones mentales
Vivir independientemente
Estilo de vida activo


Los usuarios llevaron a cabo algunas tareas que se desarrollaron en base a los escenarios del informe D2.2 (Definición de los escenarios de uso de PeerAssist) y explicados en detalle en el informe D6.1 (Informe del Diseño de Evaluación). Durante la evaluación, cada usuario estuvo acompañado por un asistente. Las principales funciones del asistente fueron:

- Introducir los detalles de la plataforma
- Explicar el consentimiento informado y responder a las posibles dudas y preguntas
- Ayudar a la persona si esta no era capaz de realizar las tareas tras intentarlo
- Observar el comportamiento de los usuarios
- Administrar los cuestionarios

Respecto a la recogida de los datos, se utilizaron diferentes metodologías. Una de estas clasificaciones es la que depende del grado de interacción entre los usuarios y los asistentes. De acuerdo con esta clasificación, hay una división en tres categorías: solo observación, interacción con el usuario y método complementario. Es muy importante seleccionar el método que mejor satisface los objetivos de nuestro estudio y que tiene en cuenta los recursos disponibles para realizar las evaluaciones.

En nuestro caso, debido a la necesidad de interacción entre el usuario y el asistente, escogimos la opción mixta de observación y la entrevista ad-hoc con cuestionarios validados. Una de las principales ventajas de la metodología mixta es la oportunidad de ver al usuario interaccionando con el sistema y, en algunos momentos concretos, hacerle preguntas sobre su ejecución.

Todos los usuarios siguieron la misma ruta con el fin de poder interaccionar con otros participantes. La ruta se puede ver a continuación:

evaluation process face


CONCLUSIONES

Como los usuarios fueron personas de entre 60 y 82 años y no todos ellos eran hábiles con el uso de un ordenador, los resultados han sido un poco más bajos que si hubiéramos trabajado con usuarios con más experiencia. Como ejemplo, cabe mencionar que la mayoría de los usuarios no conocían conceptos como blog, chat, video conferencia, etc. Debido a esto, algunos de ellos necesitaron ayuda de los asistentes para poder realizar las diferentes tareas: crear el perfil, elegir las opciones, etc. Sin embargo, algunos usuarios hicieron las tareas sin la necesidad de mucha ayuda, incluyendo los usuarios que se llevaron los terminales de PeerAssist a sus casas y realizaron las pruebas desde allí. La mayoría de los usuarios comentaron que, con un entrenamiento previo y con más experiencia, ellos podrían utilizar el sistema PeerAssist sin muchas dificultades. Los usuarios con menos experiencia dijeron que ellos preferían el teléfono cuando se tenían que comunicar con otra persona, pero si se trataba de comunicar el mismo mensaje a varias personas ellos preferirían utilizar un grupo de chat o una video-llamada. Algunos de los usuarios dijeron que ellos preferirían la video-llamada en comparación con el chat porque no están acostumbrados a escribir con un teclado o porque tienen dificultades al comunicarse por escrito y no quieren que estas dificultades queden en evidencia delante de otros. Todos los usuarios apreciaron mucho las notificaciones de emergencia a los cuidadores como una manera de obtener ayuda inmediata en caso de necesitarla y también la disponibilidad de tener acceso a servicios externos.

Las diferencies entre los resultados de Grecia y de España se debieron principalmente al uso de un interfaz de usuario mejorado en Grecia y a la relativa mayor familiaridad de los usuarios griegos con los ordenadores. Especialmente en España, los usuarios con menos experiencia necesitaron la ayuda de los asistentes para poder llevar a cabo los escenarios.



Instalment, a pesar del hecho de que a los usuarios les gustó la idea del sistema, ellos apenas pagarían por comprarlo en esta etapa. Basándose en este hecho, los planes de explotación actuales se dirigen a otras vías de ingresos, tales como anuncios, servicios externos, financiación pública, etc.

Para concluir, los resultados de la evaluación fueron muy prometedores. Siendo una versión de prueba, los usuarios apreciaron su utilidad y esperarían a verla en su uso real. A pesar de un corto periodo de entrenamiento, los participantes fueron capaces de explorar todas sus capacidades y de utilizarla de una forma relativamente fácil. No obstante, para un uso a gran escala, se debería prestar especial atención a las necesidades de entrenamiento de los usuarios, especialmente de aquellos que no tienen experiencia previa. Se puede cubrir fácilmente las debilidades identificadas con un esfuerzo moderado del consorcio.