Δοκιμές
Η διαδικασία αξιολόγησης για το έργο περιελάμβανε δοκιμές στην Ισπανία και στην Ελλάδα, σε διαφορετικές χρονικές στιγμές και με διαφορετικές εκδόσεις του λογισμικού του συστήματος. Οι δοκιμές έγιναν με τη συμμετοχή σαράντα χρηστών: 19 στην Ισπανία και 21 στην Ελλάδα. Στην Ισπανία, οι χρήστες προήλθαν από τις ομάδες ηλικιωμένων που συνεργάζονται με την Ingema, ενώ στην Ελλάδα προσκλήθηκαν μέσα από τις Λέσχες Φιλίας όπου η ΑΕΔΑ έχει άμεση πρόσβαση μέσω του Δήμου Αθηναίων. Το σύστημα PeerAssist ολοκληρώθηκε και παραμετροποιήθηκε με διάφορες επιλογές και χαρακτηριστικά, τα περισσότερα από τα οποία προήλθαν από τα παραδοτέα D2.2. (PeerAssist use scenarios definition) και D2.3. (Definition of global requirements, trials and demonstration), στα οποία συλλέχθηκαν οι προτιμήσεις και οι ανάγκες των χρηστών.
Στην Ισπανία, η μεθοδολογία για τις δοκιμές αναπτύχθηκε έτσι ώστε αυτές να εκτελούνται από ζευγάρια χρηστών. Πιο συγκεκριμένα, υπήρχε ένας χρήστης και ένας αξιολογητής σε ένα δωμάτιο και ένας άλλος χρήστη με τον άλλο αξιολογητή σε ένα διαφορετικό δωμάτιο. Μόλις οι χρήστες έφταναν στο εργαστήριο όπου διεξήχθησαν οι δοκιμές, καθοδηγούνταν ώστε να χρησιμοποιήσουν το σύστημα, ακολουθώντας μια συγκεκριμένη διαδρομή που σχεδιάστηκε από την ομάδα εργασίας του PeerAssist. Σε όλη τη διάρκεια των δοκιμών ένας βοηθός ήταν πάντα παρών για να τους κάνει να αισθάνονται πιο άνετα. Μετά την πρώτη τους επίσκεψη στην Ingema, καθορίστηκε μια δεύτερη ημερομηνία για την επόμενη εβδομάδα, προκειμένου οι ίδιοι χρήστες να έχουν τη δυνατότητα να δοκιμάσουν το σύστημα και πάλι, ώστε να παρατηρηθούν οι διαφορές στην εμπειρία τους μεταξύ των δύο δοκιμών.
Οι δοκιμές στην Ελλάδα ακολούθησαν χρονικά αυτές στην Ισπανία, αξιοποιώντας την τεχνογνωσία και τη συνολική αξιολόγηση από εκεί, και χρησιμοποιώντας μια βελτιωμένη διεπαφή χρήστη (user interface) που σχεδιάστηκε για να αντιμετωπίσει τα σχόλια των χρηστών από τις ισπανικές δοκιμές. Η μεθοδολογία αξιολόγησης στην Ελλάδα περιελάμβανε τόσο ζευγάρια χρηστών που χρησιμοποίησαν το σύστημα στις εγκαταστάσεις της ΑΕΔΑ, όσο και χρήστες που επικοινώνησαν μέσω του PeerAssist από τα σπίτια τους, διατρέχοντας ελεύθερα το ίδιο σύνολο των σεναρίων από το δικό τους άνετο περιβάλλον τους, ώστε να έχουν μια πιο ρεαλιστική εμπειρία. Μερικές φωτογραφίες από τις δοκιμές περιλαμβάνονται παρακάτω.
Και στις δύο σειρές δοκιμών, αξιολογήθηκαν τα ακόλουθα χαρακτηριστικά του συστήματος PeerAssist:
| Χαρακτηριστικό | Περιγραφή |
| Χρηστικότητα | Πόσο εύκολα και ευχάριστα είναι τα χαρακτηριστικά να χρησιμοποιούνται. Αυτό είναι ένα ποιοτικό χαρακτηριστικό που αξιολογεί πόσο εύκολα χρησιμοποιείται η διεπαφή χρήστη. Η λέξη «χρηστικότητα» αναφέρεται επίσης σε μεθόδους για τη βελτίωση της ευκολίας χρήσης κατά τη διάρκεια της διαδικασίας σχεδιασμού. Αφορά επίσης τη λειτουργική αξιολόγηση των ικανοτήτων του συστήματος: χρησιμότητα που σχετίζεται με τις σχεδιαζόμενες δυνατότητες, νέες εναλλακτικές δυνατότητες που ο χρήστης μπορεί να αξιοποιήσει, και γενικότερες σχέσεις αλληλεπίδρασης μεταξύ χρήστη και συστήματος. |
| Αποδοχή | Πόσο ένας χρήστης θέλει το σύστημα που δοκιμάζει. Περιλαμβάνει την υποκειμενική γνώμη του, την αξιοπιστία κ.λπ. Δύο παράγοντες επηρεάζουν την απόφαση: η αντιλαμβανόμενη χρηστικότητα και τις αντιλαμβανόμενη ευκολία στη χρήση. |
| Προσβασιμότητα | Αφορά το βαθμό που ένα προϊόν, συσκευή, υπηρεσία, είναι διαθέσιμη σε όσο το δυνατόν περισσότερους ανθρώπους. Περιγράφει την ευκολία στην πρόσβαση, τη χρήση και την κατανόηση. Όσον αφορά το σχεδιασμό της εμπειρίας του χρήστη, μπορεί επίσης να σχετίζεται με τη συνολική κατανόηση των πληροφοριών και των χαρακτηριστικών που παρουσιάζονται στο χρήστη. Συμβάλλει στο να μειώσει την καμπύλη εκμάθησης που σχετίζεται με το σύστημα. |
| Χρόνος ολοκλήρωσης ενεργειών | Είναι ο χρόνος που απαιτείται από το χρήστη για να ολοκληρώσει μια συγκεκριμένη ενέργεια. Όπως είναι φυσικό, αυτό επηρεάζει και τα άλλα χαρακτηριστικά που αναφέρθηκαν παραπάνω. |
Η μελέτη διεξήχθη σε 9 βήματα:
1. Εισαγωγή και συναίνεση συμμετοχής
2. Κοινωνικο-δημογραφικά δεδομένα
3. Σενάριο 1 "Προφίλ χρήστη"
4. Σενάριο 2 "Κοινωνικό προφίλ"
5. Σενάριο 3 "Υπηρεσία αναζήτησης"
6. Σενάριο 4 "Φροντιστές"
7. Σενάριο 5 "Ειδοποιήσεις"
8. Ερωτηματολόγιο χρηστικότητας του συστήματος (PSSUQ)
9. Ολοκλήρωση
Όσον αφορά το προφίλ των χρηστών, αρχικά τα κριτήρια ένταξης για συμμετοχή στην αξιολόγηση αφορούσαν ενήλικες ηλικίας μεγαλύτερης από 60 ετών, χωρίς προβλήματα επικοινωνίας και αντίληψης, σε καλή σωματική και ψυχική κατάσταση, που ζουν ανεξάρτητοι και είναι κοινωνικά ενεργόι. Από την άλλη πλευρά, λαμβάνοντας υπόψη του στόχους του έργου, δεν ήταν απαραίτητη οι γνώση νέων τεχνολογιών ούτε ιδιαίτερες γνώσεις.
| Προφίλ Χρηστών | Ενήλικες μεγαλύτερης ηλικίας (60 χρόνων και άνω) Χωρίς πρόβλημα αντίληψης Καλή φυσική κατάσταση Καλή νοητική κατάσταση Ανεξάρτητοι Ενεργοί κοινωνικά |
Οι χρήστες εκτέλεσαν συγκεκριμένες λειτουργίες, που σχεδιάστηκαν με βάση τα σενάρια του παραδοτέου D2.2. (PeerAssist use scenarios definition) και εξηγούνται λεπτομερώς στο παραδοτέο D6.1 (Evaluation design report). Κατά τη διάρκεια της αξιολόγησης, κάθε χρήστης συνοδευόταν από ένα μέλος της κοινοπραξίας, με κύριες αρμοδιότητες τις εξής:
- Εισαγωγή στις λεπτομέρειες σχετικά με την πλατφόρμα.
- Ενημέρωση για το έντυπο συγκατάθεσης και απαντήσεις σε πιθανές αμφιβολίες ή ερωτήματα.
- Βοήθεια στην εκτέλεση των σεναρίων όποτε χρειαζόταν.
- Καταγραφή της συμπεριφοράς των χρηστών.
- Έλεγχο της συμπλήρωσης των ερωτηματολογίων.
Όσον αφορά τα συλλογή δεδομένων, υπάρχουν διαφορετικές μεθοδολογίες που ακολουθούνται γενικά. Μία από αυτές κατηγοριοποιεί τις μεθόδους συλλογής ανάλογα με το βαθμό αλληλεπίδρασης μεταξύ χρήστη και βοηθού. Σύμφωνα με αυτή την κατάταξη, διακρίνονται τρεις κατηγορίες: παρατήρηση μόνο, αλληλεπίδραση με το χρήστη, και συμμετοχή του βοηθού στην αξιολόγηση. Είναι πολύ σημαντικό να επιλεγεί η μέθοδος που αντιμετωπίζει καλύτερα τους στόχους μιας μελέτης, και αξιοποιεί τους πόρους που διατίθενται για τη διεξαγωγή των αξιολογήσεων.
Στην περίπτωσή μας, λόγω της ανάγκης αλληλεπίδρασης μεταξύ του χρήστη και του βοηθού, επιλέξαμε τον μικτό τρόπο παρατήρησης και συνέντευξης με εξειδικευμένα ερωτηματολόγια. Ένα από τα κύρια πλεονεκτήματα αυτής της μικτής μεθοδολογίας είναι η ευκαιρία να παρατηρήσουμε το χρήστη να αλληλεπιδρά με το σύστημα και σε συγκεκριμένες στιγμές να κάνουμε μια ερώτηση σχετικά.
Όλοι οι χρήστες ακολούθησαν την ίδια διαδρομή προκειμένου να είναι σε θέση να αλληλεπιδράσουν με τους άλλους συμμετέχοντες. Η διαδρομή φαίνεται παρακάτω:
ΣΥΜΠΕΡΑΣΜΑΤΑ
Δεδομένου ότι οι χρήστες ήταν άτομα ηλικίας 60-82 ετών, με διαφορετική εξοικίωση στους ηλεκτρονικούς υπολογιστές και τις νέες τεχνολογίες, τα αποτελέσματα ήταν λιγότερο εντυπωσιακά από ό, τι αν είχαμε συνεργαστεί μόνο με έμπειρους χρήστες. Ως παράδειγμα, θα πρέπει να αναφερθεί ότι πολλοί χρήστες δεν γνώριζαν όρους όπως ιστολόγιο, video κλήση, κλπ. Λόγω αυτού του γεγονότος, ορισμένοι χρειάζονταν την επίβλεψη των βοηθών για την εκτέλεση των διαφόρων λειτουργιών: να συμπληρώσουμε το προφίλ τους, τα ενδιαφέροντά τους, κλπ. Ωστόσο, ορισμένοι χρήστες εκτέλεσαν τα σενάρια χωρίς ιδιαίτερη βοήθεια, συμπεριλαμβανομένων των χρηστών στους οποίους διατέθηκε ο εξοπλισμός ώστε να χρησιμοποιήσουν την υπηρεσία από το σπίτι τους.
Πολλοί από τους χρήστες ανέφεραν ότι, με μικρή προηγούμενη εκπαίδευση και λίγη παραπάνω εμπειρία, θα μπορούσαν να χρησιμοποιήσουν το σύστημα PeerΑssist χωρίς καμία δυσκολία. Οι λιγότερο έμπειροι χρήστες δήλωσαν ότι προτιμούν το τηλέφωνο όταν πρέπει να επικοινωνούν με ένα μόνο άτομο, αλλά αν έπρεπε να επικοινωνήσουν το ίδιο μήνυμα σε πολλούς ανθρώπους, θα επιλέξουν την ομαδική συνομιλία ή την κλήση βίντεο. Ορισμένοι από αυτούς είπαν ότι μάλλον θα προτιμούσαν την κλήση βίντεο σε σύγκριση με την συνομιλία κειμένου (chat), επειδή δεν απαιτείται πληκτρολόγιο το οποίο είτε τους δημιουργεί δυσκολίες, είτε αποκαλύπτει τη μικρή εξοικείωση που έχουν με τους υπολογιστές και τις νέες τεχνολογίες. Όλοι οι χρήστες εκτίμησαν ιδιαίτερα τις επείγουσες ειδοποιήσεις στα άτομα που τους φροντίζουν ως ένας τρόπος για παρέχεται άμεση βοήθεια σε περίπτωση ανάγκης, καθώς και τη δυνατότητα να έχουν πρόσβαση σε εξωτερικές υπηρεσίες.
Οι διαφορές μεταξύ των αποτελεσμάτων σε Ελλάδα και Ισπανία οφείλονται κυρίως στη βελτιωμένη διεπαφή χρήστη και της σχετικά καλύτερη εξοικείωση των Ελλήνων χρηστών με τους υπολογιστές. Ειδικά στην Ισπανία, οι λιγότερο έμπειροι χρήστες χρειάζονταν συχνά βοήθεια προκειμένου να εκτελέσουν τα σενάρια.
Τέλος, παρά το γεγονός ότι τους χρήστες άρεσε ιδιαίτερα το σύστημα, δύσκολα θα πλήρωναν για να το αγοράσουν σε αυτό το στάδιο. Με βάση αυτό το γεγονός, τα σχέδια εκμετάλλευσης πρέπει να έχουν ως στόχο επί του παρόντος άλλες πηγές εσόδων, όπως διαφημίσεις, εξωτερικές υπηρεσίες, δημόσια χρηματοδότηση, κλπ.
Εν κατακλείδι, το αποτέλεσμα της αξιολόγησης ήταν πολύ ελπιδοφόρο. Αν και σε δοκιμαστική έκδοση, οι χρήστες εκτίμησαν τη χρησιμότητά του και θα ήθελαν πραγματικά να το δουν να αξιοποιείται σε ευρεία κλίμακα. Παρά το μικρό χρονικό διάστημα εξοικείωσης, ήταν σε θέση να διερευνήσει όλες τις δυνατότητές του και να το χρησιμοποιήσουν σχετικά εύκολα. Παρ 'όλα αυτά, για χρήση μεγάλης κλίμακας, ιδιαίτερη προσοχή πρέπει να δοθεί στις ανάγκες εκπαίδευσης των χρηστών, ιδιαίτερα των μη έμπειρων. Οι αδυναμίες που εντοπίστηκαν μπορούν εύκολα να καλυφθούν με μικρή επιπλέον προσπάθεια από την κοινοπραξία.