MANUEL d'UTILISATION

Fonctionnel / Les courses
Présentation

Dans cette activité, le patient doit trouver, dans un supermarché virtuel, un ensemble d’objets pour répondre à une consigne qui lui est proposée.

Le thérapeute choisit un scénario, parmi les types suivants :

 

  • Liste aléatoire : le thérapeute choisit le nombre d’éléments, et une liste unique est générée pour l’activité.

  • Liste contrainte : le logiciel propose une liste prédéfinie sur une thématique précise. Cette liste peut proposer une contrainte de budget.

  • Thématique : le patient doit faire des courses libres pour répondre à une grande thématique qui lui est proposée.

Chaque scénario peut proposer des variantes (comme la gestion d’un budget).

Dans le supermarché, le patient peut se déplacer, et interagir avec les produits présents, pour les ramasser, en consulter les prix et grammages, les mettre dans son panier, ou les reposer.

Pour des raisons d’ergonomie, le panier du patient est limité à 14 objets.

Le thérapeute contrôle le déroulement du scénario. Il peut l’impacter, en envoyant des SMS, ou en prenant le contrôle du vendeur, par exemple pour aider un patient ayant des difficultés à trouver un objet.

Cette activité fonctionne en Réalité Virtuelle (avec des manettes Oculus Touch), sur tablette ou sur un PC classique.

En Réalité Virtuelle, cette activité prendra en compte les invalidités du patient.

Attention : En Réalité Virtuelle, le patient doit être assis pendant l’activité.

Configuration

Au démarrage de l'exercice, le thérapeute peut configurer :

  • Le Scénario : l'activité propose différents types de scénarios :

    • Liste aléatoire : le thérapeute choisit le nombre d’éléments, et une liste unique est générée pour l’activité.

    • Liste contrainte : le logiciel propose une liste prédéfinie sur une thématique précise. Cette liste peut proposer une contrainte de budget.

    • Thématique : le patient doit faire des courses libres pour répondre à une grande thématique qui lui est proposée.

  • La Variante du scénario : certains scénarios proposent des variantes, comme la gestion d'un budget.

  • Les paramètres d'environnement :

    • Activer ou non la musique d'ambiance.

    • Contrôler la fréquence des annonces publicitaires.

Déroulement

Au démarrage de l’activité, le patient se retrouve à l’entrée du magasin. Au cours de l’activité, il devra parcourir le magasin à la recherche des objets demandés par le scénario.

  • L’inventaire

L’inventaire représente le contenu du sac ou du caddie, du patient.

Cet inventaire est matérialisé par un ensemble d’emplacements pouvant contenir tout type d’objet.

 

Un objet occupe un emplacement (quelle que soit sa taille) : Les courses sont donc limitées par le nombre d’emplacements disponibles.

Initialement, l'inventaire contient la consigne et le téléphone portable. Ces deux objets ne peuvent jamais être déposés dans le magasin.

Le patient est libre de ramasser n’importe quel produit du magasin, pour le positionner dans son inventaire.

Sur tablette ou sur écran, l'inventaire est représenté

par une colonne à gauche

  • La consigne

Au démarrage de l’activité, le patient trouvera dans son inventaire une feuille expliquant la consigne de l’activité. Selon le scénario choisi, ce peut être une liste de courses explicite ou une thématique plus large.

Certaines consignes peuvent s’accompagner de contraintes de temps, ou de budget. Charge au patient de les respecter en réalisant l’activité.

Par exemple : Faire les courses pour un anniversaire, en trouvant en plus un petit jouet, pour moins de 25 €.

Sur PC sans dispositif de Réalité Virtuelle ou sur tablette, la consigne propose des outils d’annotations. Ils permettent par exemple de surligner ou barrer des mots. La gomme efface l’ensemble des annotations saisies.

La consigne est représentée par une liste de courses

  • Le téléphone portable

L’inventaire du patient contient aussi un téléphone portable.

Ce téléphone permet au patient de connaitre l’heure de la simulation (utile si des contraintes de temps ont été imposées).

De plus, en cours d’activité, le thérapeute aura la possibilité d’envoyer, dynamiquement, des messages prédéfinis sur le téléphone du patient : Ces messages peuvent être informatifs, ajouter une contrainte de budget, de temps, ajouter de nouveaux éléments à la liste, ou, simplement, être des distracteurs.

Exemples de messages :

  • « Mince, il n’y a plus de beurre, prends en stp ! »

  • « Je t’attends encore 5 minutes et j’y vais ! » 

  • Objet en main

Le patient peut saisir un objet proche pour le prendre en main (cf. sous chapitre « interactions »).

 

Il peut aussi prendre en main tout objet de son inventaire. Avoir un objet en main permet d’avoir des détails spécifiques sur l’objet en question :

  • Les produits du supermarché proposeront leurs noms, leurs grammages et leurs prix.

  • Avoir la consigne en main permettra de la lire simplement.

  • Avoir le téléphone en main permettra de consulter l’heure et le dernier message reçu.

 

Quand le patient a un objet en main, il peut le reposer, ou le placer dans son inventaire.

 

Si le patient prend un objet alors qu’il en tient déjà un autre, l’objet initialement tenu prendra sa place (dans l’inventaire, ou sur une étagère).

Avec un dispositif de réalité virtuel, l'utilisateur peut tenir un objet dans chaque main (gauche et droite). De plus, si un patient est invalide d'une main, elle n’apparaîtra pas dans l'activité.

Sur tablette ou sur écran, l'objet en main et ses informations apparaissent sur la droite de l'écran

  • Le vendeur / la vendeuse

La caisse du supermarché est tenue par un vendeur ou une vendeuse. Le sexe de l’avatar sera choisi en fonction du sexe du thérapeute.

 

Le thérapeute peut, s’il le souhaite, contrôler cet avatar :

  • Il peut le déplacer à tout endroit du supermarché.

  • Il peut le déplacer vers un objet demandé dans la liste de courses (par exemple pour indiquer sa position au patient).

  • Au besoin, il peut même « parler » par sa bouche, pour entamer une mise en situation conversationnelle avec le patient. Cette fonctionnalité est plus particulièrement dédiée à un usage en réalité virtuelle.

Le vendeur est initialement assis à sa caisse, mais peut se lever pour indiquer des objets dans le magasin.

  • Le flux vidéo du thérapeute

Le thérapeute peut aussi apparaitre dans le supermarché, sous la forme d’une « télévision » flottante, qui peut se déplacer pour suivre le patient ou indiquer des points d’intérêts. Cette fonction est plus particulièrement dédiée à un usage en immersion (via un casque de Réalité Virtuelle), pour briser l’isolement du patient et l’accompagner dans son activité.

Le thérapeute doit avoir configuré une webcam sur son poste pour que cette option soit disponible.

  • Fin de l'activité

Le thérapeute est libre d’arrêter l’activité de son patient quand il le souhaite. Cependant, pour les scénarios proposant une liste de courses dirigiste, le thérapeute pourra obtenir, en un coup d’œil l’état d’avancement de la tâche de son patient. Ainsi, il pourra être certain que l’ensemble des conditions demandées ont été réalisées.

Poste du patient

Le poste du patient, et les interactions proposées, dépendent grandement du type de dispositif utilisé (tablette, PC, casque de Réalité Virtuelle)

  • PC sans dispositif de Réalité Virtuelle et tablette

 

L'affichage est organisé ainsi :

  1. Inventaire du patient.

  2. Vue du patient.

  3. Objet en main : Représentation, nom et principales caractéristiques.

​Les interactions disponibles sont les suivantes :

  • Cliquez à la souris / appuyez au doigt sur une case de l’inventaire pour saisir en main un objet de l’emplacement correspondant, ou y déposer l’objet que vous avez déjà en main.

  • Cliquez / appuyez brièvement sur la vue principale du patient :

    • Si le clic est sur un objet proche, le patient le ramasse (l’objet passe « en main »)

    • Si le clic est sur une étagère proche, et que le patient a un objet en main, il y dépose l’objet en question.

    • Si le clic est au niveau du sol, proche du patient, le patient y est déplacé automatiquement (utile pour se déplacer précisément à une position)

    • Dans tous les autres cas, le patient avance de 2 mètres dans la direction indiquée par le clic (sauf si un obstacle l’en empêche)

  • Cliquez ou appuyez longuement sur la vue, et déplacez la souris / bougez le doigt : Orientez la vue 3D vers la gauche / la droite et le haut / le bas.

  • Sur PC :

    • Flèche avant : Avancer de 2 mètres, si aucun obstacle ne fait face au patient.

    • Flèche gauche : Tournez rapidement vers la gauche

    • Flèche droite : Tournez rapidement vers la droite

  • PC avec un dispositif de Réalité Virtuelle

 

L'affichage est organisé ainsi :

  1. « Main gauche » : La main gauche propose une « ligne » d’interaction qui va permettre à votre patient de se déplacer et manipuler les objets.

  2. « Main droite » : La main droite propose une « ligne » d’interaction qui va permettre à votre patient de se déplacer et manipuler les objets.

  3. Objet en main : Représentation, nom et principales caractéristiques.

  4. Inventaire: L'inventaire est situé en bas à gauche par rapport à la direction principale du patient.

Les interactions disponibles sont les suivantes :​

  • Si la ligne d’interaction pointe un objet proche, sur une étagère ou dans l’inventaire : La ligne d’interation devient jaune, et une boite verte apparait autour de l’objet : L’utilisateur peut le prendre en main en appuyant la gachette de la manette correspondante

  • Si un objet est en main, et que la ligne d’interaction pointe une étagère proche ou un emplacement de l’inventaire : La ligne d’interation devient jaune : L’utilisateur peut déposer l’objet en main en appuyant la gachette de la manette correspondante

  • Si la ligne d’interaction pointe le sol, non loin du patient : La ligne d’interation devient verte et un indicateur de déplacement apparait : Le patient peut se déplacer à la position ciblée en poussant en avant le stick de la manette gauche ou droite

  • Pousser vers la gauche le stick de la manette gauche ou droite : Le patient effectue une rotation immédiate de 40° vers la gauche.

  • Pousser vers la droite le stick de la manette gauche ou droite : Le patient effectue une rotation immédiate de 40° vers la droite.

  • Pousser vers l’avant le stick de la manette gauche ou droite : Si la ligne d’interaction n’est pas verte : Le patient avance de 2 mètres dans la direction ciblée.

Notez que chaque déplacement patient est accompagné d’un fondu au noir. Cet artefact visuel permet d’éviter la cinétose et donc d’offrir le meilleur confort possible pour le patient.

Poste du thérapeute

L’écran du thérapeute offre une vue globale de la vue du supermarché, et des objectifs du patient.

Depuis son écran, le thérapeute peut superviser l’avancée du patient dans sa tâche, mais aussi contrôler l’environnement et les acteurs de la simulation.

  1. Plan du supermarché

  2. Patient : Cliquez dessus pour le sélectionner

  3. « Télévision » du flux vidéo du thérapeute : Cliquez dessus pour le sélectionner

  4. Vendeur / vendeuse : Cliquez dessus pour le sélectionner

  5. Objet : Cliquez dessus pour le sélectionner. Par défaut, seuls les objets de la liste de courses apparaissent. Décochez la case « Filtrer les objets » pour afficher l’ensemble des produits du supermarché.

  6. Interface de contrôle :

    • SMS : La plupart des scénarios proposent au thérapeute d’envoyer dynamiquement des SMS au patient.

    • Musique d’ambiance : Activer ou désactiver la musique de fond du supermarché

    • Fréquence des annonces publicitaires : Contrôler la fréquence des annonces vocales proposées dans l’activité

  7. Informations sur l’élément sélectionné, le cas échéant. Ce peut être un objet, le joueur, un avatar, … Cliquez la croix pour désélectionner l’élément. Les informations dépendent de l’élément sélectionné :

    • Objet : Sont affichées son visuel, son nom, son grammage, son prix

    • Avatar : Son nom est affiché

    • Joueur : L’inventaire complet du joueur est affiché

  8. Zone d’état :

    • Temps total

    • Heure de la simulation

    • Si le scénario impose une contrainte de temps : Echéance

    • Prix total du panier actuel du patient. Si le scénario impose une contrainte de budget, la coche attenante sera ROUGE si le prix ciblé est dépassé

    • Si une liste explicite est définie : Liste des objets à trouver. Pour chaque objet :

      • Son nom

      • La quantité ramassée par le patient / la quantité nécessaire pour le scénario

      • Une coche précisant si l’objet a été ramassé (dans les bonnes quantités) par le patient

  9. Régler le niveau de zoom de la carte

  10. Afficher ou masquer la fenêtre de retour vidéo et la consigne

  11. Parler (cf plus bas)

  12. Recentrer la vue du patient : Disponible en VR uniquement, permet de correctement positionner la vue du patient. Appuyez ce bouton au démarrage, et quand le patient a fixé son casque

  13. Apparaitre / Disparaitre : Faire apparaitre ou disparaitre le thérapeute, sous la forme d’une « télévision » flottante dans le supermarché

  14. Bouton "Valider" : Terminer l’exercice, en noter comme un succès

  15. Bouton "Refuser" : Terminer l’exercice, et le noter comme un échec 

  16. Bloc-notes

  17. Bouton "Quitter" : Annuler l'activité et revenir au menu principal

  • Consigne et annotations

 

La fenêtre de consigne reprend la consigne disponible pour le patient. Les outils d'annotation vous permettent de surligner ou de barrer des mots. La gomme efface l’ensemble des annotations saisies.

  • Parler au patient

 

COVIRTUA Cognition intègre une option de communication, qui permet au thérapeute de parler avec son patient au travers du logiciel.

Cette option est particulièrement utile en réalité virtuelle, car elle permet de « simuler » une conversation avec le vendeur. Cependant, elle reste disponible sur tablette même si son utilisation peut ralentir les dispositifs les moins puissants.

Pour parler, vous pouvez cliquer l’icone « micro » disponible au niveau de la carte. Vous pouvez aussi maintenir la touche « Espace » enfoncée et parler en même temps.

  • Contrôle du vendeur ou du « flux vidéo » du thérapeute

 

Le thérapeute peut sélectionner le vendeur ou la « télé » du thérapeute, pour le déplacer, ou communiquer avec le patient.

Sélectionner l’un ou l’autre des avatars le mettra en « communication » avec le patient : Par exemple, le vendeur lèvera la tête en direction du patient, et le suivra du regard. Si le thérapeute « parle » en utilisant l’outil de communication intégré, le logiciel donnera l’illusion que le vendeur parle (veillez à ce que le son du microphone ne soit pas trop élevé pour que le vendeur n'ait pas des mouvements excessifs de la bouche !), ou que le son provient de la « télé » du thérapeute.

Une fois l’avatar souhaité sélectionné, le thérapeute peut effectuer les manipulations suivantes :

  • Clic droit sur le patient : L’avatar se déplace jusqu’au patient et se tourne face à lui

  • Clic droit sur un emplacement libre du supermarché : L’avatar se déplace au point indiqué

  • Clic droit sur un objet, sur la carte : L’avatar se déplace à l’objet indiqué

  • Clic droit sur un objet de la liste d’objectifs : L’avatar se déplace jusqu’à l’objet indiqué

Interface de résultats

L'interface de résultats est affichée à la fin de l'activité, ou quand le thérapeute consulte, à posteriori, les résultats d'une activité passée.

En plus de reprendre les hypothèses de l'activité, cette interface affiche les métriques suivantes :

  • Temps total

  • Distance totale

  • Distance moyenne par élément : Cette métrique sera à 0 pour les scénarios libres

  • Temps moyen par élément : Cette métrique sera à 0 pour les scénarios libres

L'interface affiche aussi la carte du supermarché avec la trajectoire effectuée par le patient, et les objectifs atteints par celui-ci. Un interacteur permet de changer l'heure, pour "rejouer" le parcours du patient, reflétant ainsi son avancement dans les objectifs.