A la découverte des Hololens: réalité augmentée et 3D

Les Hololens sont les fameuses lunettes de réalité augmentée de Microsoft. Elles sont arrivées depuis quelques semaines à l'EPITECH, j'ai donc eu l'opportunité au Spot Bouygues de les manipuler et de commencer à travailler avec des étudiants sur plusieurs prototypes. Je vous invite dans cet article à une plongée à la découverte de cet OVNI de l'informatique.

Les Hololens se présentent comme un casque qui enserre la tête de l'utilisateur et place des écrans en forme de lunette devant ses yeux. Il est très important pour vivre au mieux l'expérience de positionner et de serrer le casque pour que le champ de vision soit optimal. Une molette et un bandeau permettent assez facilement de le faire mais quand on essai le matériel vite fait sur un salon, ce n'est pas toujours possible et j'ai reçu plusieurs personnes m'ayant dit "j'ai testé les Hololens, c'est nul" qui ont changé d'avis après les avoir essayées correctement au Spot.

Concrètement ce casque est en fait un véritable PC qui fonctionne sur un espèce de Windows 10. A la différence des dispositifs de réalité virtuelle type Oculus Rift ou HTC Vive, il est donc autonome: on ne traine pas une armée de fils derrière soi. La batterie est tout à fait correcte, le casque se recharge en USB et tient plusieurs heures. Enfin, il faut noter que l'Hololens est très cher (3000€) mais il ne faut pas le considérer aujourd'hui comme un outil grand public mais plutôt comme un outil pour explorer de nouvelles formes d'interaction.

Les Hololens sont des lunettes de réalité augmentée. De manière plus précise, les Hololens ont quatre fonctionnalités principales:

Afficher une scène 3D en réalité augmentée: c’est-à-dire projeter dans votre champ de vision, en surimpression par rapport à ce que vous voyez, des objets en 3D. Concrètement les lunettes ont des écrans transparents: lorsque le casque affiche quelque chose vous le voyez donc dans votre champ de vision en plus de la réalité que vous voyez par transparence. C'est très différent de la réalité virtuelle qui réinvente un monde virtuel dans un casque fermé.

Possibilité d'évoluer dans l'espace autour de la scène 3D: Grâce à différents capteurs intégrés dans le casque, les Hololens peuvent déterminer les mouvements de la tête que vous réalisez et modifier en temps réel la vue de la scène 3D par rapport à votre champ de vision actuel. Vous pouvez ainsi, par exemple, avoir l'impression de tourner autour des objets.

Possibilité de manipuler la scène 3D: lorsque vos mains sont dans votre champs de vision, les Hololens peuvent comprendre certains gestes que vous réalisez et faire réagir les objets 3D de la scène en fonction de ces gestes.

Voici une vidéo qui résume ces 3 fonctionnalités.

Comprendre la forme de l'espace autour de vous: Autre fonctionnalité importante, les Hololens embarquent des capteurs du type de ceux de la Kinect et peuvent donc comprendre les objets qui sont autour: sol, murs, table, ... Il est ainsi possible d'intégrer complètement la scène 3D dans son environnement.  C'était le cas dans la vidéo précédente avec le chien posé sur un meuble et les lettres plaquées au mur. La vidéo suivante montre une interaction plus amusante dans le jeu Roboraid où les Aliens sortent littéralement du mur !

Les Hololens sont livrées avec un Kit de Développement s'appuyant sur la technologie Unity. L'outil n'est d'ailleurs par une nouveauté pour les spécialistes de la réalité virtuelle car il permet également de produire des applications pour l'Oculus Rift ou pour le HTC Vive.

Concrètement, Unity propose un environnement de développement 3D qui vous permet de dessiner/d'importer des formes 3D dans une scène, d'y ajouter des comportements en .NET et de générer cette scène en tant qu'application pour les Hololens.

L'API Hololens vous permet également de récupérer dans votre scène les informations de contexte fournies par les capteurs du casque: vous avez ainsi la possibilité de récupérer dans votre application l'ensemble du champ de vision sous forme de polygones ou sous forme d'objets reconstitués par l'API (sol, murs, tables, …).  La vidéo ci-dessous vous montre par exemple les polygones que "voit" les Hololens par rapport à la réalité et qui peuvent être exploitées par les applications.

Les scénarios d'usage sont innombrables: que ce soit pour la formation, le support, la construction, le design …  En fait partout où l'intégration d'un objet 3D dans la réalité a un sens, les Hololens peuvent être pertinentes.

Les gens sont néanmoins souvent désemparés à l'idée de concevoir une application pour les Hololens: l'ajout de la 3ème dimension peut en effet être déroutante. Pourtant les questions à se poser sont les mêmes que lorsqu'on veut développer - par exemple - un site web:

• Quels contenus je veux présenter ?
• D'où proviennent ces contenus ? Est-ce qu'ils sont statiques (des objets 3D dont je dispose) ? Est-ce qu'ils sont dynamiques et dans ce cas où vais-je les récupérer ou comment vais-je les générer ?
• Quel interactions peut-il y avoir avec ces objets ? Par défaut les Hololens permettent de  tourner autour mais puis-je interagir avec eux ? Si oui avec quels gestes ? Que provoqueront les interactions: l'affichage de nouveaux contenux ? Le changement (taille, propriété) du contenu existant ?
• …

Une fois la réponse à ces questions posées, ce n'est plus qu'une affaire de développement, plus ou moins complexe selon les interactions à réaliser.

Les Hololens sont un outil formidables, de toutes les lunettes de réalité augmentée que j'ai pu tester (Google Glass, Optinvent, Metaglass, …) c'est sans aucun doute le matériel le plus abouti aujourd'hui. Elles proposent une expérience unique et  permettent de se projeter dans un avenir où l'interaction 3D serait la norme. C'est en tout cas l'avis de Microsoft dont la prochaine version de Windows intégrera la 3D partout (Paint, Office).

Alors, et si vous tentiez l'expérience Microsoft Hololens vous aussi ?