Le point sur la réalité augmentée: ARKit, ARCore, Tango, Hololens et les autres

La réalité augmentée est le mot à la mode. Quelles technologies aujourd'hui et à quoi s'attendre demain, ce sont les questions à laquelle je vais essayer de répondre dans cet article.

Il y a un an, dans un précédent article, je présentais le casque de réalité Hololens de Microsoft et j'expliquais ce qu'il permettait de faire. Depuis un an le marché de la réalité augmentée s'est emballé et les annonces et produits se sont multipliés. Au Spot Bouygues nous avons également eu l'opportunité d'explorer les technologies et de développer plusieurs prototypes. Je me suis donc dit qu'il était temps de refaire le point sur le sujet.

Quelles fonctionnalités ?

Même si c'est paraphraser, il n'est pas inutile de rappeler que pour faire de la réalité augmentée il faut… augmenter la réalité. Et pour "augmenter" la réalité il faut déjà la percevoir, c’est-à-dire avoir un dispositif qui permet de voir et comprendre la réalité. Les technologies de réalité augmenté doivent donc permettre trois choses:

Comprendre l'environnement: c’est-à-dire pouvoir identifier les formes et surfaces de manière à pouvoir y ajouter un élément qui pourra "coller" à la réalité.

Détecter les mouvements: détecter les déplacements de l'utilisateur afin d'adapter la vue de l'élément qui a été ajouté à la scène, à l'angle de vision de l'utilisateur.

Mesurer la luminosité: adapter la brillance de l'élément aux changements de luminosité de la scène pour le rendre plus réaliste et faire apparaître des ombres.

Pour disposer de ces fonctionnalités, il y a deux possibilités: soit avec un matériel spécifique, soit par logiciel.

Des matériels spécifiques pour la réalité augmentée

Pour comprendre l'environnement, tous les matériels de réalité augmentée utilisent un outil spécifique: un capteur infrarouge. C'est par exemple ce type de capteur qui est intégré dans les Hololens de Microsoft ou les tablets Tango de Google mais aussi, de manière un peu différente, dans les Lidar qu'utilisent les véhicules autonomes.

Ce matériel se décompose en deux outils:

Un projecteur Infrarouge qui envoie un grille de faisceaux Infrarouge.

Une caméra Infrarouge qui filme la scène pour retrouver les fameux points infrarouge dans l'image. Comme le projecteur envoi les points selon une forme géométrique précise, l'analyse de l'image permet de voir le décalage des points qui se projettent sur les obstacles et donc d'en déduire la profondeur de la scène autour de l'utilisateur.

Une découpe des Hololens montre  d'ailleurs la présence de ces capteurs IR dans le casque.

On voit également ces capteurs IR dans le dos des smartphones supportant la technologie Tango, comme ci-dessous le  Phab 2 Pro de Lenovo.

Il faut noter que si Hololens et Tango sont les plus connus, d'autres constructeurs produisent des matériels de réalité augmentée reposant sur ces mêmes technologies. Par exemple les lunettes Meta 2 de Metavision ou celle de Daqri.

Pour détecter les mouvements de l'utilisateur les outils de réalité augmentée utilisent également un traditionnel Gyroscope/Accéléromètre. Pour plus de précision, ce capteur est généralement associé à la caméra pour mesurer en temps réel les déplacements de l'image et déduire les mouvement de l'utilisateur.

Enfin, un simple capteur de luminosité permet de détecter la lumière ambiante et l'appliquer sur la scène qui est projetée.

La réalité augmentée dans la poche

Mais est-il possible de faire de la réalité sans avoir un matériel spécifique ?

Oui car la réalité augmentée n'est pas née l'année dernière. Elle est apparue en même temps que la démocratisation des smartphone et la possibilité qu'ils offraient de prendre des photos.

En 2009 (!) par exemple, Bouygues Telecom proposait sa première application en réalité augmentée: "Ici Info". Lorsqu'on lançait l'application, elle affichait en surimpression de l'appareil photo la direction de points d'intérêts (stations de métro, boutique Bouygues Telecom, …) à proximité de l'utilisateur. Comme elle s'appuyait sur le gyroscope du téléphone, la position des points d'intérêts se déplaçait en fonction des points d'intérêts.

La même année, les céréales Chocapic faisaient leur révolution en intégrant un jeu vidéo interactif en réalité augmentée sur leur paquet. C'était ici la webcam du PC qui faisait office de caméra. Grâce à une image spécifique imprimée sur le paquet, le programme analysait en temps réel les déplacements de l'image et adaptait la vue au déplacement. Le jeu fonctionnait sur PC car à l'époque on ne pouvait pas demander beaucoup de puissance de calculs à nos smartphones.

Il a été rapidement possible d'intégrer directement ces fonctionnalités dans un smartphone. Depuis 2013, Ikea propose ainsi son catalogue en réalité augmentée: on pose le catalogue par terre, on lance l'application, on sélectionne un article et il apparaît en réalité augmentée au dessus de l'image du catalogue.

Mais c'est Apple qui est passé à l'étape supérieure en juin dernier lors de l'annonce d'iOS 11 en lançant ARKit. ARKit est une technologie permettant de faire de la réalité augmentée avec l'appareil photo de son iPhone mais sans avoir à reconnaître une image spécifique, contrairement à la boite de Chocapic ou au catalogue Ikea.

Ce sont à la fois l'augmentation de la puissance de calcul des processeurs des smartphones et les progrès dans l'analyse d'image qui ont permis les avancées d'ARKit. ARKit analyse en temps réel les images de la caméra et détecte automatiquement des points dans l'image qui lui apparaissent comme des surfaces horizontales (uniquement horizontales pour l'instant) et permet ensuite aux applications de poser des objets virtuels par-dessus.

La promesse d'ARKit est donc importante: c'est la possibilité pour n'importe quel smartphone (sous iOS…) de faire de la réalité augmentée. Depuis l'annonce d'ARKit et avant même sa sortie officielle, les vidéos de développeurs d'applications utilisant ARKit se sont d'ailleurs multipliées: voir par exemple ici.

Même si évidemment la précision est moindre qu'avec un matériel spécifique, cela ne pouvait laisser indifférent Google qui poussait la technologie Tango. Et à la surprise générale, Google a donc annoncé en septembre sa propre technologie de réalité augmentée appelée ARCore. Et il n'y a pas que le nom qui ressemble à ARKit ! les fonctionnalités de ARCore et ARKit sont quasi-identiques et les exemples proposés au développeurs sont presque les mêmes.

Et comme ARKit, la promesse d'ARCore est d'apporter la réalité augmentée à n'importe quel téléphone Android. Que vous soyez donc sous iOS ou sous Android, vous allez donc pouvoir bénéficier de toutes les promesses de la réalité augmentée.

Conclusion: la réalité augmentée partout pour tous ?

La réalité augmentée sera donc bientôt dans votre poche sans avoir de matériel spécifique. D'ailleurs avec ARCore, Google a laissé planer de sérieux doutes sur la survie de la technologie Tango alors que - comme l'ont démontré Michaël et Quian dans un récent Meetup Xebia - le code source d'ARCore est directement dérivé de celui du projet Tango !

Mais si la démocratisation de la réalité augmentée laisse entrevoir des applications amusantes comme un Pikachu en véritable réalité augmentée sautant dans les éléments du décor, il n'en reste pas moins que pour une utilisation professionnelle, il est peu vraisemblable que des technologies sans matériel spécifique puissent convenir.

Lorsqu'il s'agira par exemple de "caler" avec précision une maquette numérique avec la réalité, il sera difficilement acceptable d'avoir des erreurs de plusieurs dizaines de centimètres ou des sauts dans l'image.

On peut donc supposer que la présence de capteurs IR dans les smartphones pourrait, malgré le renoncement provisoire de Google, se généraliser. La preuve: le futur iPhone X posséde lui-même un capteur Infrarouge mais… en façade afin de reconnaître le visage de l'utilisateur pour FaceID.