L'iPhone qui réinvente la réalité augmentée

L'iPhone 12: encore un iPhone de plus ? Pas si sûr: l'iPhone 12 Pro apporte un petit plus qui pourrait changer la donne de la réalité augmentée. Explication dans cet article.

Une vieille histoire ?

De nombreux projets au Spot Bouygues se sont appuyés sur la réalité augmentée. Tablette Tango de Google, Casque Hololens de Microsoft, Apple ARKit, … nous avons eu l'opportunité d'explorer les différentes technologies au fur et à mesure de leur disponibilité et tester leurs possibilités. L'article Le point sur la réalité augmentée de ce blog faisait, en 2017 (!), une synthèse de ces technologies.

Mais une chose a changé aujourd'hui: l'arrivée en force d'Apple avec les récents iPhone 12 Pro et iPad Pro 2020. Avec ces devices, la réalité augmentée sur iPhone et iPad  atteint une nouvelle dimension !

Jusqu'à présent la réalité augmentée sur Apple (AR Kit) s'appuyait sur l'analyse des images de l'appareil photo pour identifier les surfaces. Concrètement, via du Machine Learning, le téléphone identifiait en temps réel des surfaces horizontales ou verticales dans l'image afin de les utiliser pour y projeter des éléments ou faire de la mesure.

Ce mode de fonctionnement est suffisant pour des jeux ou des applications simples, mais pour une utilisation professionnelle il est très limitant: détection de surfaces horizontales ou verticales uniquement (pas des surfaces complexes), mesures approximatives, sauts dans l'image lors des déplacements, ...

Un petit truc en plus

Pour palier à cela, Apple a intégré dans la dernière génération de l'iPhone Pro et de l'iPad Pro un capteur supplémentaire, appelée LiDAR.

Le LiDAR projette un nuage de point en Infrarouge (non visible) et utilise une caméra Infrarouge qui filme la scène pour retrouver les fameux points infrarouge. En analysant l'image produite on peut déduire la profondeur de la scène et mesurer la distance des objets avec précision.

Voyez cette vidéo réalisée avec l'iPhone 12 au Spot. On peut y découvrir ce que "voit" l'iPhone grâce à ce capteur: un série de polygones qui mappent l'espace réel et qui seront disponibles dans les applications utilisant le LiDAR.

C'est exactement ce que faisait aussi le casque Hololens dans cette vidéo que j'avais réalisé il y a 4 ans !

Au delà du casque de Microsoft, il est amusant de constater que c'est Google qui, avec la technologie Tango, a intégré le premier un LiDAR dans une tablette puis dans un smartphone. Mais la technologie Tango avec LiDAR a été abandonnée par Google en 2017.

Une technologie pour les pros

Apple a choisi aujourd'hui une approche différente de Google: en réservant ces technologies au monde professionnel. Ainsi seules les versions "Pro" de l'iPhone et de l'iPad intègrent un LiDAR, pas les modèles "grand public". Le cas d'usage qui était d'ailleurs présenté lors de la conférence Apple de lancement de l'iPhone 12 était celui d'un professionnel faisant de l'aménagement d'espace.

Et on voit déjà fleurir dans l'App Store les applications professionnelles qui utilisent ces fonctionnalités. Par exemple l'application LiDAR Scanner 3D, que j'ai utilisé dans la vidéo ci-dessus, qui permet directement d'exporter un modèle 3D de la scène "scannée" avec le LiDAR. Ou l'application RoomScan LiDAR qui permet de créer le plan d'une pièce en quelques minutes.

Révolutionnaire ?

Comme souvent, Apple n'est pas le précurseur sur la réalité augmentée mais en ciblant des devices très prisés des professionnels (on trouve souvent des iPad sur des chantiers) il choisit une approche différente qui pourrait rendre "mainstream" l'usage de la réalité augmentée en entreprise.

Que diriez-vous de venir tester cette nouvelle approche au Spot ?