HoloLens2 et 5G : 6 applications incroyables
Temps de lecture : 6 minutes
Publié le 24 juin 2020
Explorer des tombes vieilles de plusieurs milliers d’années, suivre Neymar sur le terrain pendant 90 minutes de match ou se faire opérer par des robots téléguidés… La 5G va faire entrer la réalité augmentée dans une toute nouvelle dimension.
Il y a tellement longtemps que Sylvain Ordureau attend cela : donner à HoloLens2 toutes les capacités de la 5G pour laisser libre cours à ses idées. Et des idées, il en a par centaines. Il a fondé la société Vizua, qui propose à ses clients de réaliser tous leurs projets de 3D. « Aujourd’hui, la 5G offre des capacités incroyables à la visualisation 3D. Nous allons voir se développer des applications encore inimaginables il y a quelques années. »
Avant d’explorer les futures applications, une petite explication s’impose.
Quand le cloud rencontre la 5G et la réalité augmentée
Aujourd’hui, les appareils n’ont plus besoin de disposer de capacités de calculs très importantes, puisque ceux-ci sont réalisés directement dans le cloud. En effet, désormais des cartes graphiques ultra-puissantes sont disponibles notamment sur Azure. Résultat, avec HoloLens2, un utilisateur peut voir en 3D des images extrêmement complexes, qui se superposent à la réalité qu’il trouve devant lui. « Le temps de calcul est très rapide, ce qui permet d’aller jusqu’à 1500 images par seconde », explique Sylvain Ordureau.
Mais ensuite, comment envoyer tous ces volumes de données du cloud vers HoloLens2 sans aucun délai ? Comment faire en sorte que plusieurs personnes voient exactement la même chose au même moment et puissent collaborer ?
C’est là que la 5G intervient. En France, son déploiement devrait démarrer au deuxième semestre 2020. Ce réseau est radicalement différent de ceux que nous connaissons aujourd’hui pour trois raisons :
- Un temps de latence réduit, qui permet un usage en temps réel. Avec la 5G, nous pourrons manipuler des hologrammes stockés dans le cloud comme si nous manipulions un objet se trouvant réellement dans la pièce. Pas de temps de calcul, l’illusion est donc parfaite.
- Une meilleure bande passante, qui autorise à la fois un grand nombre d’utilisateurs simultanés, et des volumes de données extrêmement importants. Quand on parle d’images, cela veut dire une meilleure définition.
- Le slicing: c’est-à-dire la possibilité de réserver un faisceau pour certains usages critiques. Résultat, aucun risque de coupure.
Rêvons un peu maintenant en faisant le tour des usages qui devraient bientôt voir le jour (quand ils n’existent pas déjà).
Médecine : des opérations délicates à distance
C’est le premier secteur auquel on pense quand on parle de 5G et de réalité augmentée, avec tout son lot de fantasmes et d’inquiétudes. HoloLens a déjà fait son entrée dans les salles d’opération, pour apporter des compléments d’information aux chirurgiens sous la forme d’hologrammes.
L’association d’HoloLens2 et de la 5G pourrait bien faire entrer la médecine dans une toute nouvelle ère. Exemple : « certaines opérations de chirurgie hépatiques sont très complexes, peu de praticiens sont en mesure de les réaliser. Et en plus, il faut souvent deux chirurgiens en même temps », constate Sylvain Ordureau. Or, pour réaliser une opération chirurgicale à deux, à distance ou localement, il faut absolument que chacun voie la même chose au même moment, en temps réel. Il n’est pas question d’avoir un délai entre un geste pratiqué et son résultat. Pas question non plus que l’image ne soit pas ultra-précise car elle engage un diagnostic.
« Grâce à la 5G et au cloud, le calcul n’est pas réalisé directement dans les lunettes HoloLens2, mais dans le cloud », ajoute-t-il. Concrètement, HoloLens joue le rôle d’intermédiaire, mais c’est la carte graphique dématérialisée dans le cloud qui fait tout le travail d’analyse, de calcul des images et qui les renvoie aux utilisateurs, sans aucun délai de latence. Les deux chirurgiens sont tous les deux plongés dans la scène et ont l’illusion qu’ils y sont présents physiquement. Ils peuvent alors collaborer. Et grâce au slicing, pas d’inquiétude, le réseau ne les lâchera pas.
Lire aussi La révolution HoloLens en salle d’opérations
Des robots sensibles
Ce qui rend la robotique à distance délicate, c’est qu’elle ne permet pas à celui qui manœuvre l’appareil de ressentir les résistances que rencontre sa machine. L’opérateur peut voir ce qu’il fait et les résultats de ses actions, mais il ne dispose pas de ce niveau de compréhension plus fin. Compliqué quand on opère des appareils qui peuvent déplacer 200 kilos en 200 millisecondes sur 2 mètres ou quand on manipule des produits dangereux.
Grâce à la 5G, les robots et différents équipements pourront désormais rendre le « retour de force » que rencontrent ces appareils. Mais pour que ces sensations donnent une illusion de réalité, le délai doit être infinitésimal : 4 millisecondes, pour être précis, entre l’action et la sensation. Résultat, l’opérateur sent s’il rencontre un obstacle, si ce qu’il touche est dur ou mou, etc… Et en plus, avec HoloLens2, il est plongé dans la scène.
La 5G pourrait donc ouvrir la robotique à de nouveaux domaines : micro-mécanique, restauration d’œuvres d’art, assistance aux personnes âgées en Ehpad et bien sûr chirurgie, nous en parlions plus haut.
Dessiner des bâtiments à plusieurs mains
Pour concevoir un bâtiment, pour le dessiner, l’équiper, l’inscrire dans son environnement, repérer les défauts, il faut faire contribuer un très grand nombre de métiers et d’individus.
Nous vous avions déjà parlé du BIM, dans un précédent article. Cette nouvelle manière de travailler permettra à tous les corps de métier et à toutes les parties prenantes de collaborer, tout en gardant des traces de toutes les informations qui concernent l’ouvrage. Grâce à la 5G, on va encore plus loin, avec un travail collaboratif en temps réel autour de fichiers extrêmement complexes et précis. « Par exemple, chez Airbus, les fichiers des avions pèsent jusqu’à un tera octet de données », indique Sylvain Ordureau.
Avec la 5G et les capacités de calcul du cloud, plusieurs personnes pourront modifier ce fichier en même temps à travers HoloLens2. Le tout en ayant une vision très précise des fichiers : « on peut descendre à une définition en dessous de 2 millimètres ! » s’enthousiasme Sylvain Ordureau. Un niveau de précision particulièrement utile quand il s’agit d’analyser une avarie par exemple.
Suivre sa chaîne de production en temps réel dans le retail
Nous vous avons déjà expliqué ici comment HoloLens2 permettra au retail de créer toujours plus de valeur à ses clients.
Avec la 5G, il pourrait entrer dans une toute autre dimension. Sylvain Ordureau imagine déjà des marques de luxe offrir à leurs clients de suivre en direct et en temps réel la fabrication de leur sac par exemple. Mais la 5G aidera aussi les retailers à visualiser leur chaîne de production pour repérer des dysfonctionnements, toujours en temps réel.
Une expérience immersive dans les jeux vidéo et les divertissements
Le milieu n’attendait que cela. La 5G couplée à HoloLens2 permettra aux équipes qui conçoivent des effets spéciaux ou qui créent des jeux vidéos de collaborer en même temps sur certaines scènes. « Aujourd’hui, c’est contreproductif, chacun travaille dans son coin, il faut même des IA pour vérifier la cohérence de certaines scènes. »
Et pour les spectateurs, l’expérience s’annonce incomparable : des effets spéciaux tellement réels qu’ils deviendront invisibles. Place à l’émotion, au cinéma comme dans les jeux vidéo. Grâce à la bande passante de la 5G, certaines plateformes feront même participer un nombre illimité de joueurs.
La 5G et HoloLens pourraient aussi nous faire changer complètement la manière dont nous regardons les événements sportifs. Fini le plan unique pour tout le monde au même moment à la télévision. « Vous pourrez choisir de suivre Neymar pendant le match et voir son point de vue si vous voulez. »
Rendre vie aux sites archéologiques
Sylvain Ordureau travaille notamment avec la société Iconem, qui reconstitue des sites patrimoniaux en 3D. « Ils prennent énormément de photos et sont en mesure de donner à voir la texture des surfaces, par exemple. C’est un maillage très lourd, des teras de polygones. Avec la qualité permise par la 5G, on est en mesure de voir jusqu’aux traces de fissures et la santé des murs avec les HoloLens2. »
Lire aussi L’IA et la réalité mixte pour mettre en valeur le patrimoine
En 2017, son équipe s’est rendue au Pérou pour scanner des momies sur un site archéologique. « Nous avons mis les images du CT-scan dans le cloud et nous les avons calées sur l’hologramme de l’objet. Une réception de 60 images secondes grâce à la 4G pendant 20 minutes dans 2 Hololens version 1. Désormais, quand on enfile des HoloLens2, on peut voir à travers la tombe, on peut même manipuler l’hologramme, avec un niveau de détails d’un demi millimètre. C’est magique, les archéologues n’en reviennent pas ! »
