Une grande marque de mode qui souhaitait créer une expérience immersive en exploitant le potentiel de la projection et de la 3D en temps réel dans sa boutique phare de Shenzhen en Chine a décidé de confier le projet à Recursive (et Green Room).

Cette marque était à la recherche d’une expérience multimédia qui transporterait ses clients dans un « voyage magique rempli de découvertes » à travers un paysage enchanté et aérien parsemé d’interactions en temps réel entre le monde virtuel et le monde réel, et, elle avait pu apprécier le travail de Recursive dans la boutique Puma située sur la Cinquième avenue de New York

David Yates, PDG de Recursive, explique : « Notre travail consistait à développer l’architecture du système et de transformer une idée créative en une solution concrète qui permettrait de créer quatre mondes différents représentant quatre thèmes principaux en relation avec la nature. Il fallait que les utilisateurs puissent vivre une expérience, que les animations se déclenchent automatiquement en fonction des interactions sociales et des mouvements uniques de chaque utilisateur à travers l’espace.

Nous nous sommes vite rendus compte que nous allions devoir travailler dans un environnement en 3D en temps réel et que nous allions pour cela avoir besoin d’une méthode permettant d’adapter le contenu à la forme et à la disposition de la pièce réelle sur 360 degrés, sachant que la forme de la salle était complexe, avec des surfaces convexes et concaves. »

L’équipe a également déterminé que la résolution finale et la taille de l’écran seraient exceptionnellement grandes, nécessitant pour cela six projecteurs laser 4K de 21 000 lumens sur les murs et au sol. L’installation devant fonctionner en temps réel, il fallait que la charge soit répartie entre plusieurs appareils fonctionnant ensemble comme un seul, communiquant les uns avec les autres en réseau.

C’est pourquoi Recursive a utilisé le système nDisplay de Unreal Engine qui permet non seulement de reproduire l’environnement, mais également de répartir la charge de travail entre plusieurs postes de travail afin d’en accélérer l’installation et d’en faciliter l’utilisation.

L’équipe a également eu recours à la technologie de calibration VIOSO afin de scanner l’espace et de créer les fichiers nécessaires, aux formats requis afin d’aider le système Unreal à connaître la disposition et la forme des clôtures nDisplay.

« La surface de projection sur laquelle nous avons dû travailler dans l’espace alloué était vraiment irrégulière » indique Paul Marshall, consultant audiovisuel. « Nous avions besoin d’une solution cartographique de projection fiable et adaptable qui permette le mélange complexe de projection et qui soit capable de synchroniser plusieurs postes de travail à la fois. Nous avons utilisé de nombreuses caméras pour scanner l’espace et nous avons réalisé un processus de conversion pour obtenir des fichiers de sortie MPCDI homégénéisés. »

Les fichiers MPCDI ont ensuite été chargés dans nDisplay, puis utilisés avec la configuration nDisplay afin d’attribuer les sorties aux projecteurs connectés à chaque nœud nDisplay.

Richard Smith, directeur associé chez Recursive ajoute : « Au-delà des prérequis de base pour la 3D en temps réel, nous avions également besoin d’autres éléments concrets pour permettre la communication au sein de l’installation. Une fois encore, nDisplay permet cela grâce au plan Unreal, par le biais de plusieurs protocoles en réseau tels qu’OSC et UDP qui nous ont permis de contrôler l’éclairage dynamique, les Nano Winches, les Hazers et les systèmes audio en temps réel. »

David Yates ajoute : « Nous avions déjà travaillé avec VIOSO auparavant et nous savions qu’ils seraient notre équipe de référence pour nous aider avec les problèmes de cartographie de l’espace et pour nous fournir des données de sortie dans un format pouvant être utilisé dans un logiciel de 3D en temps réel. VIOSO est très réputé dans son domaine et dès la première réunion nous savions qu’ils seraient les collaborateurs parfaits pour ce projet. »

Le système VIOSO a fourni à l’équipe un calibrage automatisé muli-projecteurs et multi-caméras, ce qui a permis à celle-ci de créer les fichiers nécessaires à la configuration nDisplay.

« Grâce aux conversations avec l’équipe de VIOSO, nous avons décidé d’utiliser le logiciel VIOSO pour scanner l’espace de travail, l’aligner sur le modèle en 3D et produire ces données au format MPCDI v2 pouvant ensuite être utilisé dans nDisplay » indique Richard Smith. « Étant donné que nDisplay était indispensable pour l’aspect 3D en temps réel du projet, nous avons été très attentifs à l’unique autre moment où cette combinaison avait été utilisée dans le passé, pour la série de concerts Pharos de Childish Gambino. »

L’équipe a pu atteindre le niveau de suivi et de contrôle requis en développant son propre système sur place avec de nombreuses caméras de profondeur. Le système utilise une approche en nuage de points afin de pouvoir voir l’utilisateur sous plusieurs angles en interprétant les données de profondeur en temps réel.

« Nous avions également besoin d’utiliser un suivi squelettique pour intégrer les objets graphiques en temps réel au sein de l’environnement Unreal » a ajouté le directeur de production, George Roboz. « Nous avons utilisé Microsoft Azure Kinect qui transforme les mouvements squelettiques de l’utilisateur en données via Touch Designer. Puis nous avons lancé le moteur nDisplay avec le système de plans Unreal. Une fois que les clients invités entrent dans la pièce, des systèmes complexes s’activent : les objets se déforment, et les utilisateurs interagissent avec la faune et la flore en tendant le bras ou en changeant de position et une histoire magique se déroule autour d’eux. »

Les interactions en temps réel entre le monde virtuel et le monde réel rendent cet espace unique, tant en ce qui concerne l’expérience utilisateur que les défis de conception et de mise en œuvre qui se posent.

« De nombreuses personnes ont participé à ce projet dans le monde entier, travaillant tous sur une partie précise du processus » explique Paul Marshall. « Nous avons dû tout planifier à distance et suivre leur travail. Par conséquent, les tests étaient fondamentaux. Le contenu a été développé aux États-Unis et la salle finale a été construite dans la boutique de Shenzhen tandis que l’équipe de conception et le client se trouvaient au Royaume-Uni. »

Au regard de la complexité de l’installation et le besoin de vérifier que les créations fonctionneraient dans la réalité, l’équipe a dû créer une maquette de la salle grandeur nature où ils pouvaient tester et optimiser le flux de travail et résoudre les problèmes éventuels.

« Ce travail d’équipe en continu nous a permis de créer une véritable amitié et nous avons su surmonter toutes les difficultés techniques en équipe » déclare David Yates. « Nous avons passé beaucoup de nuits blanches dans nos bureaux, souvent en collaborant avec des équipes situées à l’autre bout du monde, mais le résultat final en valait la peine. Nous avons été conquis par le niveau d’expertise affiché par l’équipe de VIOSO et par sa bonne volonté pour ajouter des fonctionnalités à leur propre logiciel lorsque cela était nécessaire. Nous avons hâte de collaborer à nouveau avec eux sur d’autres projets ! »