Millumin, solution pour démocratiser les outils lumière, vidéo et son
En 2010, après une première création, Philippe Chaurand, ingénieur informatique de formation, décide de créer un logiciel dédié à la création vidéo de spectacles vivants. Il met alors en place un site pour montrer sa vision du produit, puis le développe.
« C’est un logiciel que nous faisons avancer au gré des utilisateurs. Son but est de gérer de la vidéo et de la lumière sur scène. Il permet, avec un spectacle écrit, de pouvoir synchroniser le jeu des acteurs avec celui du décor vidéo. Notre job est de donner l’illusion que la lumière, la vidéo, les acteurs, constituent un tout », explique Philippe Chaurand.
Son modèle économique, la vente sous licence, est adapté à l’économie restreinte du spectacle vivant. « La machine est très précise, elle s’adapte au mieux à l’acteur. C’est généralement l’opérateur qui déclenche les séquences », reprend-il.
Petit à petit, le but a été que « Millumin joue le chef d’orchestre technique de la lumière, de la vidéo, du son. Soit on les réunit au sein d’une même interface, soit on propose des approches qui permettent à ces corps de métier de collaborer le plus simplement possible, notamment en faisant dialoguer les différentes consoles (son, vidéo, lumière) », ajoute-t-il.
Millumin a expérimenté la Kinect 1 et 2. « C’est un outil intéressant puisque plug and play. Il permet de détecter le squelette. Cela reste toutefois une technologie avec une qualité du rendu peu exceptionnelle. Surtout, dans le cadre de spectacles de danse, sa latence reste importante. Cela pose un souci, on ne peut pas demander à un artiste de bouger lentement pour que la Kinect ait le temps d’envoyer les informations à l’ordinateur », ajoute-t-il.
Ce dispositif est toutefois utilisable pour déterminer où se place tel sujet et déclencher une séquence d’image. « En 2017, lors d’un spectacle où il fallait diffuser de la vidéo uniquement sur les danseurs, nous avons testé plusieurs systèmes, dont la Kinect. Nous avons ensuite conçu un système utilisant des caméras infrarouges (industrielles) pour limiter la latence et optimiser la qualité de projection », détaille le créateur de Millumin.
Ce système se compose d’un vidéoprojecteur couvrant en plongée l’ensemble de la salle. La caméra infrarouge est placée en régie, elle filme l’intégralité de la scène, l’image captée est traitée, créant un masque de la forme des danseurs. L’image est ensuite déformée par le vidéoprojecteur et rééquilibrée.
« Après un traitement informatique, l’ordinateur sait où est le comédien et projette sur lui la séquence, le tout en temps réel. Nous travaillons à diminuer le temps de latence. On peut aussi faire l’inverse, à savoir détourer un acteur sur une image projetée. Nous avons participé à quatre spectacles dont Solstice de Bianca Li. Cette technologie est encore en bêta », reprend-il.
Ce système permet de gérer plusieurs comédiens sur scène, tant que ceux-ci restent écartés les uns des autres. Dans le cadre de collaboration avec des créateurs, Philippe Chaurand a aussi travaillé sur un système de particules projetées sur des danseurs ; celles-ci sont coordonnées avec les artistes, via un opérateur. Il donne le rythme à ces particules en agissant sur elles via une tablette graphique, à l’instar d’un logiciel, tel After Effects en temps réel.
« Nous pourrions automatiser cela avec la Kinect, par exemple, mais on perdrait le sens du spectacle vivant. L’intérêt est aussi l’interaction entre opérateurs et danseurs. D’un jour à l’autre, le spectacle est différent… Si tout est automatisé, on perd la magie, la tension… on fait alors du broadcast », affirme-t-il.
Suite à ces expérimentations, le logiciel Millumin s’est enrichi notamment d’un système d’anamorphoses. Il intègre la Kinect, des plugs-in pour des logiciels tels Cinema4D, Unity, After Effects… permettant d’avoir un rendu direct des frames vidéo traitées. « On veut proposer une solution encore plus simple afin qu’il puisse être pris en main par tout régisseur », conclut-il.
Modulo Pi et ses solutions « tout en un »
« Nous vendons l’ordinateur avec le logiciel et le support technique. Nous passons par des prestataires techniques, même si nous restons en soutien support. Nous travaillons, par nos intégrateurs, avec l’opéra Garnier, l’opéra Bastille, le théâtre Rive-Gauche, l’Institut du monde arabe, le Puy du Fou, etc. », détaille Yannick Kohn, créateur et dirigeant de Modulo Pi.
Yannick Kohn débute sa carrière à ETC Audiovisuel, spécialiste de la projection argentique en PIGI (projecteur d’images géantes informatisées). Il crée un logiciel pour contrôler ces engins et développe l’un des premiers médias serveurs vidéo. En 2010, il lance Modulo Pi, Modulo Player sort en 2012. « Je me suis retrouvé dans une école d’ingénieurs par hasard. Je voulais être ingénieur du son. Créer ce type de produit est une façon de travailler dans le spectacle. Nous avons essayé de fabriquer quelque chose de différent, en nous appuyant sur l’expérience utilisateur. Mon rêve était déjà d’inventer Modulo Kinetic, une solution d’avenir pour le spectacle. On a commencé par développer Modulo Player pour pallier le manque d’outils simples. »
Près de 90 % du mapping réalisé en France l’est grâce à ce produit. Le but de ce média serveur est une prise en main simple. Pour cela, les vidéos sont présentées dans des playlists. « Modulo Player s’est démocratisé sur le marché de la convention d’entreprises et dans les théâtres », se réjouit Yannick Kohn. Ce système « tout en un » n’est pas à la portée de toutes les bourses : « Il est plus onéreux qu’un logiciel comme Millumin, un très bon produit, qui dépend de la capacité de l’ordinateur. Nous sommes dans une économie où nous n’avons pas le droit à l’erreur : Pour le défilé Balenciaga, il y avait 81 sorties (MP), dans un hall de leds immersifs à 360 °, cela durait 15 minutes pour deux mois d’installation et deux semaines de répétitions », précise-t-il.
Dans la version 5 de Modulo Player a été ajouté un live mixer : « une première technique dans un média serveur. Cela intéresse les opéras qui font des captations et remixent du live ». Autres points forts de Modulo Player : le show-control pour piloter l’intégralité du show, y compris des devices externes. L’ordinateur devient une boîte noire, tout est piloté depuis la remote Modulo Player sur un simple ordinateur portable : réglages audio, contrôle des vidéoprojecteurs, intégration des médias, résolution du serveur, grille de commutation, machines à fumer, etc.
Au Puy du Fou, les shows sont programmés via time code. « Dans la balade lumineuse et sonore de Chartres, le show control est géré par Modulo Player qui va envoyer l’info “allumage projecteur”, puis à l’heure précisée par le calendrier, lancer vidéos et son », reprend-il. Toujours dans l’esprit de simplification, la fonction X-Map intégrée dans Modulo Player facilite tout mapping. De même, médias et show sont stockés dans le serveur. « On peut créer un nombre infini de playlists et de “cues” (signaux de top) et les ajuster en temps réel, changer la colorimétrie des médias », indique-t-il.
À côté du Modulo Player, Yannick Kohn propose, en 2016, Modulo Kinetic. Modulo Kinetic a été utilisé par l’Atelier des lumières (135 projecteurs, 35 médias serveurs), notamment sur le show inspiré de l’œuvre de Klimt, projeté aux Baux-de-Provence, puis à Paris, avant d’intégrer, en Corée du Sud, Le Bunker de Lumières. Pendant qu’il était encore en construction, son plan 3D a été intégré dans le logiciel, permettant de préparer l’exposition en off-line. « Avec une ergonomie identique à celle des logiciels de montage et de compositing, cet outil permet de mélanger les vidéos, d’ajouter des effets, etc. Il est en outre équipé d’un moteur 3D intégré. Grâce à la liste des projecteurs et des optiques existants sur le marché, l’utilisateur peut créer sa projection en fonction du lieu et en off-line. »
Autre axe de recherche de Yannick Kohn, le tracking. « Cette solution s’appuie sur des boîtiers de leds infrarouges identifiés par des ID. Par exemple, cela permet de suivre un robot, dont on a déjà la structure 3D, de récupérer la position de chacun de ses moteurs. Le projecteur détecte leur position et projette une image sur ce robot en temps réel », souligne le créateur de Modulo Kinetic. La société développe cette solution via un projet RIAM aidé par le CNC et vise le tracking du corps humain.
« Dans un ballet en hommage à Béjart, nous avions placé des capteurs sur des panneaux. Les danseurs se déplaçaient avec ces éléments sur lesquels étaient projetées des vidéos. Pour tracker les corps des danseurs, il faudrait que nous ayons les scans 3D 360 précis de tous les artistes ou que ceux-ci soient couverts de capteurs infrarouges. Nous sommes au tout début de l’interactivité », sourit Yannick Kohn. Plusieurs voies sont explorées, dont celle s’appuyant sur le capteur LeapMotion. Elle permet de récupérer la position de tous les doigts.
Gageons que la version 3 de Modulo Kinetic qui vient de sortir n’a pas fini d’être enrichie. D’autant que les limites sont en train d’être repoussées, car, comme le souligne Benoît Simon, directeur technique adjoint de la Comédie française, « les créateurs ont intégré ces notions et ils ont la connaissance des possibles à l’instar du collectif MxM, qui a intégré des vidéastes comme Pierre Nouvelle et Mehdi Toutain-Lopez, manipulant vidéo et informatique. Ceux dont ce n’était pas le médium de transmission ont pu s’en servir comme d’un gadget, mais qu’en sera-t-il des nouvelles générations nées dans le digital ? Traking, les nouvelles technologies seront logiquement intégrées dans leur création. »
Article paru pour la première fois dans Sonovision #14, p.34-36. Abonnez-vous à Sonovision (4 numéros/an + 1 Hors-Série) pour accéder, à nos articles dans leur totalité dès la sortie du magazine.
