Le dispositif de médiation à base d’IA développé par Hovertone pour le musée de la Photographie à Charleroi conjugue l’exploration interactive d’une fresque à partir d’une borne et l’immersion via une vidéoprojection. © Hovertone
Agence créative spécialisée dans les installations digitales interactives (espace immersif, vidéomapping, tactile monumental), la société belge Hovertone (Mons) développe depuis peu des projets à base d’IA.
Les musées ont-ils des attentes particulières envers les IA utilisées en médiation culturelle ?
Les musées veulent surtout être sûrs de maîtriser les contenus transmis aux visiteurs et qu’ils soient exempts d’hallucinations. Nos solutions portent donc à la fois sur le développement d’algorithmes mais aussi sur la manière de les utiliser afin de se conformer aux exigences de cette médiation culturelle. Qu’elles soient en mode text to text (ChatGPT par exemple) qui permet de créer des agents conversationnels ou en mode text to image, celles-ci garantissent la véracité du propos scientifique ou historique, et le contrôle détaillé de la médiation.
Comment avez-vous procédé pour développer le dispositif de médiation du Centre minier à Lewarde ?
Ce projet s’inscrit dans une réflexion sur la pertinence de l’IA dans la transmission de la mémoire d’un patrimoine et ce, dans le respect des témoignages des personnes interviewées et du public. Nous avons entraîné un modèle d’IA de génération de textes open source (Llama de Meta) uniquement sur un corpus de transcription textuelle élaboré à partir des interviews vidéo menés avec trois anciens mineurs (une soixantaine d’heures). Des corrections ont dû être apportées du fait de leur accent et du vocabulaire spécifique employé. Ce modèle open source fonctionne en local sur l’ordinateur de l’institution, ce qui garantit une autonomie par rapport aux outils. L’originalité de notre modèle (par rapport à un chatbot) repose sur le fait que, une fois la question posée par les visiteurs, un autre algorithme IA est utilisé pour retrouver dans le corpus vidéo le texte non modifié se rapprochant de la production du modèle de langue. Le visiteur découvre alors des segments originaux d’une cinquantaine de secondes, et non des vidéos fabriquées de toutes pièces. Il a ainsi la sensation que le mineur répond à sa question.
Pour le musée de la Photographie à Charleroi (projet en cours), vous utilisez une autre méthode que celle de l’« agent conversationnel » pour découvrir l’immense fond photographique de l’institution. Pourquoi ?
À Lewarde, l’agent conversationnel s’imposait parce qu’une information devait être transmise. À Charleroi, il s’agit plutôt d’une balade dans un fond photographique très riche (environ 250 000 photos). Le modèle de langue utilisé permet de décrire chaque image selon différentes thématiques. Le corpus textuel ainsi généré est composé de plusieurs centaines de milliers de lignes de texte. À partir d’une borne d’exploration interactive équipée d’un vidéoprojecteur, ces images peuvent être appelées via des prompts et venir s’afficher au milieu d’une galaxie d’images afin de parfaire la sensation d’immersion. Le dispositif comporte aussi un potentiomètre qui matérialise la présence de l’IA dans cette requête. Plus les critères de sélection sont nombreux, plus le taux d’IA augmente. Ce potentiomètre répond au souhait de transparence des musées qui tiennent à assurer un cadre de médiation autour de l’IA.
Avec l’irruption de l’IA dans les dispositifs de médiation, l’expérience visiteur va-t-elle se modifier ?
L’IA s’inscrit déjà dans une large palette d’outils de médiation (projection murale, interaction tactile, etc.). Nous avons été parmi les premiers, il y a dix ans, à proposer de l’immersif monumental et de l’interaction tangible avec les Magic Boards. Même si ce dispositif (de dix mètres de long), que nous continuons à produire, demeure un support de médiation très apprécié par le public, nous recherchons toujours de nouvelles formes de médiation et de manières de l’engager. Nous explorons ainsi, depuis plus d’un an, les miroirs interactifs qui permettront aux visiteurs de se projeter dans une histoire. Plusieurs projets de ce type d’interaction situationnelle utilisant les propres silhouettes des visiteurs sont actuellement en cours de développement. D’une manière générale, l’agent conversationnel ne représente qu’une petite fraction des possibilités de l’IA générative. Cette technologie n’intervient toutefois que dans un cinquième des productions d’Hovertone. À nous, agence créative, de trouver l’outil servant au mieux le propos de l’institution.
Extrait de l’article paru pour la première fois dans Sonovision # 40, p. 36 – 39
