La technologie numérique recouvre à la fois l’outil numérique (l’ordinateur et son interface, souris, capteurs), le support numérique de lecture ou le réseau de communications utilisé (par satellite ou Internet) et le code informatique en tant que langage de programmation. Appliquée aux marionnettes, la technologie numérique permet d’explorer des interactions au cours du jeu, comme au théâtre il s’en produit entre le marionnettiste et sa marionnette. Manipuler un objet ou une marionnette est en effet toujours technique pour le marionnettiste et diffère selon le type de marionnette utilisé. En ce sens, la technologie numérique est appréhendée par le marionnettiste comme une technique de manipulation, mise en œuvre à partir de l’interfaçage construit et le reliant à la marionnette. L’interface de base est constituée d’un capteur ou d’une télécommande.
Dans le cas de l’installation Configuring the Cave (En configurant la caverne) de Jeffrey Shaw (1997), la marionnette constitue elle-même l’interface. Cet environnement virtuel est constitué d’images de haute résolution, générées par ordinateur en temps réel et projetées sur les trois murs et sur le sol d’une « caverne », créant pour le spectateur une réalité virtuelle en 3D dans laquelle il est totalement immergé, immersion accentuée par un environnement sonore interactif. Au centre de cet espace, une marionnette en bois est utilisée pour contrôler des transformations dans l’espace audiovisuel. Les visiteurs sont invités à jouer avec elle en faisant librement bouger ses membres et sa tête et, par ce biais, explorer chacun des mondes virtuels en présence. L’« interacteur » peut ainsi passer de l’un à l’autre des sept mondes virtuels représentés, en déplaçant les mains de la marionnette pour couvrir et découvrir ses yeux et voir ainsi à son tour comment les images et le son réagissent à sa manipulation.

La commande électronique peut aussi permettre de télécommander à distance une marionnette comme dans Theater of the Ears (Théâtre des oreilles), pièce pour marionnette électronique et voix enregistrée, mise en scène de Zaven Paré et Allen S. Weiss avec la marionnette de Mark Sussman, et la voix de Gregory Whitehead, créée en novembre 1999 à Los Angeles.

Avatars virtuels et captation de mouvement

S’il s’agit d’une connexion où le marionnettiste doit contrôler la marionnette par son corps, par sa gestuelle plutôt que par des touches de commande, les interfaces numériques sont alors des capteurs. Les capteurs numériques peuvent être soit des capteurs externes à manipuler, soit des capteurs embarqués sur le corps du marionnettiste. La marionnette virtuelle est alors appelée « avatar virtuel ». L’avatar réagit à des interactions gestuelles à travers l’interfaçage avec le marionnettiste. Les marionnettes virtuelles pour la scène sont généralement manipulées par l’intermédiaire de gants sensitifs comportant – insérés dans le tissu du gant et à chaque emplacement d’un doigt – des capteurs de flexibilité. Le mouvement de la marionnette virtuelle est contrôlé par la capture en temps réel des flexions des doigts. Des compagnies de marionnettistes collaborent ainsi avec des programmeurs pour mettre au point cette technique de manipulation. C’est le cas notamment, depuis 1996, de l’association Animação qui travaille avec l’IRIT (Institut de recherche en informatique de Toulouse) pour ses spectacles et ses ateliers. Il s’agit ici de contrôler des avatars de synthèse conçus comme marionnettes virtuelles « manipulées » à distance grâce à des capteurs de mouvements électromagnétiques de type « Polhemus » ou des « gants de données ». Un manipulateur, équipé de deux capteurs, évolue à vue ou caché devant un petit boîtier émetteur-récepteur. Ce boîtier donne à l’ordinateur auquel il est relié la position et l’orientation des capteurs dans l’espace. Le ou les personnages en 3D, créés grâce à un logiciel de modélisation sont également dotés de capteurs, et chaque partie du personnage ainsi reliée, bouge en même temps que le manipulateur, dans une interaction entre éléments ou personnages réels et images projetées. Quant à la Funambule de Marie-Hélène Tramus et Michel Bret, chercheurs et enseignants à l’ATI (Art et technologie de l’image) de Paris-VIII, elle est construite sur le modèle des organismes vivants et des réseaux neuronaux, et à partir de la notion d’« apprentissage ». L’interactivité est ici « intelligente » dans la mesure où la marionnette virtuelle est dotée d’une certaine autonomie. En effet, après une phase d’apprentissage, effectuée par ses concepteurs, qui lui « enseignent » des exemples de postures, lui permettant de configurer son système de neurones artificiels, elle réagit à un capteur de mouvements actionné par l’« interacteur » en interprétant en temps réel des situations inédites de déséquilibre. Cette Funambule virtuelle est ainsi mise dans une situation d’interaction, où elle « improvise » une réponse en utilisant ses neurones artificiels comme une mémoire afin de trouver, face aux forces déséquilibrantes qui lui sont appliquées par l’intermédiaire d’un « balancier-interface », une solution adaptée de rééquilibrage. Certaines de ces postures n’ont donc pas été « apprises » et écrites dans le programme, mais « émergent » comme une réponse « inventée » par la créature artificielle.

L’espace augmenté de la scène

Les outils de communication à distance augmentent les possibilités de redistribution d’un jeu spatial en temps réel à l’instar de la performance Pac Manhatthan (2004) réalisée avec cinq acteurs recréant dans les rues de New York le jeu vidéo PacMan par l’intermédiaire de téléphones portables et de connections Wifi sous l’œil des internautes. De même avec la « performance » Can you see me now ? du collectif anglais Blast Theory (2001). Ce jeu hybride se déroula à Sheffield simultanément sur écran et dans les rues, opposant les internautes aux membres du groupe, superposant l’espace réel de la ville et sa cartographie virtuelle, et reliant, par mini-ordinateurs portables et Wifi ainsi que par des liaisons GPS (par satellite), les joueurs en ligne, les acteurs réels dans les rues et leurs avatars virtuels sur écran. L’espace du jeu est alors dit « augmenté », la scène étant élargie vers des hybridations, entre espaces privé et public, cyberespace et espace physique. Les technologies de capture de mouvements et le mapping d’images peuvent également permettre d’intégrer une marionnette à un décor virtuel à l’instar de Cyberpunch (2003), expérience menée par le groupe théâtral de Thomas Vogel à Berlin. Les marionnettes se déplacent de la scène à l’écran puis dans un espace virtuel. À travers l’animation 3 D en temps réel sur scène, un lien interactif entre marionnettes virtuelles et marionnettes réelles est alors créé.

Scène et écran

Internet est un espace virtuel scénique où des avatars peuvent être manipulés à l’écran comme des marionnettes virtuelles. Sur <http://.metapet.net> de Natalie Bookchin, le joueur peut diriger une créature génétique virtuelle. Des formes génératives de créatures virtuelles en 2D ou en 3D sont aussi conçues comme sur le site de sodaplay.com où l’on peut faire varier plusieurs paramètres d’une créature zoomorphe virtuelle. Il en est de même des animaux (girafes, cheval…) du zoo expérimental de Frédéric Durieu que l’on peut déplacer et désarticuler à loisir sur le site lecielestbleu.com grâce à ses « Puppet Tools ». Dans un registre comparable, des pixels génératifs et déplaçables d’Antoine Schmitt peuvent êtres manipulés sur <www.gratin.org>. Internet offre ainsi une autre scène pour la marionnette où l’écran peut se transformer en scène.

Manipulateurs(s) et marionnette(s)

L’association entre présence virtuelle (de la marionnette) et présence réelle (de l’interacteur ou du manipulateur) sur scène trouve un nouveau champ d’application avec les technologies numériques. La création de Denis Marleau (2002), à partir de la pièce de Maurice Maeterlinck, Les Aveugles, qui mariait des masques virtuels sur scène et des voix d’acteurs hors champ, réalisait en quelque sorte le rêve de Maeterlinck d’un théâtre d’où les acteurs vivants seraient complètement bannis. Quant au dispositif interactif Elle de Catherine Ikam, il présente un personnage de synthèse dont seul apparaît le visage réagissant, par le biais d’un capteur laser, à la présence et à la position des visiteurs au sein de l’installation. Dans Phototropy, l’installation interactive de Laurent Mignonneau et Christa Sommerer (1994) soulignait également cette interdépendance entre manipulateur et objet manipulé : ici, c’est la vie et le développement d’un organisme virtuel qui dépendaient de l’orientation d’une lampe actionnée par un visiteur et de la captation de la lumière par la plante virtuelle.

Dédoublement du marionnettiste

Les comportements d’un avatar numérique supposent la programmation de paramètres comportementaux, comme pour les personnages de jeux vidéo. Au cours de l’étape de conception, le « marionnettiste » est amené à travailler sur la captation des mouvements pour reproduire les expressions du visage ou les articulations de la créature virtuelle. Par ce transfert de données s’exerce un dédoublement des gestes du marionnettiste vers ceux du personnage virtuel. On peut s’interroger dès lors avec Isabelle Rieusset-Lemarié (La Société des clones à l’ère de la reproduction multimédia, 1999) sur le statut de ce double en même temps que sur la nature de ces nouvelles relations, nées de l’interactivité entre la créature démiurgique-virtuelle et ce nouvel « interacteur »-marionnettiste.