MoStyle : marier l’animation 2D et 3D pour plus de créativité

À l'occasion de la Journée mondiale de l'art, Pierre Bénard, enseignant-chercheur de l’équipe-projet Manao commune à Inria et au LaBRI, revient sur la genèse du projet ANR MoStyle, démarrée en 2021 et qui arrivera à son terme à la fin de l'année : "L'idée de départ était de rapprocher deux formes d'animation très différentes, la 2D et la 3D. Dans de nombreuses productions modernes, ces deux formes cohabitent, et nous avons voulu aider les animateurs spécifiquement dans le design du mouvement, tout en leur laissant la totalité du contrôle artistique sur leurs créations."

MoStyle, pour "Motion Stylization" ou stylisation du mouvement, a pour objectif principal de déterminer comment les outils numériques peuvent aider les concepteurs de films d'animation en 2D ou en 3D. Dans ces secteurs, la stylisation du mouvement s’avère cruciale pour en améliorer la lisibilité ou le charme.

MoStyle cherche à apporter aux animateurs 2D des contrôles et une prévisualisation similaire à ceux disponibles en 3D, et à permettre aux spécialistes de la 3D de donner une patte 2D à leurs œuvres. Tout l’art de l’animation 2D traditionnelle, depuis sa naissance au début du XX^e siècle, est de de donner l’impression de mouvements en volume à partir de simples dessins 2D. À l'inverse, certaines productions 3D modernes s'inspirent de la 2D pour apporter un cachet graphique. C'est notamment le cas de “Spider-man : New Generation” et sa suite, où certains mouvements saccadés et effets propres aux Comics donnent parfois l'impression d'être dessinés à la main en 2D, alors qu'il s'agit d'images de synthèse conçues par des outils informatiques.

En réalité, les artistes 2D et 3D travaillent de manière très différente, ce qui a poussé les participants du projet MoStyle à diviser leur travail en deux branches bien distinctes.

Du côté de la 2D, l'équipe a pris comme point de départ la manière traditionnelle qu’ont les animateurs de concevoir les mouvements des personnages. Généralement, un animateur principal dessine les poses clés les plus importantes. Puis un intervalliste produit les nombreux dessins intermédiaires entre deux poses pour donner l’illusion d’un mouvement continu, à coup de 12 à 24 dessins pour une seconde d'animation. La succession de ces dessins sur papier doit donner une impression de volume, pour que le spectateur imagine un "vrai" personnage qui bouge, qui tourne, et pas un simple croquis sur une feuille. "Ici, les outils développés dans MoStyle visent à aider l'artiste dès la phase des dessins préparatoires, détaille Pierre Bénard. Avant même de faire réaliser tous les dessins intermédiaires par l'intervalliste, il peut voir à quoi va ressembler le mouvement." Autrement dit, le programme génère seul des aperçus du mouvement entre deux poses.

Automatiser des tâches fastidieuses pour gagner du temps en imitant un travail réalisé par l’humain… Voilà qui rappelle bon nombre de promesses autour de l'intelligence artificielle générative. Mais ici, rien de tout cela, assure Pierre Bénard : "Notre objectif n’est pas de supprimer le travail de l'intervalliste. Ainsi, MoStyle ne sera pas utilisé dans la phase finale de l'animation, mais bien au moment des croquis." Le projet est avant tout un outil de travail en amont, pour aider à la conception d'un film d'animation. Bien entendu, ce n'est pas lui qui produira le résultat final. Mais l'animateur principal pourra utiliser cette prévisualisation du mouvement, conçue grâce au logiciel, pour partager son travail à ses collaborateurs (directeur artistique, producteur, intervalliste), avant de se lancer dans la production réelle.

Par ailleurs, le dispositif n’utilise pas d'apprentissage automatique. "Il y avait d'abord une raison pratique à ce choix, raconte Pierre Bénard. Les IA ont besoin de données pour "apprendre", et ici nous travaillons sur les travaux préparatoires, les croquis dont le style est propre à chaque artiste, et pas l'animation finale. Il n'y avait donc pas de quoi nourrir leurs algorithmes." L'autre motif est plus éthique. Souhaitant laisser les animateurs entièrement maîtres de leur création, l'équipe d'Inria a échangé avec eux pour savoir comment les assister efficacement. "Les artistes expriment énormément de réticences envers l'IA dans cet environnement. Ils ont peur d'être remplacés, ou de se faire piller leur travail et savoir-faire. Ici, notre méthode leur laisse totalement le contrôle, ce sont eux qui mettent les mains dans le cambouis."

Du côté de la 3D, la problématique s’avère un peu différente car il s'agit d'aider à reproduire des effets typiques de l’animation 2D avec des images de synthèse. Un défi délicat, comme le précise Pierre Bénard : ”Certes, des techniques empiriques existent déjà, mais chaque animateur a la sienne, et il n'y a pas de théorisation du procédé." En animation 3D classique, on peut simuler des effets de flou de mouvement qui rappellent une prise de vue réelle, mais qui n'existent généralement pas en animation 2D. En revanche, les animateurs qui veulent apporter un style 2D vont utiliser divers effets de « smear » regroupés en trois catégories par les chercheurs : déformer un objet dans le sens de son mouvement pour accentuer l’impression de vitesse ; ajouter des lignes de mouvement comme dans la BD ; répéter un dessin plusieurs fois et le superposer.

L’atout de MoStyle : unifier ces trois techniques et les rendre disponibles dans un logiciel qui les applique directement aux animations 3D. Ainsi, le travail des animateurs est facilité car ils peuvent concevoir et surtout contrôler ces effets à leur guise. Concrètement, ce procédé prend la forme d'un plugin intégré au logiciel libre de modélisation Blender. "L'outil fonctionne bien pour un grand nombre de mouvements, mais pas à chaque fois, nuance Pierre Bénard. Tant que le mouvement est fluide, tout va bien. Mais si une discontinuité forte se produit, comme un rebond par exemple, l'objet devient moins joli et le mouvement mal retranscrit."

Quelles sont désormais les perspectives de MoStyle ? Certes, les branches 2D et 3D poursuivent un même but, mais elles ne suivent pas les mêmes méthodes et évolutions. Ainsi, la partie 3D est déjà intégrée et rendue disponible. Elle a même été téléchargée près de 6000 fois à ce jour. Quant à la partie 2D, elle reste plus expérimentale. Toutefois, l'entreprise Praxinos, qui développe un logiciel d'animation, travaille en collaboration avec les chercheurs Inria pour intégrer ces outils. Le prochain défi : tenter de rapprocher encore davantage ces deux branches pour explorer toutes les déclinaisons du mouvement dans les différents types d'animation… Affaire à suivre !