George Drettakis : marier l’IA et la physique, pour une 3D plus vraie que nature

Mis à jour le 27/06/2024

Améliorer la qualité et la précision des images de synthèse en mariant les principales techniques de création et d’affichage de scènes 3D du moment : c’est l’ambition de George Drettakis, responsable de l’équipe GraphDeco au Centre Inria d'Université Côte d'Azur. Il vient d’obtenir pour la deuxième fois une bourse européenne ERC Advanced Grant.

Vous êtes à nouveau lauréat de la prestigieuse bourse ERC Advanced Grant.

Comment utiliserez-vous le financement de 2,5 millions d’euros sur cinq ans qui vous est attribué pour votre nouveau projet, NERPHYS ?

Au-delà des chiffres, il faut souligner tout ce qu’apporte un ERC. Grâce aux fonds alloués, vous pouvez embaucher et investir quand vous le décidez. Vous menez vos travaux librement, sans livrables à rendre, ce qui permet de prendre des risques. C’est le dispositif d’appui aux chercheurs le plus confortable qui existe en Europe. Et à ma connaissance, il a peu d’équivalents ailleurs.

Avec ces 2,5 millions d’euros, je compte recruter sur l’ensemble du projet quatre ou cinq doctorants et trois ou quatre postdoctorants, ainsi que des ingénieurs. De plus, nous achetons un nœud de calcul très puissant afin de pouvoir utiliser facilement les méthodes d’apprentissage profond. Ce nœud sera accessible à d’autres équipes, mais nous bénéficierons d’un accès prioritaire

Quelles techniques de synthèse d’images allez-vous associer ?

La première, que j’étudie depuis des années, part de photos d’un objet ou d’une scène captée sous différents angles, mais ayant des pixels en commun. Ces photos servent à établir un nuage de points en 3D qui est ensuite densifié, étoffé, pour représenter la scène d’une manière adaptée à l’affichage rapide, avec une grande qualité visuelle. Mais cette méthode ne permet pas des calculs basés sur la physique.

La deuxième approche est utilisée pour les jeux vidéo et les effets spéciaux, mais aussi l’architecture. Elle se base sur la physique pour la simulation de l’éclairage et nécessite une modélisation fastidieuse, typiquement faite par des artistes pour définir la géométrie, les matériaux et l’éclairage. Il faut ensuite un calcul important pour simuler le transport lumineux. Par contre, ces méthodes sont difficiles à adapter pour la création de scènes 3D à partir de photos.

La troisième technique, plus récente, est basée sur l’IA générative, qui a donné naissance à Chat GPT. Vous décrivez une scène sous forme de texte sur un outil comme Midjourney ou Dall-E, et une image de synthèse est créée automatiquement dans un délai court. Problème : ce type de solution n’est ni très précis, ni réaliste, et il n’a pas de notion de la physique sous-jacente. Par conséquent, vous ne contrôlez pas les propriétés de ce qui s’affiche.

Votre idée est donc de tirer le meilleur parti de ces différentes approches ?

Exactement. Nous voulons utiliser la puissance des modèles d’apprentissage profond de l’IA générative pour créer et afficher des scènes 3D extrêmement réalistes, en ajoutant les capacités de contrôle des algorithmes basés sur la physique.

C’est très ambitieux. Et pour certains aspects, je n’ai encore que des notions assez vagues de la façon dont nous procéderons ! Mais les ERC sont faits pour explorer des espaces inconnus et viser des innovations de rupture.

Celui que j’avais obtenu précédemment (ERC Advanced Grant FUNGRAPH) n’exploitait pas encore l’IA générative, ni le lien avec les méthodes « basées « physique ». Il a donné naissance en 2023 à un algorithme de création et d’affichage de scènes 3D plus rapide et précis que les meilleurs outils de Google et Nvidia. Cet algorithme – les Gaussiennes 3D – a reçu un accueil extraordinaire dans le monde académique et chez les grands acteurs du numérique.

Quelles applications pourraient découler de vos recherches ?

Difficile de vous répondre précisément. Quand un outil de création de scènes 3D performe, il peut avoir des débouchés bien au-delà de ce que vous imaginiez. Moins d’un an après sa publication, notre approche des Gaussiennes 3D est déjà utilisée pour le commerce en ligne, les jeux vidéo, les effets spéciaux au cinéma, mais aussi l’immobilier, l’inspection des ouvrages d’art ou des sites industriels endommagés…

Avec les solutions qui seront proposées par NERPHYS, on peut imaginer des usages industriels beaucoup plus poussés dans les mêmes domaines, et d’autres entièrement nouveaux, grâce au contrôle basé sur la physique qu’offriront nos nouveaux algorithmes.

Disposez-vous de toutes les compétences nécessaires au sein de votre équipe ?

Nous sommes bien armés sur la technique de rendu à partir de photos, mais il faudra puiser certains compléments à l’extérieur. Pour l’apprentissage profond et la synthèse basée « physique », nous nous appuierons sur d’autres universités et instituts de recherche, en France, en Europe et au-delà, par exemple avec notre collaborateur de longue date, le professeur Frédo Durand, au MIT (États-Unis).