Rédaction
Date
Dans ce questions-réponses, Julien Coll, codirecteur intérimaire et Vahe Vardanyan, directeur scientifique et chercheur IA, partagent leur expérience du SIGGRAPH 2023 de Los Angeles, un événement d’envergure en graphique et VFX, également centré sur l’IA.
Le SIGGRAPH célébrait son 50e anniversaire cette année si bien que les attentes étaient élevées au CDRIN. Les festivités n’ont peut-être pas suscité l’admiration escomptée, mais sur le plan des recherches académiques, de meilleures pratiques de production et de normes émergentes, ce rendez-vous international des experts de l’informatique graphique et de l’IA n’a pas déçu nos collègues.
Notre codirecteur intérimaire Julien Coll et notre directeur scientifique Vahe Vardanyan sont revenus de Los Angeles riches en rencontres, connaissances théoriques et expérimentations permettant de faire avancer la réflexion du CDRIN sur une mise en pratique des technologies émergentes utile et efficace pour les PME, et même d’avoir une longueur d’avance sur les futurs standards dans l’industrie de la créativité numérique.
L’intelligence artificielle connaît une effervescence sans précédent et le paysage technologique évolue à une vitesse fulgurante, il est essentiel dans ce contexte de choisir judicieusement les axes d’investigation les plus utiles à l’industrie de la créativité numérique. C’est ce que nous faisons, à partir des papiers académiques, mais aussi par une fine compréhension des expériences des studios, de leurs besoins et visions.
Il se passe beaucoup de choses au SIGGRAPH si bien qu’il est impossible d’en faire un compte rendu exhaustif. Les Production Sessions, des présentations durant lesquelles les grands de l’industrie partagent leur savoir-faire, vous ont particulièrement intéressées. Pourquoi?
Julien Coll: Elles nous ont donné un aperçu concret de la manière dont les studios travaillent pour atteindre un niveau d’excellence supérieur tout en remettant en question les normes existantes. À travers ces sessions productions et les rencontres que nous avons faites avec les acteurs de l’industrie, nous avons poussé notre réflexion sur les technologies de pointe qui font l’objet de nos recherches actuelles, sur leur utilité et sur leur potentiel d’applications. Le SIGGRAPH est un événement important, car c’est là qu’on retrouve une partie de notre matière première à partir de laquelle on construit une vision plus claire des futurs standards du secteur du divertissement.
Vahe Vardanyan: Les présentations sont réalisées par des grands studios de films d’animation et de VFX qui participent à la production de blockbusters, tels que Pixar, Disney et Sony. On y jase beaucoup de nouvelles technologies, comment elles évoluent avec les années et quelles en sont les utilisations récentes. Les sessions productions nous aident à guider nos recherches dans la bonne direction et à imaginer des outils concrets, pratiques et réalistes pour accompagner la transition en IA des PME québécoises du milieu du divertissement. Il faut savoir que le SIGGRAPH, qui est un événement majeur dans l’industrie du VFX, est maintenant aussi très centré sur l’intelligence artificielle.
Le CDRIN fait de la recherche appliquée sur plusieurs technologies émergentes qui ont fait l’objet de ces conférences. Lesquelles sont et seront explorées davantage suite à notre passage au SIGGRAPH?
Vahe Vardanyan: En fait, on pourrait facilement y trouver un papier académique sur presque tous les sujets de recherche appliquée que nous effectuons présentement, mais je dirai qu’on s’intéresse en premier lieu sur les avancées présentées dans les domaines de l’IA générative 3D, du NeRF, des données synthétiques et de la simulation pour mieux les comprendre et les maîtriser. Les conférences de NVIDIA, par exemple, sont extrêmement pertinentes pour l’IA générative. C’est un joueur important en intelligence artificielle appliqué au milieu du divertissement et certainement une source d’inspiration pour des futurs projets de recherche appliquée. On a aussi constaté des avancées du côté de la simulation physique et graphique en VFX. Par exemple, les studios commencent de plus en plus à adopter le real time rendering, qui est d’ailleurs l’une de nos expertises développées avec le programmeur-chercheur Olivier Therrien. Enfin, les studios entreprennent aussi de combiner l’utilisation de toutes ces technologies, ce qui est aussi très prometteur.
Julien Coll: Ces technologies de pointe sont en train de provoquer un changement de paradigme, autant dans l’industrie du divertissement et que dans nos champs d’expertise [vision par ordinateur et rendu].
L’IA générative pour la 3D offre de nouvelles perspectives pour la production de données plus immersives, avec un niveau de réalisme et de détail sans précédent. La génération de données pour la 2D est déjà un sujet très présent, de par les impacts majeurs qu’elle suscite sur la production, l’accessibilité et le savoir-faire. L’IA générative en 3D a autant sinon plus de potentiel.
Quant au NerF, il suscite un vif intérêt auprès des entrepreneurs pour ses capacités en matière de capture et de représentation de la réalité: c’est un outil ultra performant offrant un horizon de possibilités, mais son application dans la conception de jeux et autres domaines demeure un défi. Cette technologie est à ce point disruptive en production qu’on ne sait pas encore comment l’appliquer. Comment améliorer les pipelines déjà existants pour l’intégrer? Comment s’en servir pour créer de l’innovation? Nous voulons avoir une longueur d’avance et investiguer sur les applications concrètes du NeRF, actuellement inutilisable en production, car celui-ci pourrait aider à révolutionner la manière dont nous interagissons avec les environnements virtuels et réels. Enfin, les données synthétiques, en plein essor dans les projets d’IA, offrent des bénéfices notables au-delà du divertissement. Elles contribuent notamment à réduire les coûts de production de modèles d’IA, nous en parlons dans notre premier article en anglais paru dans la plateforme Medium. [Le pouvoir des données synthétiques est aussi disponible en français sur notre blogue]
Quel est l’impact de ce paradigme qui se dessine pour le CDRIN?
Julien Coll: Outre le fait que maintenant toute l’équipe fait de l’intelligence artificielle, avec autant de nouvelles technologies qui apparaissent et la rapidité à laquelle le secteur évolue, le CDRIN est dans une phase qui nous rapproche momentanément de la recherche universitaire ainsi que des expérimentations des grosses entreprises. Nous faisons beaucoup plus d’exploration et de la recherche que du développement actuellement. C’est un choix, avec ses avantages et inconvénients, que nous avons fait pour être en première ligne. Mais ça ne change rien à la nature du CDRIN! Au contraire, notre capacité à affronter ces technologies nous permet d’acquérir l’expertise nécessaire pour accompagner les PME une fois la poussière retombée. C’est notre objectif: on développe des axes de recherche pour créer des nouveaux outils et des pipelines qu’on met à jour ou qu’on simplifie grâce aux plus récents papiers académiques et expérimentations, comme celles vues au SIGGRAPH. Pour ce faire, nous échangeons davantage et plus régulièrement avec nos partenaires. On est plus proche de l’industrie!
Julien et Vahe sont revenus du SIGGRAPH motivés de constater que les orientations technologiques du CDRIN sont sur la bonne voie. Notre travail d’exploration se poursuit donc, notamment avec une recherche publique d’envergure – Libérer la créativité par l’intelligence numérique: la clé de voûte pour le futur du divertissement (nous vous en dirons plus sous peu!), tout en restant engagés à proposer des moyens d’utiliser ces technologies de manière éthique et responsable. Il ne s’agit pas de remplacer l’humain, mais de trouver des façons d’augmenter la qualité et de réduire l’impact écologique des productions.
Recommandations de lecture
Durant cette vitrine internationale de l’innovation graphique, nous avons eu le privilège d’explorer des recherches de pointe dans les domaines de l’IA, du rendu 3D et de la modélisation volumétrique. Parmi quelques découvertes marquantes, mettons en lumière ces trois papiers suggérés par Vahe Vardanyan:
- 3D Gaussian Splatting for Real-Time Radiance Field Rendering, Inria: Ce papier explore une méthode novatrice de rendu en temps réel des champs de radiance. En utilisant le splatting gaussien en 3D, les auteurs parviennent à obtenir des rendus radiométriques d’une qualité remarquable. Cette approche ouvre de nouvelles perspectives au secteur de la XR.
- Learning Physically Simulated Tennis Skills from Broadcast Videos, NVIDIA: Cette impressionnante étude démontre la possibilité d’apprendre des compétences physiques simulées à partir de vidéos de diffusion, ouvrant des perspectives intéressantes pour les travaux en simulation et en apprentissage automatique.
- NeuralVDB: High-resolution Sparse Volume Representation using Hierarchical Neural Networks, arXiv: Les auteurs proposent ici une méthode très pertinente de représentation de volumes épars en haute résolution à l’aide de réseaux neuronaux hiérarchiques. Cette avancée a un énorme potentiel dans des domaines tels que la modélisation médicale et même la simulation réaliste ou encore la création de contenu 3D de haute qualité. Elle trouvera sans aucun doute des applications dans nos recherches en modélisation volumétrique.
