Lumières numériques - où en sommes-nous ?

© Fabrice Bourrelly

La lumière n'est depuis longtemps plus confinée seulement dans le monde réel. Ces cinq dernières années, j'ai eu l'occasion d'explorer la mise en lumière d'univers en 3D temps réel, et je constate une convergence entre le réel et le virtuel, entre les tournages "en dur" et les technologies derrière les jeux vidéo et les expériences VR.
Je vous propose un petit point d'étape.

Du côté virtuel

Les "outils" commencent à se ressembler: sur Unreal Engine - l'un des moteurs qui servent à construire des univers virtuels, pour les jeux vidéo par exemple - les Timelines sur le Sequencer évoquent les Timelines des logiciels de montage, et vous pouvez choisir votre caméra (Alexa? RED? 5D Mark III?), vos objectifs (un choix de focales étourdissant) ou votre dolly (Fisher? Panther?) parmi un catalogue qui évoque ce qui est disponible dans le monde réel.

Même les effets de post-prod, dont l'étalonnage en Live, font ressembler les jeux vidéo récents à des films.

Là où ça pêche encore, c'est au rayon lumière. On ne trouve pratiquement aucune source qui corresponde à celles que l'on utilise sur les vrais plateaux. L'une des raisons vient du fait qu'en 3D temps réel, la lumière est encore difficile à simuler sans exiger des puissances de calcul considérables. Du coup, Unreal Engine, Unity et les autres obligent l'utilisateur à recourir à des sources lumineuses abstraites, qui cachent des formules mathématiques sophistiquées. Formules qui ont l'avantage de s'exécuter rapidement, mais le désavantage de ne refléter qu'une partie de la complexité lumineuse du monde réel.
Pour assurer une cadence de projection normale, les processeurs actuels font déjà des miracles. Les rendus 3D temps réel commencent à ressembler à bon nombre de films d'animation traditionnels, ou pré-calculés (type Pixar). Mais pour arriver à cette qualité, il faut économiser du temps de calcul, partout où c'est possible. Et particulièrement en lumière.

En matière de lumière numérique, il faut encore tricher pour arriver à ses fins. Pour ménager les cartes graphiques, l'un des trucs consiste par exemple à "baker" (terme anglais qu'on pourrait traduire par "cuire dans la masse") une partie des lumières et des ombres sur les textures mêmes des objets.

Par exemple: près d'une fenêtre, un canapé est appuyé à un pilier. L'ombre portée du pilier sur le sofa serait pré-calculée et juxtaposée sur la texture du canapé, ce qui ne sollicitera pratiquement pas la carte graphique. Par contre, la lumière qui entrera par la fenêtre pourrait être dynamique, de façon à rebondir en temps réel sur le personnage qui la traversera au cours de la scène.

C'est tout le charme du temps réel: que le personnage traverse la pièce en courant, qu'il s'approche de la fenêtre pour regarder à l'extérieur ou qu'il contourne le canapé, la lumière sera toujours "juste" - elle rebondira du personnage et éclairera les objets avoisinants, et tout ça à 25 images/seconde ou plus. L'un des paramètres à régler est le nombre de rebonds lumineux que l'on désire simuler, parce qu'en lumière dynamique, chaque rebond supplémentaire fait descendre la cadence de projection.

Ces derniers temps, les choses changent. Certaines sources vont bientôt ressembler à des objets que nous mobilisons sur tous les plateaux de tournage depuis des dizaines d'années. Entre autres, les softbox comme nos Chimera, avec l'équivalent des "louvers", ces nid d'abeilles qui concentrent la lumière douce vers l'avant.

Du côté réel

Les plateaux ont aujourd'hui massivement recours aux LEDs, ces sources électroniques dont les IRC (un indice de restitution des couleurs) rivalisent avec ceux des HMI.

Mais les avancées technologiques ont récemment fait un bond en avant grâce aux plateaux virtuels, comme celui utilisé pour plus de la moitié des plans de "The Mandalorian", la série Live de Disney basée sur l'univers Star Wars.

Le système Stagecraft d'ILM a été officiellement inauguré sur la série The Mandalorian | © ICG Magazine

Une bonne partie des décors sont modélisés en 3D, puis assemblés et projetés en temps réel via Unreal Engine sur de vastes écrans de LEDs. La partie de l'écran dans le champ de la caméra est en 6K, le reste en basse résolution.
Plus besoin de déplacer les équipes, ni de construire trop de décors. Les acteurs jouent plus "vrai" puisqu'ils voient l'environnement plutôt qu'un fond vert. Et ils sont réellement éclairés par le décor, ce qui favorise l'illusion de l'incrustation.

Le Stagecraft d'ILM permet entre autres de pister dans l’espace les mouvements d’une caméra réelle (ses coordonnées XYZ) qui filme des acteurs réels, et de synchroniser les projections du décor sur les écrans LED pour que les effets de parallaxe soient cohérents depuis la caméra.
Rien de bien sorcier quand on connaît les possibilités d’Unreal Engine, combinées à de la capture de mouvement (Motion Capture).
Mais ces nouvelles possibilités techniques pourraient libérer les scénaristes (et les producteurs) de certaines contraintes spatio-temporelles, puisque la multiplication des décors ne pose plus vraiment de problèmes.

J'avais donné récemment une interview sur le système Stagecraft, que vous pouvez lire ici.

Parmi les pros avec qui j’ai eu l’occasion d’échanger sur ces enjeux, Fabrice Bourrelly est un spécialiste chevronné de Unreal Engine, et il donne des tutos en ligne. C'est en anglais mais les visuels parlent d'eux-mêmes:

Vu nos parcours et nos intérêts convergents, Fabrice et moi travaillons actuellement sur une série de "Webinars", des séminaires en ligne, en anglais. Nous en avons déjà diffusé deux, dont l'un consacré à reconstituer l'univers lumineux d'une séquence de Blade Runner 2049:

Interface de Unreal Engine, l'un des "moteurs" qui servent à fabriquer des univers virtuels.

De la même façon, nous aborderons prochainement les intérieurs / extérieurs jour / nuit, toujours en 3D temps réel:

Le site web de Fabrice: https://www.fabricebourrelly.com

Pour ceux d'entre vous qui comprennent à peu près l'anglais: inscrivez-vous, les prix sont actuellement plus que raisonnables ;-)

Et vu que ces Webinars sont en Live, et qu'ils attirent des curieux de tous niveaux du monde entier, c'est aussi une façon de nouer des contacts. A bon entendeur...