24 mai 2020

Trip technique: la calibration des sources LED en fonction des caméras

3 caméras filment la même mire couleurs sous la même lumière: un exemple de la nécessité d'aligner les nouvelles sources LED avec ce que les capteurs des caméras en perçoivent réellement.


Confinement oblige, les annonces des nouveautés technologiques se font en ligne, à coups de Webinaires, Webcasts et autres IGTV. L'accès aux infos les plus fraîches ne nécessite plus la participation à des conférences distantes et hors de prix.

Dans les domaines qui nous intéressent, deux tendances lourdes se dégagent depuis quelques mois:

  • l'arrivée massive d'objectifs adaptés aux grands capteurs, 
  • et une certaine standardisation de la restitution des "vraies" couleurs par toute la chaîne des outils techniques y compris, et c'est tout nouveau, sur les sources elles-mêmes.

Je tente ici de faire un petit point d'étape sur cette deuxième tendance.

Alors que les arts graphiques avaient conçu voici des décennies diverses façons de contrôler le suivi des couleurs depuis l'écran d'ordinateur jusqu'à l'impression (CIELAB et autres standards), le cinéma numérique accuse encore un retard un peu honteux.
En effet, les couleurs perçues sur un plateau ne sont toujours pas, à l'heure actuelle, fidèlement restituables tout au long de la chaîne tournage > post-prod > display. La faute en incombe à un manque de coordination technique entre les fabricants:

  • de sources de lumière 
  • de capteurs
  • de moniteurs/TV 
  • et des logiciels qui font dialoguer ces bestioles.

Diverses unités de mesures existent depuis un certain temps déjà, mais les possibilités de corriger les aberrations restaient rares.

Les mesures


Parmi les unités de mesure, l'Indice de Rendu des Couleurs (IRC, page Wikipedia) évalue les écarts de perception des couleurs par un oeil humain en fonction de la source qui les éclaire. Le soleil ou un filament tungstène couvrent de façon linéaire toutes les longueurs d'ondes de la lumière visible, alors que certains HMI, de nombreux tubes Fluos et sources LED accusent des trous et des pics assez alarmants:

Ces irrégularités ne peuvent pas se corriger avec des gélatines.
Lorsqu'une couleur n'existe pas, elle ne peut être compensée.

Constatant que l'oeil humain ne perçoit pas les couleurs de la même façon qu'un capteur de caméra, l'IRC a été complété par le Television Lighting Consistency Index (TLCI, page de définition sur EBU). 

Tout récemment, les organismes qui notent la qualité des écrans ont même proposé la Just Noticeable Color Difference (JNCD) (voir ici l'explication technique et une application concrète sur un écran de smartphone).

Le dernier-né de ces index? La Similarité Spectrale (SSI), qui mesure les écarts à la moyenne, lisse les pics et les creux, et pondère plus favorablement les longueurs d'ondes entre 380 et 670 nanomètres. Voir les précisions en fin de post, je crois que j'ai déjà un peu abusé de votre patience.

Les premières tentatives


Mais ces mesures n'ont pu que pointer du doigt les problèmes à régler. Les solutions en vue étaient encore peu nombreuses et disparates. 

L'une d'elles consiste à combiner plusieurs unités LED entre elles - au sein d'une même source - pour jouer de leur complémentarité, et restituer une gamme chromatique plus fournie. Le MIX de Rosco DMG combine par exemple des unités de 6 LEDs différentes (rouge, jaune-vert, vert, bleu, ambre et blanc) pour arriver à approximer les couleurs du spectre.

Nicolas Goerg de Rosco DMG Lumière aborde cet aspect avec humilité dans cette toute récente interview confinée avec James Mathers - Digital Cinema Society (en anglais):


 


Ce qui va changer

Les efforts d'amélioration étaient jusqu'ici peu coordonnés.
C'est la raison pour laquelle les annonces conjointes de KinoFlo, Rosco DMG Lumière, ARRI, Digital Sputnik et HS Scope, pour n'en citer que quelques uns, constituent un bond décisif dans la bonne direction.

Dans les grandes lignes, la vidéo qui suit résume bien ce qui est en jeu, c'est-à-dire non plus seulement mesurer, mais donner aux fabricants de sources d'éclairage les informations quant à ce que chacun des capteurs de différentes caméras perçoit du spectre lumineux de leurs éclairages. Construire un pont à double sens entre les caméras et les lumières. Corriger le flux lumineux des projecteurs pour qu'ils restituent fidèlement toutes les couleurs que le capteur est en mesure d'enregistrer.

Brad Dickson a mis au point ce qu'il appelle les "empreintes digitales" des sources lumineuses, en mettant en avant les différences de rendu des couleurs par rapport à une source tungstène de référence. Voici par exemple le rendu chromatique, sur un capteur d'ALEXA, d'un MIX (à droite) par rapport à une source tungstène de référence (à gauche). On constate - ce qui n'est de loin pas toujours le cas - une grande ressemblance entre les deux graphs.
Les fabricants de projos sont friands de ce genre d'informations, parce qu'ils peuvent ensuite ajuster leurs sources pour faire correspondre au mieux les gammes chromatiques (source et capteur).


Les HS Scopes (Hue = Teinte Sat = Saturation) sont élaborés sur la base du vecteurscope, ce quadrant qui indique la distribution des couleurs en terme de saturation. 

En filmant une mire éclairée par une source donnée (ci-dessous une source tungstène), on élabore son profil (les crêtes en blanc dans le screenshot ci-dessous). Partant de ce profil, le fabricant de sources va calibrer ses LED pour approcher au plus près ce profil de référence. Sa source sera donc en mesure de restituer toute la richesse chromatique d'un bon vieux projo tungstène:


Vecteurscope et HS Scope d'une source, comparée au tungstène de référence (réf = les crêtes blanches).
L'enjeu pour le fabricant sera en l'occurrence de booster ses jaunes, ses verts et ses cyans. ©DCS 2020


Voici les explications (en anglais) de Brad Dickson sur sa proposition de HS Scopes:


Un autre exemple, cette fois sur un capteur RED Epic-W:


La comparaison des rendus chroma en fonction des caméras va enfin synchroniser les fabricants de sources, de capteurs et de logiciels de post-traitement.

Certains fabricants de sources parlent désormais de véritables "LUT pour projos". C'est-à-dire une torsion des matrices luma/chroma pour aligner les valeurs de la source à celles que le capteur perçoit.

___


PDF Brochure des spécifications des DS3 de Digital Sputnik, qui mentionne le recours à des LUTs corrigeant chaque "ampoule" pour garantir des couleurs stables lorsqu'on en varie la luminance.


___

Et puisque vous êtes toujours là (merci!), un petit supplément sur l'index SSI dont j'ai parlé plus haut:


Cet index mesure la déviation d'une source (sa variance) par rapport à une source tungstène de référence. Contrairement au HS Scope, il évalue l'ensemble des variations en une seule valeur. 
Le SSI est plus sévère que le CRI, mais les chiffres s'interprètent différemment: un SSI de 90 est jugé bon, alors qu'un Keylight avec un CRI de 90 n'est pas très rassurant.


Et enfin pour terminer (c'est le dessert!), la mire couleur du début de ce post, mais cette fois filmée par la même caméra, et éclairée par quatre sources différentes: 
En haut de chaque carré de couleur, la référence tungstène. 
En bas: à gauche et au centre, deux sources différentes qui ont toutes les deux un SSI de 76 (76A et B). 
En bas à droite, une source avec un SSI de 88.
On constate que le SSI supérieur qualifie une source plus fiable à travers tout le spectre visible.

Rappelons-nous que tous ces index ne vaudront jamais un test de visu, juste avant le tournage.

14 mai 2020

The Colors of Summer - HDR color grading for Netflix

La version française de ce post paraîtra dans quelques jours.
Je poste la version originale pour faciliter l'accès à ces informations au lectorat anglophone. 
Découvrez la série sur Netflix en attendant ;-)


An interview with Valerio Liberatore, Colorist


I've just discovered SUMMERTIME, an Italian romantic comedy available as a series on Netflix.
Sure enough, this show is catchy. Because it's nicely written, well-performed, and very well directed.

But what caught my attention was the use of a very controlled color palette. The RGB LED sources nowadays allow easy access to a wide range of colors, and some people overuse them. You know, screaming colors, contrasts that rip your retinas, overdoses of flashy funkiness... Nothing like that here.

Although the work of the cinematographer Federico Schlatter (his IMDB page, Instagram) is noticeable - I write that because it was once believed that the cinematography, like the soundtrack, should never bring attention to themselves - it always supports the story, and especially the changing moods of the protagonists.
And also, it's gorgeous.

I immediately sensed an excellent collaboration between a cinematographer and his colorist. So I contacted Valerio Liberatore, the Color Grading Artist of this Netflix series, to ask him some rather precise questions about his work.

He was kind enough to provide us with detailed explanations, which blend technology and art harmoniously. 
Netflix proposes an HDR and SDR version of the series, which I didn't know when I discovered the show in Standard. 

Since High Dynamic Range is an emerging format, this interview was also a great opportunity to consider its practical implications from shooting to end delivery, from a Colorist point of view.



How would you describe the visual style of the Series? Did you have specific references?

First of all, I want to thank you Pascal for reaching me out for this interview. It was totally unexpected... as a young colorist, this is the first interview of my life, so I hope I will do fine!

I would define SUMMERTIME as an explosion of colors. We aimed at creating a fantastic world, really characterized by strong saturations and many color contrasts. Everything seasoned with a diversity of looks based on the emotions and the situation, which would feel extremely different, but part of the same universe.


Do you have a color palette you could share with us?


Yes we did, and here it is:




This palette represents just part of the explosion of colors that Summertime has to offer. We wanted to use those really warm tones, surrounded by these different cold ones that would result in a joyful color contrast. 

Lighting, costumes, and scenography played a crucial role. They were using and respecting those palettes already, so having all these colors to work with during the final grade was a pleasure for me. It made us concentrate more on how to enhance what we already had from the set, which is more of a creative approach, rather than a corrective one. 

Those different saturations were playing together and separating themselves from the other, resulting in this gorgeous universe of hues that were surrounding this fantastic world that Federico wanted to create.

Regarding the visual style, let's take an example: What about the choice to overexpose windows and to use heavy glow? Was it planned from the beginning?





So, first of all, keep in mind that the main delivery was HDR. In a much wider dynamic range, windows and brighter regions were much more present.

With that said, yeah, the windows were much brighter and overexposed compared to the indoors. Since the beginning, the main delivery would have been SDR, it's a stylistic choice. Federico wanted to recreate this fantastic world, and those overexposed windows with that glow always present was for sure, playing a big role in that context.

This was achieved in two ways, one on set through exposure and the use of the Black Pearl ⅛ filters, that were softening a lot some textures and the highlight itself. Last but not least, in post, of course, by me. What I love about grading its not only the capabilities you have to manipulate and shape the colors. What I also love to do is to control textures.

Which could be related. To make an example, let's take the micro-contrast control in a certain parts of the signal or the frequencies. Study on the grain (which was not used in that case), softening in some cases the incision of the lenses or vice versa, augmenting the incision of softened images. In that case instead, what was really present was enhancing the initial thought of Federico on how the highlights should have behaved. Which was augmenting those glowing in the scenes, and in some of them, even recreate an halation emulation (more on this later).


About your respective roles, between the DoP and you: What had to be done on the set, and what was your specific part in post? I mean, how was the Look and Feel balanced between you and the DoP (and of course Art Director and Wardrobe)?


We were pretty much on the same wavelength. There was a thought since the beginning. A thought that we tried to develop all together and bring it through the whole chain, until the end. I am really grateful that I was able to grade this show and collaborate with Federico was awesome!

Federico, if you are reading this, I thank you so much for the freedom and the trust you gave me. For me it was a wonderful and enlightening journey. I learned so much from you! There was this continuous exchange of information between us during the shooting phase. I was going on set, looking at the scene with my eyes and seeing what the thought behind it was. Speak with Federico, try to catch that was in his mind and go back to the dailies lab and recreate it. Send him out some stills or cuts that were helping him visualize a much more advanced version of it. Which is always helpful. :)

We had the incredible support of the production, Cattleya, that was trusting us totally. This was crucial for us. We were able to focus on the creative and technical aspects of the show...

We basically had this idea in mind, and we pursued it as we wanted, supported by everyone.




How did you receive visual information about the grading options ?


Federico attended basically the whole grading phase, which for me was really important because I had real-time feedbacks, which speeded up the really short amount of time we had for grading each episode...which was 2 and a half days per episode. During the grading phase, then there wasn't the necessity of sharing content between us.

It had been done during the dailies phase, with the sharing channels provided by Netflix. All rushes were available to be seen for: Netflix, the production, directors, Federico and the grading facility to have a sort of real-time feedback between all the departments on a daily basis. 

As a plus, I was on set during the dailies phase. During that time, Federico, Marco (the DIT), and I were meeting after hours to check the footage and already think about what we would have wanted to reach in the grading suite. Making me carrying on and advance a little bit more with the color on set already - due to the lack of time after.




How did you interact with Marco Coradin, the DIT ? 


We were keeping in touch a lot and seeing each other at the end of each shooting day to make a point of the situation. Even when I went back to Rome, we still were in contact.

Since the beginning, there was this technical exchange between us two that made us think about how to structure the entire pipeline to make it suitable for our needs. 

Marco is really knowledgeable, so we found ourselves, nerdy mates, discussing each day on what we could have done better to improve the workflow. We were exchanging a lot of stills and ideas. Discussing the look. He was also coming to the dailies lab, I was going to visit him on set. There was this constant constructive exchange.

He's such a talented guy, I really like working with him... to the point that we even opened up Mint, a company which encapsulates many gifted people inside with the main purpose of granting top-level grading, look development and on set services. 


Federico Schlatter, the show's DoP, is making a cameo on the left :)

About hardware and software:


What was the camera? Sony Venice
The lenses? Cooke S7
Any filters used on set? Black Pearl 1/8
The file format? XOCN-ST
The grading software? DaVinci Resolve 16


What about the SDR and HDR Masters? 


The HDR was actually the Master and main delivery. The SDR was done through the Dolby Vision Content Mapping Tool they require to be used for Netflix deliveries. To that, a few tweaks to the grading were done to match the two different deliveries perceptually as much as possible.

"There is a day-for-night that I did in grading only."

Did you use any LUTs? How many? Purely technical LUTs or also artistic ones?


This topic, I think, needs a little bit of an introduction, even because there's a small anecdote that I wanna share with you. 

We worked in ACES. We structured and color managed the whole pipeline using the Academy Color Encoding System, which is becoming a more current standard in motion picture and tv production. It's a global standard for interchanging digital image files, managing color workflows, and create masters for delivery and archiving. 

What was the purpose of this in our case? It maintains color fidelity from the beginning to the end of the chain. This means that what was thought on set, the DP would have seen it in the grading suite.. and works like a charm with the Sony Venice! 

In the beginning, the show was only SDR in terms of delivery. During our grading sessions, we closed the first two episodes, and we were proceeding with the third episode. Illuminating news (in every way) popped up. There was the possibility to grade and deliver the entire Series in HDR.

What were we doing then with the first two episodes that were already graded? Just switch the output transform to the new desired standard, and ACES was taking care in making all the technical transforms needed to maintain color consistency and have a strong uniformity in color perceptions in such a huge gap between the two. 
The only thing I had to take care of and modify it was reducing some saturation from some changes I was doing in SDR on skies, for instance, where it wasn't required with the same intensity.

I guess I am overspeaking, I was trying to make it brief, but it was so much stuff to say :)

To answer your question now, the purely technical side of the color management was done through the project settings and ACES itself. 

At the same time, we had only one creative/artistic LMT (Look Modification Transform), which was empirical and contained a LUT. It was really behaving well for what we wanted to achieve: Punchy and robust contrast, warm and rich skin tones seasoned with strong color separation, both achieved with the look development phase by making the LUT, and during the grading itself to extract the essence of those colors that the sensor was able to capture. 




How do you start your grading sessions, let's say on a new scene?


I have my whole node tree set up in each shot already, which helps me speed up my grading workflow. I usually start from a master shot that will set up the look for everything else, like close-ups. 
Focus at first on reaching an overall contrast and look I am happy with on that master shot, just using primaries, proceed then with the secondaries. 
Masking and then at last work on texture. Which I just set up with the client but then complete on my own, because it's really time-consuming and I wanna focus on the grading when I have the chance to sit close to such a talented DP! :)


Could you share a trick you often use, something you particularly like to do (and maybe no one sees but makes you happy)?


Sometimes I really love to create a halation emulation in my shots. It probably gets unnoticed by the majority of the eyes. This effect occurred only with film, not with digital. So it's basically that you could only try to reproduce in post, on something shot digitally.

It was happening when the light was so strong that it was maxing out the capabilities of absorption of certain areas, resulting in the majority of the cases in this reddish glow around white and overexposed areas of the film.

It's done basically combining different highlights qualifying, edge detection to specifically control the edges of those parts, converting them in a grayscale image, and using it as an alpha channel attached to a node that eventually gets blurred out and colored to simulate that effect. That's the simplest part of it but already gives you 70% of the impact.

This is combined with a much more complex highlight isolation, done working in linear gamma that helps you define it much more in details. 
It requires times, that is why I do it on the masters shot mainly with the DP, to see if he/she likes the effect, and then proceed on fine-tuning it by myself.

 


This is one shot with the recreated halation. I didn't want to be too strong overall in the Series. Considering the high level of saturation already there, I wanted it to be there, but subtle and unnoticed. I didn't want to point the attention there.


And now let's take a Case Study: One Specific Grading Moment.
In S1E5 around 34 minutes, this rosy daylight scene is both very pleasing and very bold.
Could you explain how the DoP and you came to this decision?




Perfect! I am glad you brought that out! So, let's start from the point that that scene was shot in the afternoon and had a pretty neutral look at the beginning. 

That part of the episode was taking place in a late afternoon, almost evening vibe. We characterized those kinds of scenes with this rose look in the whole show. To us, it was giving something magical and unique. Discussing it with Federico, we ended up deciding to not break the flow, of course, that is one of the fundamentals of color grading :)

But doing that wasn't that straightforward. We wanted to also reach a look that we would have liked, not just something that would have fit there. So, after a few tests, we decided to proceed in a way that was chronologically and dynamically changing from the beginning of this really long sunset. To achieve the rose look we liked on that particular scene, we went back and made the viewer adapt to that before reaching it. Taking advantage of something we have biologically happening in our retina and our brain, called chromatic adaptation. 

It all started 5 minutes earlier in the episode, but you won't notice. There's a dynamic layer that's bringing you there. So when you reach that scene, yeah its really pink, but it won't feel outside of the context or strange. I challenge you to go and check it right now, with fresh eyes ;)

Was this shot the beginning of the "Pink Road"?
 

No, even before. At 29:40 already, it's starting to get present there the rosy grade. Sooooo subtle but it's beginning there:



But there is also another case that is based on that concept. Episode 4, from 20 minutes on, it's just an infinitely long sunset, which goes from warmish orange to the usual pink.

And that's all dynamic, progressive:



And to end with a bang: what is your favorite shot?


If I have to choose a shot, I would say this one below. 
I loved how we ended up creating this world at the boundaries of the gamut. :)





And if I had to pick a whole scene, the ending sequence of episode 03, the one closing up with the Ferris wheel. From 27 minutes on. My favorite so far!


Did you see Euphoria, the HBO series? I think you would love the use of colors, depth of field and contrasts!


I have seen the Series 2 times! I loved it!!

Thanks a lot for your time, Valerio.


Marco Coradin's Instagram: https://www.instagram.com/marco_coradin/




06 avril 2020

Les lumières du Pouvoir


Dernière minute: ce post a insipré une interview dans le magazine ComPol. Fabrice Pozzoli-Montenay @FPM_Paris a approfondi avec moi quelques points survolés ci-dessous.
Téléchargez le PDF ici.

Ces temps de crise mondiale sont une bonne occasion pour comparer la mise en lumière des allocutions officielles des femmes et des hommes d’état.

Je voudrais en profiter pour mettre en parallèle deux stratégies d’éclairage bien différentes.
Des partis-pris dont les effets sur le spectateur sont, eux aussi, bien distincts.

D’une part, le Président français Emmanuel Macron puis son Premier Ministre Edouard Philippe se sont longuement exprimés à la télévision, comme ils le font couramment.

A l’instar de Mitterrand, Giscard, ou Sarkozy, ils sont éclairés à plat, c’est-à-dire d’une façon qui efface toutes les ombres sur leurs visages. C’est en général le traitement que l’on réserve aux acteurs vieillissants, pour estomper leurs rides.

Ici, ce choix pourrait davantage s’expliquer par un souci de transparence, par la volonté presque fébrile de ne rien cacher. Même les décors derrière ces augustes personnages sont éclairés de face, même puissamment, et maintenus relativement nets.

Le cadre est frontal, l’homme d’état centré, l’axe optique le plus souvent perpendiculaire au mur.

Il en résulte une image lisse, aseptisée, d’où toute émotion potentielle a été « passée au Karcher »:

La lumière frontale mais trop basse éclaire souvent les dents du Président,
ce qui lui donne un aspect carnassier intimidant.
Le reflet de cette lumière dans ses yeux trouble son regard parce qu'il est trop proche de ses pupilles. 

La lumière est utilitaire, elle doit permettre de voir, pas de percevoir, et surtout pas de ressentir.
Un éclairage technique pour des visages de technocrates.

___

D’autre part, la Reine d’Angleterre Elizabeth II vient de s’adresser à ses sujets lors d’une apparition tout à fait exceptionnelle à la télévision.



Alors qu’on pouvait s’attendre à un éclairage neutre et « plat », la voilà modelée par un Keylight 3/4 latéral, qui rend son visage expressif sans chercher à en dissimuler toutes les rides, tandis qu’un Fill en débouche la partie ombragée pour créer un subtil contraste. Une très légère "décro" ("backlight") dans ses cheveux blancs la détache du fond, sur la droite du cadre.

Dans les gros plans le décor derrière elle est très flou et légèrement sous-exposé, ce qui accentue sa présence.

Elle crève l’écran.



L’éclairage est expressif mais mesuré, il évoque une conversation intime mais solennelle.

Le cadre est harmonieux: son corps légèrement orienté vers l'intérieur de l'image, elle n’est pas centrée, et partage l’écran avec une lampe à abat-jour, des fleurs et des éléments décoratifs dorés qui rappellent les « Ors du Pouvoir » si chers aux Présidents français.
Mais ici, ces dorures sont évoquées, et non pas exhibées. C’est tout l’art de l’understatement.

Le message de la monarque, tout aussi solennel que celui du Président français, aurait pu se contenter d’une mise en lumière stricte, neutre et impartiale.

Ici au contraire, la lumière donne à voir, à percevoir et à ressentir.



Ces deux « philosophies de la lumière », proviennent sans doute de traditions différentes: les images lisses des communicants efficaces d’un côté (les chefs op français sont aux ordres des Dir de Comm), et les images expressives des artisans anglo-saxons de l’autre.

Héritiers d’un savoir-faire ancestral pratiqué sur les scènes de théâtre et les plateaux de cinéma, ces derniers connaissent toutes les ficelles pour créer des images capables de tisser des liens solides entre l’orateur, son message et son public.

Il ne s’agit pas de manipuler le téléspectateur, mais plutôt d’établir avec lui un rapport non seulement intellectuel mais aussi émotionnel.
De soutenir un message d’urgence avec la tendresse d’une mère plutôt qu’avec la martialité d’un chef des armées.

___

Et pour finir sur une note légère et historique: l’immense Chef Opérateur français Henri Alekan raconte dans ses mémoires posthumes (lien vers l’éditeur) qu’il a éclairé, vers la fin de sa vie, certaines interventions de Mitterrand.

Comme on le constate sur ce screenshot, les "communicants efficaces" (Jacques Séguéla par exemple) étaient déjà à l'oeuvre:

Si ça vous tente, visionnez l'allocution.



Je vous laisse en bonne compagnie:





Intimidant ? Yes, indeed.

25 mars 2020

ORI revient encore plus beau


Le premier jeu vidéo "Ori et la forêt aveugle" m'avait bien épaté pour la délicatesse des animations, et le soin méticuleux apporté au level design et à la lumière. Il faut dire qu'Ori est un petit personnage attachant, et que la narration est boostée par un son exceptionnel (voix, musique, sound design).

Mais ce qui m'a le plus intéressé, c'est de voir comment Ori - qui est lumineux - éclaire son environnement par sa seule présence. Il découpe des liserés sur les objets qu'il frôle, ce qui en révèle le volume et ancre parfaitement le perso dans son environnement.



Dans ce nouveau jeu Ori sort de sa forêt, ce qui est prétexte à de nouveaux décors, et des jeux de lumière à la fois subtils et expressifs. Les combinaisons de couleurs sont particulièrement harmonieuses. Et la profondeur de champ réduite contribue à l'impression de voir un monde minuscule se déployer devant nos yeux.

La majorité des combinaisons de couleurs évoque soit l'aventure, le mystère ou l'action, soit une douceur et une intimité avec les personnages bienfaisants qu'Ori croise sur son chemin:

© des illustrations : Microsoft Studios
A l'inverse, et plus rare, un exemple de choix de couleurs plus crues, désaturées, et de contrastes plus stridents dont la combinaison créé en nous un sentiment de tension et d'inconfort:



"Ori and the Will of the Wisps" est sorti sur Xbox One et PC : https://www.orithegame.com

Un Walkthrough complet du Gameplay:


Merci à Rémy de m'avoir signalé la sortie de ce jeu ;-)

21 mars 2020

Lumières numériques - où en sommes-nous ?

© Fabrice Bourrelly

La lumière n'est depuis longtemps plus confinée seulement dans le monde réel. Ces cinq dernières années, j'ai eu l'occasion d'explorer la mise en lumière d'univers en 3D temps réel, et je constate une convergence entre le réel et le virtuel, entre les tournages "en dur" et les technologies derrière les jeux vidéo et les expériences VR.
Je vous propose un petit point d'étape.

Du côté virtuel

Les "outils" commencent à se ressembler: sur Unreal Engine - l'un des moteurs qui servent à construire des univers virtuels, pour les jeux vidéo par exemple - les Timelines sur le Sequencer évoquent les Timelines des logiciels de montage, et vous pouvez choisir votre caméra (Alexa? RED? 5D Mark III?), vos objectifs (un choix de focales étourdissant) ou votre dolly (Fisher? Panther?) parmi un catalogue qui évoque ce qui est disponible dans le monde réel.

Même les effets de post-prod, dont l'étalonnage en Live, font ressembler les jeux vidéo récents à des films.

Là où ça pêche encore, c'est au rayon lumière. On ne trouve pratiquement aucune source qui corresponde à celles que l'on utilise sur les vrais plateaux. L'une des raisons vient du fait qu'en 3D temps réel, la lumière est encore difficile à simuler sans exiger des puissances de calcul considérables. Du coup, Unreal Engine, Unity et les autres obligent l'utilisateur à recourir à des sources lumineuses abstraites, qui cachent des formules mathématiques sophistiquées. Formules qui ont l'avantage de s'exécuter rapidement, mais le désavantage de ne refléter qu'une partie de la complexité lumineuse du monde réel.
Pour assurer une cadence de projection normale, les processeurs actuels font déjà des miracles. Les rendus 3D temps réel commencent à ressembler à bon nombre de films d'animation traditionnels, ou pré-calculés (type Pixar). Mais pour arriver à cette qualité, il faut économiser du temps de calcul, partout où c'est possible. Et particulièrement en lumière.

En matière de lumière numérique, il faut encore tricher pour arriver à ses fins. Pour ménager les cartes graphiques, l'un des trucs consiste par exemple à "baker" (terme anglais qu'on pourrait traduire par "cuire dans la masse") une partie des lumières et des ombres sur les textures mêmes des objets.

Par exemple: près d'une fenêtre, un canapé est appuyé à un pilier. L'ombre portée du pilier sur le sofa serait pré-calculée et juxtaposée sur la texture du canapé, ce qui ne sollicitera pratiquement pas la carte graphique. Par contre, la lumière qui entrera par la fenêtre pourrait être dynamique, de façon à rebondir en temps réel sur le personnage qui la traversera au cours de la scène.

C'est tout le charme du temps réel: que le personnage traverse la pièce en courant, qu'il s'approche de la fenêtre pour regarder à l'extérieur ou qu'il contourne le canapé, la lumière sera toujours "juste" - elle rebondira du personnage et éclairera les objets avoisinants, et tout ça à 25 images/seconde ou plus. L'un des paramètres à régler est le nombre de rebonds lumineux que l'on désire simuler, parce qu'en lumière dynamique, chaque rebond supplémentaire fait descendre la cadence de projection.

Ces derniers temps, les choses changent. Certaines sources vont bientôt ressembler à des objets que nous mobilisons sur tous les plateaux de tournage depuis des dizaines d'années. Entre autres, les softbox comme nos Chimera, avec l'équivalent des "louvers", ces nid d'abeilles qui concentrent la lumière douce vers l'avant.

Du côté réel

Les plateaux ont aujourd'hui massivement recours aux LEDs, ces sources électroniques dont les IRC (un indice de restitution des couleurs) rivalisent avec ceux des HMI.

Mais les avancées technologiques ont récemment fait un bond en avant grâce aux plateaux virtuels, comme celui utilisé pour plus de la moitié des plans de "The Mandalorian", la série Live de Disney basée sur l'univers Star Wars.

Tournage de «The Mandalorian». Des écrans LED permettent d'afficher un décors numérisé d'un réalisme époustouflant, animé par un moteur graphique de jeu vidéo.
Le système Stagecraft d'ILM a été officiellement inauguré sur la série The Mandalorian | © ICG Magazine

Une bonne partie des décors sont modélisés en 3D, puis assemblés et projetés en temps réel via Unreal Engine sur de vastes écrans de LEDs. La partie de l'écran dans le champ de la caméra est en 6K, le reste en basse résolution.
Plus besoin de déplacer les équipes, ni de construire trop de décors. Les acteurs jouent plus "vrai" puisqu'ils voient l'environnement plutôt qu'un fond vert. Et ils sont réellement éclairés par le décor, ce qui favorise l'illusion de l'incrustation.

Le Stagecraft d'ILM permet entre autres de pister dans l’espace les mouvements d’une caméra réelle (ses coordonnées XYZ) qui filme des acteurs réels, et de synchroniser les projections du décor sur les écrans LED pour que les effets de parallaxe soient cohérents depuis la caméra.
Rien de bien sorcier quand on connaît les possibilités d’Unreal Engine, combinées à de la capture de mouvement (Motion Capture).
Mais ces nouvelles possibilités techniques pourraient libérer les scénaristes (et les producteurs) de certaines contraintes spatio-temporelles, puisque la multiplication des décors ne pose plus vraiment de problèmes.

J'avais donné récemment une interview sur le système Stagecraft, que vous pouvez lire ici.

Parmi les pros avec qui j’ai eu l’occasion d’échanger sur ces enjeux, Fabrice Bourrelly est un spécialiste chevronné de Unreal Engine, et il donne des tutos en ligne. C'est en anglais mais les visuels parlent d'eux-mêmes:





Vu nos parcours et nos intérêts convergents, Fabrice et moi travaillons actuellement sur une série de "Webinars", des séminaires en ligne, en anglais. Nous en avons déjà diffusé deux, dont l'un consacré à reconstituer l'univers lumineux d'une séquence de Blade Runner 2049:

Interface de Unreal Engine, l'un des "moteurs" qui servent à fabriquer des univers virtuels.

De la même façon, nous aborderons prochainement les intérieurs / extérieurs jour / nuit, toujours en 3D temps réel:


Le site web de Fabrice: https://www.fabricebourrelly.com
Pour ceux d'entre vous qui comprennent à peu près l'anglais: inscrivez-vous, les prix sont actuellement plus que raisonnables ;-)
Et vu que ces Webinars sont en Live, et qu'ils attirent des curieux de tous niveaux du monde entier, c'est aussi une façon de nouer des contacts. A bon entendeur...

18 mars 2020

Roma, côté lumière

© Netflix 2020 
Netflix vient de sortir un Making-Of de "Roma", le long-métrage pluri-récompensé d'Alfonso Cuaron. Son titre: "Camino a Roma" (Road to Roma).
Une fois n'est pas coutume, le réalisateur avait choisi de se charger lui-même de la photographie, secondé par une solide équipe en post-prod (MPC, Mr.X) qui a amélioré pratiquement tous les plans du film *.
Mais de ça ou de son équipe, il en est très peu question dans ce documentaire tout entier conçu comme une auto-célébration. C'est parfois un peu gênant, d'autant plus qu'il ne dit pas grand chose de consistant:


© Netflix 2020


Par contre, la partie dédiée à l'image est intéressante pour ce qu'on y voit. Ca commence à 40 minutes, et les arrêts sur image vous permettront d'apprécier tout le travail de son équipe caméra / lumière / machinerie.

A force de travailler avec Emmanuel Lubezki (lien > Wikipedia), Cuaron a surtout appliqué quelques unes des stratégies de Maestro Chivo: privilégier de grandes sources douces en contre, et les longs plans mobiles. Pendant 10 minutes vous verrez un déferlement d'énormes diffuseurs plats ou cubiques, suspendus à des grues. Ou des grappes d'Aladin Bi-Flex, ces sources LED ultra-plates bien pratiques, gaffées sur l'auvent des magasins de la rue commerçante:

Vous noterez les propos de Cuaron, pétris de modestie. © Netflix 2020

Ne vous y trompez pas: j'aime beaucoup les films d'Alfonso Cuaron, de "Y Tu Mama Tambien" à "Gravity". Mais son indifférence à son équipe tourne ici au ridicule.


https://www.hollywoodreporter.com/behind-screen/how-romas-visual-effects-team-created-intense-ocean-sequence-1169264