56 / 100

08 Producción virtual: VFX

Una vez más, Industrial Light and Magic sacude el mundo de los VFX

con la producción de The Mandalorian utilizando la nueva tecnología de producción virtual. Ha sacudido a la comunidad de VFX y preocupa a muchos de mis compañeros compositores sobre el futuro de nuestros trabajos. Después de todo, las tomas que normalmente se habrían realizado como una pantalla verde ahora se capturan en la cámara sin composición. 

Más del 50 por ciento de The Mandalorian Season 1 fue filmado usando esta nueva metodología y esto asusta a mis compañeros practicantes de píxeles. 

En el momento de escribir estas líneas, hay 10 decorados virtuales en producción y aproximadamente otros 100 en marcha en todo el mundo. ¿Es este el final de nuestras carreras? ¿Pronto seremos tan obsoletos como los CRT? ¿Las herramientas de efectos visuales estándar de la industria como Nuke, Resolve, Silhouette o Mocha Pro seguirán el camino del Dodo? ¡La respuesta corta es no!” La respuesta larga es “¡ Por Supuesto que diablos, no!”

¿Cómo funciona La Producción Virtual VFX?

Podemos pensar en la etapa de producción virtual como una actualización masiva de la antigua técnica de retroproyección, con computadoras. 

Y toda se ha unido en una serie de tecnologías importantes: seguimiento de cámara, paneles de luz LED, gestión base de datos interactivos, algoritmos de renderizado optimizados, renderizado masivamente paralelo en tiempo real, para centrarse en el único objetivo de capturar los efectos visuales terminados tomados con la cámara.

Construido por ILM StageCraft, el escenario de producción virtual de Mandalorian utiliza un entorno inmersivo donde el talento está rodeado por una enorme pared LED como se ilustra arriba. Tiene 20 pies de alto con un espacio de actuación de 75 pies de diámetro que envuelve 270 grados alrededor del escenario. 

Otras etapas virtuales pueden ser más pequeñas, no envolver 270 grados completos, o incluso pueden ser simplemente dos o tres paredes planas en lugar de un arco. Las paredes de LED están impulsadas por varios Unreal Engines-1 sincronizados que funcionan con una resolución de 4k u 8k, cada uno responsable de una parte de la pared.

La cámara se rastrea en tiempo real, por lo que siempre se conoce su ubicación y orientación. La posición de la cámara se transmite continuamente a Unreal Engines, que representan el entorno de realidad virtual en tiempo real. A medida que la cámara se mueve en el set, el entorno virtual en las paredes LED se mueve en perfecta sincronización con la perspectiva adecuada y los cambios de paralaje en relación con el talento en el set.

Y la Conclusión es que se necesita una asombrosa cantidad de ingeniería para que todo esto funcione en conjunto, por lo que también hay una “barra de cerebro” en el set de artistas, ingenieros y técnicos que manejan la producción virtual y las estaciones de trabajo conectadas a la abrumadora potencia informática y las matrices de los discos de alta velocidad. 

Algunos son responsables de cargar y administrar el entorno de realidad virtual, otros monitorean el rendimiento del Unreal Engine, mientras que otros son especialistas en iluminación para los paneles de luz LED que contienen LED RGB de alto rendimiento. Es como si el talento en el set estuviera rodeado por un gigantesco monitor LED envolvente que es operado por un equipo técnico y orquestado por el director.

La producción Virtual no es el futuro ya es una realidad y el que no se actualice esta destinado a desaparecer.
Steve Wright
CEO y Fundador de www.fxecademy.com
Japan Exotic Culture and Tradition
Japan Exotic Culture and Tradition
Japan Exotic Culture and Tradition

La promesa

Las tres principales promesas de la producción virtual son ver la escena final en el momento de la captura, la composición en la cámara y la iluminación interactiva. Los directores quieren ver la toma final de inmediato en lugar de tener que esperar a ver sus capturas de pantalla verde hasta que un compositor la haya post producido y genere una publicación. A los productores les encanta la composición en la cámara, por lo que no tienen que pagar a los compositores por esas capturas de pantalla ecológicas. 

A los productores también les encanta volver a iluminar el escenario haciendo girar algunas perillas en la barra del cerebro en lugar de tener que pagar a gaffers y encendedores para que pasen horas moviendo las luces, y a los directores les encanta la capacidad de colocar luces donde sus caprichos creativos dicten sin restricciones de la realidad.

La pared LED realmente ilumina tanto el escenario como el talento con luz del entorno de realidad virtual como si estuvieran en un lugar e incluso incluye reflejos del entorno en superficies brillantes. Es como si el escenario y el talento estuvieran realmente dentro del mundo de la realidad virtual, casi. Más sobre el real que el “casi” en un minuto.

Otra ventaja son las mejores actuaciones. El talento en el set realmente verá al T-Rex arrastrándose tras ellos en tiempo real y reaccionará en consecuencia en lugar de simplemente imaginar que la bestia está sobre ellos como con una captura de pantalla verde. Menos actuar, más reaccionar. También ofrece otras ventajas de rendimiento, como la capacidad de fijar la línea visual correctamente en lugar de simplemente mirar un par de pelotas de ping pong en un palo verde.

Otra gran ventaja es la capacidad de tomar decisiones creativas espontáneas en el set. En La Producción Virtual vfx si el director tiene una idea para un nuevo ángulo, pero hay un árbol en el camino. No hay problema. El administrador de bases de datos CG simplemente quita el árbol del camino. 

De manera similar, las luces se pueden mover, aumentar o disminuir su brillo, o el cielo se puede hacer más brillante, más oscuro o más rojo, todo en cuestión de segundos sin detener la producción para volver a encender el televisor. El talento puede simplemente quedarse allí mientras se marca la iluminación para que todo se pueda ver en contexto. A los directores les encanta este tipo de libertad creativa semejante a la de Dios. Y a ¿quién no?

Otra gran ventaja es la rapidez con la que se puede configurar el siguiente tiro. En lugar de dividir un escenario práctico o mover físicamente al equipo a otra ubicación, el administrador de la base de datos simplemente marca la siguiente escena de la base de datos mientras los aparadores del escenario reemplazan el piso del escenario y cualquier accesorio en el escenario. 

La producción podría pasar del desierto al bosque en una hora sin salir del escenario virtual. Esto proporciona una eficiencia de producción sin precedentes y programas más cortos que reducen los costos de producción.

Todo esto suena absolutamente fantástico. Es un día completamente nuevo en la producción de efectos visuales donde las tomas de efectos visuales asombrosos se capturan en la cámara en tiempo real mucho más rápido que la producción clásica de pantalla verde o construyendo sets enormes y costosos. Al menos eso es lo que parece a primera vista. Pero una mirada más cercana revela que la realidad es más desordenada que eso y todavía hay mucha necesidad de compositores expertos con esta nueva tecnología.

La realidad

Como cualquier tecnología, la producción virtual tiene su propio conjunto de problemas, limitaciones y problemas. Así que aquí analizaremos más de cerca esos problemas e incluso veremos dónde podríamos obtener más trabajo de composición para solucionarlos. Recuerde, los compositores hacen mucho más que pantallas verdes compuestas. Contamos con las herramientas y técnicas necesarias para solucionar prácticamente cualquier problema de la fotografía principal, incluidas las tomas de producción virtual.

Moiré: arriba se ilustra un problema desafiante que es el patrón de muaré que puede surgir en las imágenes de realidad virtual. Esto ocurre porque los LED de la pared pueden tener aproximadamente el mismo tamaño que los píxeles del sensor de imagen de la cámara cuando se ven a través de la lente de la cámara. No vería esto con sus ojos de pie en el televisor más de lo que lo hace cuando mira un monitor LED. Sin embargo, para ver lo que ve una cámara digital al fotografiar una pared LED, intente mirar una imagen en su monitor a través de la cámara de su teléfono celular a una distancia de entre 6 y 12 pulgadas y vea qué sucede.

La solución más simple es tener siempre el mural de video desenfocado debido a la profundidad de campo. Sin embargo, esa solución impone restricciones a la composición de la escena y las lentes de las cámaras que a los directores no les gustan. Varios constructores de escenarios virtuales tienen otras soluciones, algunas mejores que otras, pero aún es un problema que debe abordarse. Espero que nunca tengas un problema de muaré para arreglar en un trabajo.

 

Metamers: el color de los disfraces y los accesorios puede verse bien bajo la luz del día, las luces incandescentes e incluso HMI, pero cuando se iluminan con los LED RGB de la pared LED, sus colores pueden cambiar repentinamente debido a lo que se esta proyectando en el entorno. Por qué sucede esto se explica por la diferencia entre el espectro de luz solar y el espectro de luz LED RGB ilustrado arriba. Las luces solares, incandescentes y HMI emiten un espectro continuo de luz: luz en todas las longitudes de onda. Los LED, sin embargo, emiten “picos” de luz coloreada solo en frecuencias estrechas específicas. 

Cuando estos dos tipos diferentes de espectros de luz se reflejan en la misma superficie, pueden producir colores algo diferentes. Esto puede introducir molestos problemas de corrección de color que deben solucionarse en la publicación.

Pantallas verdes virtuales: cuando todo lo demás falla en el escenario virtual, pueden programar la pared LED para que muestre una pantalla verde como la que se muestra aquí. Realiza un seguimiento hacia donde mire la cámara, por lo que siempre está detrás del talento, independientemente del movimiento de la cámara. Completo con marcadores de seguimiento, un compositor talentoso aún puede convertirlo en una buena toma en el proyecto final.

Pisos prácticos: el decorado virtual tiene invariablemente un suelo práctico, como un desierto arenoso o un bosque cubierto de hojas, que llega hasta el borde de la pared LED. Muy a menudo, la unión entre la pared y el piso debe eliminarse en un poste. Más en serio, el piso práctico debe ser un color perfecto para el entorno de la realidad virtual en toda la base de la pared. De hecho, puede ver la falta de coincidencia en la ilustración de la pantalla verde virtual. Esto también deberá arreglarse en el producto final.

Iluminación adicional: la pared LED envuelve la parte posterior y los lados del escenario para que solo pueda proporcionar iluminación desde esas direcciones. La mayoría de las tomas deben tener iluminación adicional desde arriba y / o desde el frente. Algunos decorados virtuales tendrán otra pared LED suspendida sobre el escenario para agregar tragaluces o elementos visuales en el techo para reflejarse en las superficies brillantes. 

Por supuesto, se debe tener cuidado de mantener estas luces adicionales fuera de la pared LED para que no empañen los niveles de negro.

Latencia: la posición de la cámara en movimiento se envía al sistema de Unreal Engines para renderizar el entorno a una resolución muy alta en tiempo real. Si bien los Unreal Engines pueden mantenerse al día con la velocidad de escaneo de la cámara de 24 fps, existe un retraso de propagación entre el movimiento de la cámara y el renderizado del entorno actualizado. 

Para The Mandalorian, la latencia fue de 8 fotogramas, que es 1/3 de segundo. Esto debe manejarse con cuidado para evitar momentos embarazosos como iniciar una movimiento en el que el talento se agita inmediatamente pero el fondo se detiene durante 1/3 de segundo. Por supuesto, también podemos arreglar esto en el producto final.

Entornos de proxy: hay algunas situaciones en las que el entorno de realidad virtual se renderiza con una resolución más baja o con geometría simplificada. El talento se filma en este “entorno proxy” y luego se reemplaza con un render de alta resolución con el mismo movimiento de cámara. Dado que el talento fue capturado en el entorno de baja resolución, eso significa que tendrá que estar aislado para compensarlo por el render de alta resolución en la publicación.

Renders coincidentes: en aquellas situaciones en las que los elementos CG se renderizan externamente usando Renderman o V-Ray y luego se agregan a una escena de realidad virtual en la publicación, obviamente tienen que coincidir con el entorno de realidad virtual en la pared de LED. Pero los renderizados de Renderman y V-Ray no se ven exactamente como un render de Unreal Engine. Se debe hacer un trabajo técnico cuidadoso para que los dos renders coincidan perfectamente o alguien tendrá que arreglarlo en la publicación final.

Profundidad de campo: como aprendimos en la sección de muaré anterior, la cámara no puede enfocarse nítidamente en la pared LED. Si bien esto es viable la mayor parte del tiempo, hay situaciones en las que el muro debe estar tan enfocado como el talento. En esta situación, el talento debe estar codificado y compuesto sobre un render de reemplazo que esté bien enfocado.

Luz de rebote: la luz de rebote entre los accesorios en el set y la pared LED también debe ser correcta. 

Un accesorio cerca de la pared haría que la luz rebotara naturalmente sobre los elementos de realidad virtual cercanos, por lo que el CG deberá iluminarse adecuadamente. Por el contrario, un elemento de realidad virtual “cerca” de un accesorio en el set hará que la luz rebote naturalmente en la pared de LED, pero cuidado con esos metamers o tendremos que arreglarlo en la publicación.

FX clásico: aunque la pared LED logra un compuesto básico, todavía hay una larga lista de efectos clásicos que siempre deberán ser agregados por artistas de roto, paint y prep. Pases de glamour (belleza digital), limpieza de la piel, eliminación de cables y reparación de vestuario, por nombrar solo algunos. Y todavía necesitan toneladas de seguimiento, roto y pintura para platos limpios. ¿Recuerda los entornos de proxy anteriores? El talento tendrá que ser roto y codificado para compensarlo con el render de reemplazo de alta resolución.

Sombras: las sombras entre los accesorios en el set, el talento y la pared LED también deben ser consistentes. Si un accesorio en el set necesita proyectar una sombra que debería aparecer en la pared LED, entonces el CG tendrá que modificarse para incluirlo. Refiriéndose a la ilustración de la etapa de producción virtual en la parte superior de este artículo, observe dónde está el sol. El sol real está a 92,3 millones de millas de distancia, por lo que sus rayos de luz son paralelos y también lo son sus sombras. 

Sin embargo, el sol de realidad virtual está a solo un par de docenas de pies de distancia, por lo que sus rayos de luz divergen notablemente y, como resultado, las sombras de la cámara y el talento en el set no son paralelas.

No estoy seguro de cómo manejaría el talento caminando proyectando una sombra en movimiento en la pared LED sin un compositor talentoso en la publicación. La solución más simple es evitarlos por completo restringiendo la composición de las tomas para evitar crearlos en primer lugar. Pero todos sabemos cuánto les gusta a los directores que les digan que restrinjan sus tomas.

Conclusión

Si bien la producción virtual ofrece nuevas y emocionantes perspectivas de libertad creativa y efectos en la cámara, hemos visto que, tras una inspección de cerca, es mucho más complicado de lo que parece. Hay muchos detalles, restricciones, limitaciones y problemas que limitan su aplicabilidad, por lo que muchas tomas no se pueden realizar de esta manera. 

Además, muchos de estos problemas dejan la toma en la cámara incompleta o incluso incorrecta, lo que luego deberá solucionarse en la publicación. 

Incluso hemos visto que en algunos casos tienen que aparecer una pantalla verde virtual para que podamos teclear y componer como antes. Ahora está claro que la producción virtual tiene una larga lista de problemas que aún dejarán mucho trabajo a los compositores.

La producción virtual es una nueva tecnología muy importante para los efectos visuales que llegó para quedarse. Pero la base misma de nuestra industria es la rápida evolución tecnológica y, como artistas de efectos visuales, hemos enfrentado regularmente este desafío manteniéndonos al tanto de estos cambios a través de la educación y la capacitación. 

Históricamente, siempre nos hemos enfrentado al desafío desarrollando roles nuevos e indispensables para responder a estos cambios y esta vez no será diferente.

Sobre el Autor:

Steve Wright es un veterano de la composición de efectos visuales de 20 años que ha publicado dos libros sobre composición y ha estado enseñando composición para la industria de efectos visuales desde 2005. Ha formado a más de 2000 artistas de todo el mundo, ha impartido formación al personal en más de 35 estudios de efectos visuales, ha sido un orador invitado en muchos institutos educativos y ha desarrollado material didáctico para varias empresas de efectos visuales. Puede visitar su sitio web de formación en www.fxecademy.com

© 2020 GDN Records

Av. Jinetes #9 – Piso 2
Int. 29 Arboledas Tlalnepantla, Edo de Méx, C.P. 54026