Do green screen ao LED Wall e finalizar na IA
Introdução
Os ecrãs digitais LED existem já há algum tempo. Inicialmente os fabricantes tinham a intenção apenas de criar painéis publicitários. O ecrã digital, tal qual um televisor, tem vastas vantagens ao permitir expor múltiplos cartazes, ao contrário do mupi de cartaz fixo em papel. Para além disso também permite imagem em movimento, isto proporciona ter no mesmo espaço vários anúncios publicitários ou apresentações de programas. Esta tecnologia tornou-se popular nomeadamente em centros comerciais e não tanto nos espaços exteriores em particular junto de vias de tráfego, por questões de segurança e falta de enquadramento legislativo.
A mesma tecnologia foi gradualmente evoluindo desenvolvendo-se depois para palcos e cenários de televisão e com o fabrico de pixéis mais pequenos evoluiu-se para ecrãs de maior dimensão permitindo não só ecrãs gigantes para cinema. Dado o custo elevado dos ecrãs para projeção de filmes em sala ser demasiado elevado esta tecnologia ainda não é aplicada nas salas de cinema, mesmo em Los Angeles existe um reduzido número de salas que possuem esta tecnologia.
A aplicação na produção de filmes tornou-se conhecida na indústria com a série TV Mandalorian (2019), que utilizou esta tecnologia na criação de fundos e cenários. Esta forma de filmagem tornou-se muito interessante com a crise sanitária da pandemia global do vírus Covid19. Desta forma a produção não se via obrigada a parar com a utilização desta tecnologia, permitindo continuar os trabalhos em locais fechados e controlados. Tendo este panorama como pano de fundo, muitos estúdios equiparam-se com esta tecnologia apesar dos avultados investimentos.
Sendo um produto de ficção científica, sendo uma sequela de de George Lucas, a criação de cenários virtuais e distópicos via digital adequavam-se claramente para este género de produção. Este facto retirava à produção a necessidade de deslocar equipas, atores e técnicos para locais remotos para efetuar as filmagens. Pelo contrário estariam no conforto de um estúdio onde outros cenários imaginários se poderiam aplicar.
Em plena pandemia, foi produzida a série alemã para a Netflix que foi inteiramente filmada com esta técnica de fundos virtuais ao longo de 2020 e 2021. Não sendo de ficção científica era, no entanto, passado no final do século XIX num navio em alto mar. Outro fator importante também na questão de filmagens no mar, sempre complexas, seria produzida com a tecnologia de estúdio LED Wall, dando a sensação de se estar constantemente no mar.
Os efeitos especiais no cinema
Desde sempre que os efeitos especiais são parte integrante na produção de filmes. A utilização de efeitos como dupla exposição, matte painting, retroprojeção, grafismo computorizado, blue screen e green screen entre outros, têm sido aplicados em diversos filmes. O novo avanço com os painéis de ecrã digitais denominado em inglês «Led Walls» permite ter imagens virtuais combinadas com realidade e o que vem em parte substituir o uma outra técnica denominada de green screen que é a técnica predominante para obter efeitos especiais sobre os fundos com prolongamento de cenários.
Muito destes efeitos aplicados em filmes, se não são bem executados são percecionados pela audiência como sendo falsos, nomeadamente o mais evidente de todos é a aplicação da retroprojeção em carros em andamento, que demonstram ser claramente óbvios. As técnicas melhoraram com o decorrer dos anos, mas atinge grande nível de credibilidade e de verosimilhança com a imagem digital.
O Chroma Key / Green Screen
A técnica do Chroma Key vulgo green screen consiste na conjugação de duas imagens numa só. As duas imagens são independentes no momento da captura e depois em pós-produção executa-se a imagem única com as duas. Enquanto uma por exemplo pode ser uma pessoa filmada em frente a um fundo totalmente verde a outra imagem pode ser um cenário idílico. Em pós-produção as duas imagens juntam-se numa só sendo que toda a zona verde será substituída pela paisagem idílica sem afetar a primeira imagem, daí se denominar imagem composta.
Inicialmente era o azul a cor predominante na utilização deste efeito, mas com a vinda das câmaras digitais mudou-se para verde dado que os sensores digitais têm o dobro dos pixéis sensíveis ao verde dando assim maior resolução e nitidez para efetuar a imagem composta.
A combinação da imagem digital com o green screen permitiu que se pudesse trabalhar mesmo com movimentos complexos. É possível criar ambientes em que os movimentos e a perspetiva dos planos são credíveis e verosímeis para a audiência. O green screen tem os seus problemas. A questão das perspetivas e a sua verosimilhança. Para a direção de fotografia traz outros problemas como a reflexão do verde para os personagens, o que comporta problemas para separar as duas imagens com nitidez e eficácia nos contornos. Traz também outros problemas, como ser impossível utilizar o efeito de chuva combinado com o green screen porque esta cor se reflete na chuva e não é possível separar as gotas de água, dado que elas próprias absorvem a cor do fundo. Acrescente-se ainda que no cenário real não pode haver a cor verde porque irá contaminar no momento da conjugação das duas imagens, visto que toda a zona verde será eliminada porque a segunda imagem ocupará toda a zona onde estiver verde. Se alguém estiver vestida de verde por exemplo a zona verde do vestuário será também afetada no momento de compor as duas imagens.
Para a direção de fotografia e operação de câmara há aspetos que se têm de ter em conta obrigatoriamente. A direção de luz e o ângulo de câmara. Relativamente à iluminação. O diretor de fotografia tem de saber de antemão a direção de luz, tom e intensidade da imagem que irá ser utilizada no lugar da tela verde, como também o ângulo de câmara. O diretor de fotografia tem a obrigação de combinar as duas imagens de forma perfeita de maneira a manter a verosimilhança da cena e continuidade de luz e de perspetiva.
Para a iluminação há desvantagem na utilização deste método pelo facto do verde, refletir sobre a pele e os objetos no décor e por isso a ação tem de desenrolar relativamente distante do fundo onde se encontra o verde para evitar ao máximo a reflexão da cor sobre as personagens. A luz refletida da tela espalha-se e vai contaminar as áreas de cena, o que dificultará a separação do objeto na pós-produção.
Figura 1 & 2. Imagem do filme Alice no País das Maravilhas (2010) [Captura de tela do filme]. Davidson, S. (13 de agosto de 2017). Em Filmagem e composição com tela verde. Medium. Em cima a imagem captada com verde de fundo e depois a imagem composta com cenário virtual feito em pós-produção. No plano em ca atriz anda numa escada real construído em estúdio. Em pós-produção foi colocado o céu, as flores em primeiro plano para dar a sensação de profundidade e tridimensionalidade à imagem.
imagem retirada do site Medium //medium.com/@1005696/green-screen-filming-and-compositing-f39c5b5bcac4">https://medium.com/@1005696/green-screen-filming-and-compositing-f39c5b5bcac4>
do artigo de Green Screen filming and Compositing Sabrina Davidson
Figure 3 & 4. Imagem do filme Matrix (1999) [Film still]. Davidson, S. (2017, August 13). In Green screen filming and compositing. Medium. Os dois atores fazem a sua atuação pendurada em cabos e o fundo está revestido de verde que será substituído pela imagem como está representado em cima.
Outras técnicas de efeitos
Outras técnicas anteriores foram aplicadas desde logo nos primórdios do cinema por George Méliès e por Edwin Porter, este, na curta-metragem onde usou a janela do gabinete do chefe de estação de comboios e a porta da carruagem do comboio para criar efeito visual
As duplas exposições constituem-se de duas imagens filmadas no mesmo fotograma. De forma clássica e nos primórdios utilizou-se frequentemente com a película filmando-se uma passagem do negativo, expondo-o uma primeira vez e rebobina-se o negativo até ao início do rolo para depois expor de novo numa segunda passagem do negativo, compondo assim as duas imagens. O truque é colocar em frente à lenta uma máscara negra na zona onde se pretende efetuar o efeito, por exemplo no caso do filme de Edwin Porter (um dos primeiros a utilizar esta técnica juntamente com Meliés) colocou-se numa primeira passagem uma mancha negra a recortar a janela e a porta do comboio e numa segunda passagem do negativo colocou-se todo o restante a negro para expor apenas a zona que anteriormente não tinha sido exposta da primeira vez.
Figure 4 & 5 . Film still from The Great Train Robbery (1903) [Film still]. Porter, E. S. (Director). The Great Train Robbery. Frames do filme. Na zona da janela passa um comboio na verdade é um truque fotográfico como explicado no texto sobre dupla exposição. Na segunda imagem é a porta do vagão do comboio aberta que se encontra no lado direito, usando a mesma técnica. For access to the film, see link. https://vimeo.com/950345008
Retroprojeção
A retroprojeção é outra das técnicas utlizadas em cinema para imagens compositivas. Porém a retroprojeção traz problemas de verosimilhança e tornam-se obviamente falsos perante o publico. Estes métodos foram continuamente utilizados ao longo dos anos mesmo depois do surgimento da técnica de utilizar a tele azul nos anos quarenta. O filme foi pioneiro na utilização do blue screen o que lhe granjeou um oscar para melhores efeitos especiais. Para a época era uma grande novidade, mas vendo à luz da atualidade os resultados eram verdadeiramente primitivos.
A retroprojeção é um sistema que implica uma projeção de imagens em movimento numa tela colocada no cenário em combinação com a cena real a ser filmada. Este é o sistema que mais se aproxima do atual estúdio virtual Led Wall. O filme Citizen Kane (1941), aplicou-o e muitos outros filmes nas décadas seguintes continuaram com a mesma técnica. Porém os resultados eram pobres no ponto de vista de credibilidade como se pode ver este exemplo do filme Dr. No (1962), For access to the film, see link. https://vimeo.com/950354131
Figure 6. a filmagem com uso da técnica de retroprojeção em que o ator Cary Grant se baixa à passagem da avioneta que o persegue em voo rasante. Figura retirada do site: https://neiloseman.com/the-history-of-virtual-production
As imagens computadorizadas
As imagens virtuais criadas por computador CGI – (Computer Generated images) teve grande impacto pelo realismo e a verosimilhança que apresentou no filme Gravity (Cuarón, 2013), e com direção de fotografia de Emmanuel Lubezki. Ainda não era ainda o momento de utilizar os LED wall diretamente porque a tecnologia de ecrã de pixels na época ainda não podiam oferecer uma imagem de fundo com qualidade. Saberemos que a distância entre pixels no ecrã é crucial para a obtenção de uma boa imagem com nitidez. Em 2013 os painéis LED foram usados para passar as imagens virtuais do planeta terra e estas refletiam a luz para os atores dentro da cápsula espacial. Esse efeito da luz e a credibilidade dada pela fonte de luz foi aplicada pelo diretor de fotografia do filme com grande sucesso, sendo premiado como diversos prémios entre eles o Óscar para melhor direção de fotografia. A direção de luz, as nuances de passagem da luz que foi utilizada no filme quando a suposta nave espacial rodava no espaço a luz mudava de direção, o realismo dessa situação foi conseguido com muita veracidade pelo sistema de reflexão da luz vinda dos ecrãs espalhados em redor do cenário e resolvendo assim o problema da luz verde espalhada em caso de utilizar um fundo verde para os feitos especiais.
Figure 7. Illustration of TouchDesigner used in a zero-gravity simulation [Image]. Derivative. (2024). Gravity TouchDesigner works zero-g. https://derivative.ca/community-post/gravity-touchdesigner-works-zero-g/60731
Atriz Sandra Bullock dentro da caixa de luz idealizada pelo DF Emmanuel Lubezki. Pode-se perfeitamente observar os pixels nos ecrãs como até o efeito moiré. Estes painéis LED estavam longe de ser adequados para estúdio virtual como hoje conhecemos dada a distância entre os pontos luminosos emitidos pelos pixels.
Com o mesmo princípio aplicado por Lubezki muitas produções utilizaram a mesma técnica de utilizar o reflexo luminoso a partir dos ecrãs LED para obter efeitos sobre superfícies espelhadas e refletoras como por exemplo, nomeadamente em carros. Combinar o fundo verde com a luminosidade dos ecrãs sobre os veículos permite obter maior realismo. A utilização por si só do fundo verde para efetuar o chroma key não permite obter reflexos sobre os vidros e superfícies lisas diretamente, daí recorrer-se aos ecrãs LED.
O aumento do nº de pixels nos ecrãs LED e distância entre si, veio no domínio dos efeitos especiais, colmatar uma série de problemas e de constrangimentos apontados às técnicas aqui faladas. O estúdio virtual LED Wall é mais um avanço tecnológico, mas, contudo, também não resolve todos os problemas.
Figure 8. Imagem da série House of Cards (2015) [Imagem]. Reddit. (2014). All of the car work on House of Cards season 3. https://www.reddit.com/r/Filmmakers/comments/2zl139/all_of_the_car_work_on_house_of_cards_season_3/
Imagem da série da Netflix que combina green screen com LED walls. Não usando os ecrãs wall para combinar com imagem real, mas usá-la para reflexos de luz sobre o veículo e os atores, criando assim maior realismo. Estes efeitos não são possíveis com a técnica do green screen.
Os estúdios virtuais - LED WALL
A técnica do LED wall vem colmatar vários problemas relativamente às técnicas anteriores. O Estúdio virtual LED consiste em utilizar painéis de LED semelhante a televisores que se colocam em estúdio, constituindo paredes e até teto. A sua dimensão pode variar, mas nunca serão inferiores a 12 metros de largura e a 5 de altura para se considerar um painel suficientemente largo para filmagens em estúdio. Mas o tamanho pode naturalmente aumentar. Os painéis TV são constituídos por pixéis, milhões de pixéis que emitem luz a partir da imagem que projetam. A imagem que recebem deriva de um computador que utiliza o software de realidade virtual e que combina, realidade aumentada, realidade virtual, CGI (Computer-generated imagery) e tecnologias de mecanismo de jogo (Unreal Engine). O conceito essencial da utilização deste método é envolver os atores o espaço físico real e combiná-lo com a imagem virtual e em vez de ter um fundo abstrato de cor verde ou azul. Este facto permite a quem está a filmar ver os resultados no imediato e para quem atua está a representar com maior realismo em vez o estar a fazer para uma parede verde, isso permite que as equipes de produção vejam a cena sendo composta em tempo real no set.
Figure 9. Imagem relacionada à produção virtual [Imagem]. British Cinematographer. (n.d.). Virtual production. https://britishcinematographer.co.uk/virtual-production/ Imagem representativa de um cenário virtual com fundo LED, extraordinariamente definido. O fundo utiliza painéis LED onde a distância entre pixels é muito menor dando assim maior definição e nitidez à imagem.
As paredes de LED são constituídas por diversos blocos que se encaixam formando uma parede. Os pixels são constituídos por 3 LEDs, cada emitindo a cor RGB (red, green, blue) correspondente às cores primárias do audiovisual e com estas cores é possível criar todas as outras. Estes pixels recebem a informação executada por processadores de alto rendimento capazes de responder em tempo real aos movimentos de câmara sem qualquer ‘delay’ (atraso na imagem denominado latência), o que é um fator fundamental nesta tecnologia, porque ao se ligar a imagem real que se está a captar com uma câmara e esta encontra-se sincronizada com o fundo é fundamental que Não exista qualquer atraso no movimento e para isso é necessário ter processadores rápidos e eficazes na resposta ao movimento. Esta informação parte do computador ou de vários, e esta mesa de controlo é denominada de «brain bar» barra inteligente em tradução direta que irá receber as imagens da câmara real no set e combiná-las com a imagem virtual emitida para as paredes LED de forma sincronizada. Este ambiente virtual tem um motor específico como por exemplo Unreal Engine o mais comum. Estes mecanismos de computador renderizam modelos 3D com padrões e parâmetros lógicos da lei da física.
A câmara física no set está ligada através de sensores colocados em torno do estúdio que detetam o movimento quer seja de panorâmicas ou em dolly e essa informação chega ao «brain bar» onde o software irá combinar o fundo com o ângulo de câmara e a velocidade do movimento. A perspetiva do fundo corresponderá aos movimentos de câmara e aos ângulos de forma precisa e lógica.
A combinação dos dois universos o virtual projetado nas paredes LED a partir dos computadores 3D com a câmara real tem de estar estritamente sincronizados. Quando ambos se encontram em funcionamento e sincronizados é possível ver uma área específica na imagem que se encontra nas paredes LED. É área definida que se desloca de acordo com os movimentos da câmara física ao qual se denomina de frustum. Esta é a área que a câmara alcança no seu raio de ação. Seria redundante se todo o cenário em volta estivesse a corresponder ao movimento da câmara. Não é necessária mais área do que aquela que a câmara real capta.
Figure 10 e 11 Imagem do lançamento do Roe Visual Ruby RB1.5F em estúdio de VFX [Imagem]. Roe Visual. (2024). Roe Visual Ruby RB1.5F premieres in VFX studio. https://www.roevisual.com/us-en/news-and-events/news/roe-visual-ruby-rb1.5f-premieres-in-vfx-studio. Fotos que mostram a área do frustum. Esta é a área que interage com a câmara real e que em sintonia cria as perspetivas necessárias para a imagem.
A produção
A série produzida para a Disney+ foi pioneira na utilização do estúdio virtual LED. Praticamente todos os episódios foram gravados no interior do estúdio e com os mais diversos cenários aplicados. Teve três temporadas entre 2019 e 2023 num total de 24 episódios. Uma ficção científica assente na série idealizada por George Lucas, . Os cenários interplanetários puderam ser criados de forma virtual sem ter de levar equipas gigantescas para locais remotos. Em vez dos atores se deslocarem aos locais foram os locais que vieram ao encontro dos atores. Tratando-se de um filme distópico a criação dos cenários de fundo virtuais foi uma grande vantagem de produção.
Figure 12. Imagem da Mandalorian [Imagem]. British Cinematographer. (n.d.). Virtual production. https://britishcinematographer.co.uk/virtual-production/
Na Europa a série considerada a mais dispendiosa produção alemã em série TV teve a sua estreia em 2022 no canal de streaming Netflix. Não foi para além de uma temporada de oito episódios. Inicialmente a série seria produzida em vários locais, mas o Covid-19 veio mudar os planos. Em vez de viajar, seguiram o exemplo de Mandalorian (2019). Desta forma criou-se um estúdio virtual perto de Berlim em Babelsberg.
Como todos os projetos inovadores e este no ponto de vista técnico era de facto pioneiro e por isso o diretor de fotografia de Nikolaus Summerer executou testes de toda a ordem antes de iniciar a produção. Desconheciam como lidar com o sincronismo entre as imagens virtuais na parede LED com a velocidade e obturador da câmara por exemplo. Outras questões que se levantaram como por exemplo até onde se poderia ir relativamente à ângulo da posição de câmara com o LED Wall para evitar o efeito moiré. Um dos fatores mais importantes é procurar não permitir que na captura digital não se provoque o efeito moiré, que é quando o sensor não consegue ter uma zona da imagem estável e fica a fervilhar.
O enredo da série assenta numa viagem pelo Atlântico de um grupo de emigrantes que se dirigem para Nova Yorque no ano de 1899. Para isto foi construído um cenário físico em madeira do convés de um barco sobre uma estrutura circular. Havia a necessidade de executar os planos de contra campo. Como o fundo era mar e não havia uma distância larga o suficiente para executar de imediato o contra campo optaram em vez de restabelecer todo o cenário virtual para executar o plano, bastava virar a estrutura e ter o fundo de imediato e assim ganhar muito tempo. (British Cinematographer)
Figura 13. A plataforma circular montada no estúdio para a produção de 1899 [Foto]. British Cinematographer. (s.d.). 1899: Plain sailing for Summerer. https://britishcinematographer.co.uk/supplement_posts/1899-plain-sailing-for-summerer
Figura 14. Imagem do convés do barco que serve de cenário para a série da Netflix 1899 [Foto]. British Cinematographer. (s.d.). 1899: Plain sailing for Summerer. https://britishcinematographer.co.uk/supplement_posts/1899-plain-sailing-for-summerer/
Durante a conferência Virtual Media Lab Conference realizado em Estugarda Alemanha na Escola HdM em 2023 o colorista da série Steffen Paul referiu-se a vários aspetos de grande importância neste sistema em relação ao uso da tela verde, nomeadamente na tonalidade entre o espaço real e o espaço virtual na combinação de ambos. Em alguns planos seria complicado combinar a tonalidade vinda do LED wall para o cenário real com os atores e vice-versa. A necessidade de se recorrer a pré-light e estabelecer um LUT (Look Up Table) é essencial para dominar os tons do LED wall em sintonia com o departamento de arte. Este aspeto no domínio da cor e combinar as duas partes é de fulcral importância para a imagem final. Há outros aspetos que também indicou e que aprendeu ao longo do processo de correção de cor da série, foi a necessidade evitar colocar em a câmara em ângulos acentuadamente tangentes ao fundo LED porque causam efeito moiré. Em suma na sua apresentação demonstrou haver muitas vantagens em utilizar o sistema do estúdio virtual relativamente à tela verde, nomeadamente na criação de um ambiente de luz, dado que uma vez dominada a cor vinda dos painéis e aqui, acentuou a necessidade de ter LED’s RGB para melhor controlo da cor, mas não deixou também de sublinhar que para os tons de pele, seria importante para qualquer diretor de fotografia elaborar testes antes da rodagem porque a luz dos painéis não possui um espectro luminoso constante e pode divergir de painel para painel como a adição de outras luzes que possuem trazem tonalidade de cor diferentes o que torna difícil uma gestão adequada no processo de correção de cor.
As tecnologias combinadas
A combinação de movimentos entre a câmara real deve ser sincronizado com a imagem que se encontra na parede de LED’s, de forma que de cada vez que a câmara se movimenta o fundo deve acompanhar o movimento de forma a proporcionar a perspetiva correta, dando assim a perceção de realismo.
Para a execução desta técnica é necessário em primeiro lugar um grande espaço de estúdio para se montarem os diferentes painéis de LED’s que irão emitir as imagens vinda da «brain bar» onde se encontram todos os comandos para a operação e a equipa que irá manipular os computadores. A imagem que será fornecida nos ecrãs LED para a filmagem, o sistema Disguise para orientação e posicionamento da câmara em relação ao LED wall, unreal engine sistema computorizado de construção de imagens em 3D utilizado no fabrico de jogos e por o sistema para correção de cor e de luminosidade.
Não será demais salientar que a indústria dos jogos tem uma enorme influência nesta tecnologia, porque é precisamente através do Unreal Engine que se combinam os movimentos da câmara real com o fundo e neste particular a capacidade de renderização que tem de ser muito elevada porque não pode haver nenhum atraso (delay) quando se movimenta a câmara. A reação deve ser imediata e os computadores têm de responder de acordo. Em redor do cenário são colocados sensores para calcularem a posição da câmara relativamente à parede LED e é através de um sistema denominado frustum que é a zona que se encontra abrangida pelo enquadramento da câmara que se movimenta em conjugação. A palavra frustum derivado do latim significa tronco, mas trata-se de um cálculo geométrico como um cone cortado em paralelo à sua base. A partir dos cálculos matemáticos sincroniza-se a posição da câmara e esta quando se movimenta obedece à geometria do cone e por conseguinte oferece a perspetiva adequada de acordo com o centro, ou seja, a base do cone é a câmara que está a filmar.
Figura 14. Imagem de um tronco de cone [Imagem]. GeeksforGeeks. (s.d.). Frustum of cone. https://www.geeksforgeeks.org/frustum-of-cone/
Outra técnica de grande relevância é a distância entre si dos LEDS que constituem os painéis, denominados pixel pitch que na melhor das condições será de 2,8mm entre si. Há muitos fabricantes destes LED’s a SONY é uma delas que fabrica para equipar os estúdios, mas muitos outros fabricantes produzem painéis não para uso de filmagens mas para publicidade exterior e em estabelecimentos comerciais e neste casa o pixel pitch pode ser mais largo. A razão é simples, porque se a fonte da imagem é visível à câmara causa problemas de moiré e os pixéis serão visíveis à câmara o que não convém e inviabiliza todo o processo. Daí a distância entre pixéis ser fundamental de garantia do painel para efeitos de filmagem.
Vantagens do uso de estúdio virtual LED
Tendo como fundo as técnicas de efeitos especiais mais antigos mencionados, como a retroprojeção, a tela verde ou azul e a dupla exposição, a tecnologia digital dos estúdios LED wall trazem inúmeras vantagens relativamente aos resultados das técnicas anteriores.
Em primeira instância substituir a tela verde por imagens de um cenário e vê-las ao vivo é superiormente melhor para a equipa de realização e direção de fotografia. Também para os atores é uma vantagem considerável para a sua representação, porque se sentem no verdadeiro cenário em vez de contracenar para um pano verde.
A realização tem o privilégio de estar a realizar em direto com o cenário completo.
Em comparação com a retroprojeção o realismo que o sistema de estúdio virtual oferece é quase perfeito, senão mesmo perfeito A retroprojeção demonstra o irrealismo dos fundos das janelas, de carros em movimento por exemplo serem obviamente falsos. Com o sistema virtual há veracidade nos movimentos, na iluminação e permite diversos movimentos sem se circunscrever somente aos planos fixos.
Para a produção, esta pode evitar custos de deslocações de pessoas e tecnologia para os locais de filmagem. Os locais reais podem ser filmados em 360 graus e mais tarde as imagens serão reproduzidas totalmente em estúdio.
As vantagens para a direção de fotografia
A tela verde ou azul reflete a sua cor nos objetos e nos atores, o que dificulta muitas vezes o recorte entre a imagem real e a que se pretende substituir no verde para a imagem composta e contamina a cor na pele e no cenário, sendo que necessita de se ter extremo cuidado com a textura do vestuário. O uso do LED Wall elimina estes problemas e ainda adiciona a reflexão e a luminosidade.
Usando a tele verde não é possível utilizar o efeito de chuva, porque reflete na água e não é possível recortar. Com o LED Wall isso é possível filmar em direto como foi efetivamente na série «1899».
Usando a tela verde não é possível trabalhar reflexos em superfícies refletoras, como vidros, metal e usando o green screen isso teria de ser construído em pós e com o estúdio virtual esse efeito é direto.
Maior controlo sobre a iluminação, por exemplo cenários de pôr-do-sol, continuidade lumínica são vantagens consideráveis no contexto da fotografia.
A possibilidade de trabalhar com a imagem completa em vez de procurar construir uma iluminação no abstrato tendo apenas coo referência a imagem que irá ser colocada mais tarde no preenchimento da tela verde. Com o painel LED tira-se partido da própria luz vinda do painel e com isso desenhar uma iluminação realista ao cenário e credível.
Uma outra grande vantagem é a diversidade de posições de câmara como movimentar a câmara em torno dos atores nomeadamente a posição de câmara em torno de um veículo. Não existe o constrangimento do espaço ou a obrigação de colocar a câmara fixa como acontece nos car mounts colocados em frente do para-brisas. Com o LED Wall a câmara movimenta-se livremente em torno do carro. Este fator permite obter outros ângulos de câmara mais criativos e apelativos.
Desvantagens do uso de estúdio virtual LED
De momento a instalação de um estúdio virtual é financeiramente exigente. O valor do investimento ainda não se coaduna com uma amortização em tempo razoável. O nº de produções ainda é escasso para poder amortizar tamanho investimento.
Para além da questão financeira há ainda o aspeto da necessidade urgente de formar especialistas em diversas áreas. A sua especialização é condição primordial para poder levar a bom porto toda a cadeia de produção.
Uma das desvantagens em filmar veículos em movimento é não se poder filmar o veículo por inteiro sem recorrer a efeitos especiais a não ser que esteja parado e aí sim pode-se filmar o veículo por inteiro de contrário não é possível. Seria necessário recorrer a efeitos especiais para dar emular as rodas em andamento como o solo.
Já se falou nas equipas técnicas, sendo essencial munir especialistas em várias áreas, não só no domínio da informática e da computorização, mas também no cenário. A equipa do cenário deve trabalhar de perto e em sintonia para combinar o cenário virtual com cenário real onde as filmagens vão decorrer com os atores. A ligação da zona do solo e o início da imagem virtual é importante construir. Não só o aspeto físico é também a fonte de luz que incide sobre os objetos vindos do LED Wall podem causar discrepâncias cromáticas indesejáveis nas superfícies.
Alguns pontos a ter em conta na direção de fotografia
O pixel pitch como já aflorado pode causar problemas de moiré. É necessário ter painéis com o pixel pitch idealmente o mais cerrado possível para evitar que se tenha de estar a evitar constantemente localizações de câmara e de objetivas que o possam realçar. Aconselha-se para evitar este problema ter o fundo sempre ligeiramente desfocado, usando pouca profundidade de campo fotográfica.
O metamerismo é um outro problema a abordar, tanto que David Stump durante a conferência de Estugarda, aconselhou aos diretores de fotografia a evitar que utilizem como luz principal nos atores, a luz vinda dos painéis do LED Wall. A razão com o fenómeno espectral denominado metamerismo. Esta situação ocorre quando duas fontes de luz parecem ser iguais em termos de temperatura de cor e de tonalidade, mas não possuem a mesma onda do espectro e a tonalidade da luz que incide sobre o objeto difere muito. Apesar do mesmo tom cromático a resposta não é mesma e isso é causado pelo facto dos fabricantes de LEDs não separarem as cores individualmente nas três cores primária RGB. Em vez de haver a separação individual das cores emitidas pelo LED o fabricante opta por fazer a mistura de cores para atingir determinada temperatura de cor, mas causa um defeito na natureza dessa fonte de luz que ao incidir sobre um objeto de uma determinada tonalidade causa uma reflexão distorcida.
Figura 15. O colorista Dirk Meier demonstra o efeito de metamerismo na conferência VLMC [Imagem retirada de vídeo]. Meier, D. (2024). Vimeo. https://vimeo.com/827364365?embedded=true&source=vimeo_logo&owner=7
Relativamente à iluminação não se deve apenas circunscrever à fonte de luz vinda dos painéis LED. Por exemplo para se recriar uma luz dura do Sol não é possível utilizar a iluminação dos painéis, é necessário adicionar uma luz bem mais forte e dura para criar sombra e contraste o que não é possível a partir dos painéis. No entanto a posicionamento da luz para criar o efeito do Sol é também complexo porque a luz tem de ser colocada de cima, devido à parede, quando por vezes a luz deve vir dirigida rente ao solo e o facto de obrigar a luz dura vir de topo causa sombras desnecessárias no chão e pouco realistas. Deve-se procurar ângulos que permitam que a luz venha de uma direção correta o que não é na esmagadora maioria das vezes prático.
A iluminação de topo, é útil a passagem de automóveis ou de outros veículos para se captar os reflexos, mas aconselha-se utilizar a luz convencional para iluminar os atores e cortar todo e qualquer fuga de luz para os painéis.
A velocidade do obturador em sincronia perfeita com a aquela que está nos painéis é fundamental para evitar batimento de imagem.
Por último a preparação
A preparação para este tipo de produção que combina imagem virtual com imagem real requerendo sincronismo de câmara com diversas outras ferramentas que se encontram na mesa principal de comando (brain bar) pede uma preparação exigente e rigorosa. Os tempos de perda para resolver diversos problemas técnicos que surgem dado ainda à pouca experiência com a tecnologia são muitos e diversos. Nomeadamente a velocidade da câmara (frame rate e do obturador) devem coincidir perfeitamente com todos os softwares em uso.
Por outro lado, há um trabalho de procurar combinar as cores do LED wall com o cenário real. Como visto em capítulo anterior metamerismo é um problema. A adulteração das cores é uma realidade que causa problemas ao diretor de fotografia. É complicado controlar, mas a solução passa por ter pixéis RGB com os 3 canais de cor separados.
Na verdade, o essencial é permitir tempo para que uma vasta de equipa de técnicos possa testar as suas ferramentas, sincronizar e trabalhar em equipa ao longo de toda a preparação. A montagem do cenário, a iluminação, a luminosidade do próprio painel de LED’s é essencial calcular a exposição de um lado e de outro.
Os elementos que compõem a mesa central só para concretizar os efeitos especiais em tempo real.
Figura 16 e 17. Efeitos Visuais em Tempo Real Usando Volumes de LED na Produção Cinematográfica [Imagem retirada de vídeo]. Stump, D. (2024). Vimeo. https://vimeo.com/827385210?embedded=true&source=vimeo_logo&owner=74736025
No ponto de vista técnico muitos especialistas são necessários para executarem as tarefas que o sistema obriga e no essencial ter um grupo com capacidade de trabalhar em conjunto e ver a extensão do cenário virtual sendo projetada em tempo real e controlar todos os aspetos técnicos a si inerentes.
No aspeto criativo a preparação
Todos os aspetos criativos têm de ser tidos em conta. Planeamento de todos os planos, como ângulos de câmara, escalas de planos, movimentos e de forma que toda a equipa esteja informada do que se vai fazer.
A iluminação do diretor de fotografia Direção de Fotografia.
A luz proveniente destes painéis LED é frequentemente utilizada para iluminar os atores e os cenários, empregando apenas algumas luzes adicionais, nomeadamente procurar isolar o melhor possível a luz que ilumina os rostos em grande plano.
O facto de se utilizar a luz do painel LED implica também um trabalho minucioso com o engenheiro que opera o software Unreal Engine, dando-lhe mais ou menos luminosidade de forma a combinar com o cenário real em termos de intensidade de luz pretendida pelo diretor de fotografia.
Como referido há aspetos de cor a ter em conta, nomeadamente metamorism com as diferenças de espectro luminoso de fabricante para fabricante, mas parece seguro que no futuro este problema seja ultrapassado pelos fabricantes.
Há a necessidade imperiosa de se executarem testes exaustivos antes da rodagem propiamente dita para evitar problemas de execução. Escolher painéis que tenham um pitch entre LEDs de pelo menos 2,8 mm sendo que menor distância seria ideal. No entanto um pitch menor pode ocorrer que o painel se torne demasiado nítido dando assim uma imagem demasiado vídeo e pouco natural.
Conclusão
A tecnologia LED vem dar um passo gigante na produção de cinema. A possibilidade de obter imagens computorizadas que correm no ecrã (renderizadas) em tempo real é um passo importante na indústria. Este fator permite um sem número de possibilidades criativas, como ganhos em tempos de produção e poupança financeira. De momento é provável que ainda não seja possível amortizar todo o investimento, dada a escassez de produções que usam esta tecnologia, mas é possível que num futuro muito próximo o nº de produções aumente, mesmo em indústria de conteúdos pequenos como é o caso português.
Os estúdios virtuais irão num curto espaço de tempo tornar-se fundamentais e ainda mais produtivos quando a Inteligência Artificial (IA) vier a desenvolver-se para a aplicação de efeitos especiais na imagem. Por exemplo de momento a rotoscopia atualmente um processo demorado e chato passará a ser com IA uma banalidade que demora meros minutos. Para além de poder adicionar outros elementos à imagem como fundos e com aplicação de perspetivas certas mediante o ângulo de visão, ou seja, o posicionamento da câmara.
A evolução técnica está a avançar a passos largos trazendo a inteligência artificial à composição de imagem como ferramenta de auxílio e fundamental para a obtenção de imagens e de efeitos espetaculares.
Ao contrário que muitos pensam os sistemas de Inteligência artificial não são base de dados que armazenam informação e que depois processam. Não é um sistema de pesquisa google mas sim computadores com capacidade de ter redes neuronais capazes de decifrar e compor com lógica toda a informação adquirida através de um ampla gama de técnicas de algoritmos de aprendizagem automática, logica simbólica e algoritmos genéticos. A inteligência Artificial ainda se encontra a dar os seus primeiros passos mas com o decorrer dos anos a aprendizagem dos próprios sistemas computorizados será maior e maior será a resposta para as mais diversas funções incluindo a imagem,.
A AI combinada com os estúdios virtuais fará uma combinação perfeita para a produção de imagens perfeitas e na criação de conteúdos que só esbarrará na imaginação de cada um, independentemente dos problemas que se possam levantar perante autoria de cada um a IA está aí para dar mais um passo em frente em direção ao futuro.
O problema maior que se coloca de momento é o facto de tudo ser uma tecnologia recente e que requer profissionais e engenheiros que possam dominar e controlar todos os aspetos da construção da imagem. É necessário dar formação para se ter técnicos que possam ocupar o espaço do «brain bar» aqui falado neste texto, com as devidas competências.
A formação é um desafio que se coloca a todos os institutos de ensino e em particular em Portugal de forma que não fiquemos mais uma vez para trás no desenvolvimento tecnológico.
Bibliography:
Berger, L., Powell, M., & Whelan, T. (Directors). (1940). O Ladrão de Bagdad [Film]. London Films.
British Cinematographer. (n.d.). 1899: Plain sailing for Summerer. British Cinematographer. https://britishcinematographer.co.uk/supplement_posts/1899-plain-sailing-for-summerer
British Cinematographer. (n.d.). Greig Fraser ASC ACS. British Cinematographer. https://britishcinematographer.co.uk/supplement_posts/greig-fraser-asc-acs/
Davidson, S. (2017, August 13). Image from the film Alice in Wonderland (2010) [Film still]. In Green screen filming and compositing. Medium. //medium.com/@1005696/green-screen-filming-and-compositing-f39c5b5bcac4">https://medium.com/@1005696/green-screen-filming-and-compositing-f39c5b5bcac4>
Eventbrite. (n.d.). MARS x disguise VP accelerator London. Eventbrite. https://www.eventbrite.co.uk/e/mars-x-disguise-vp-accelerator-london-tickets-885021441957
Favreau, J. (Executive Producer). (2019–present). The Mandalorian [TV series]. Lucasfilm, Fairview Entertainment.
Friese, J., & bo Odar, B. (Executive Producers). (2022). 1899 [TV series]. Netflix.
Hochschule der Medien. (n.d.). Virtual Media Lab Conference. https://www.hdm-stuttgart.de/vmlab/conferences/VMLC
Industrial Light & Magic. (2020, March 3). Stagecraft: The future of filmmaking [Video]. YouTube. https://www.youtube.com/watch?v=-gX4N5rDYeQ
Kadner, N. (2021). The virtual production field guide, volume 2. Epic Games. https://www.vesglobal.org/wp-content/uploads/2021/04/VirtualProductionFieldGuideVolume2New.pdf
Light Architect. (2022, April 2). LED volume vs green screen - virtual production comparison [Video]. YouTube. https://www.youtube.com/watch?v=viWaq1zHCwI
Light Architect. (2024, May 30). Understanding light in virtual production [Video]. YouTube. https://www.youtube.com/watch?v=viWaq1zHCwI&ab_channel=LightArchitect
Lucas, G. (Director). (1977). Guerra de las estrellas [Film]. Lucasfilm.
Mutter, Z. (n.d.). Greig Fraser, ASC, ACS. British Cinematographer. https://britishcinematographer.co.uk/supplement_posts/greig-fraser-asc-acs/
Netflix Production Technology Resources. (2023, December 1). Into the volume: A behind-the-scenes look into the virtual production of 1899 [Video]. YouTube. https://www.youtube.com/watch?v=ZMynJCgJIQk&ab_channel=NetflixProductionTechnologyResources
Netflix Production Technology Resources. (2024, April 12). Into the volume: A behind-the-scenes look into the virtual production of 1899 [Video]. YouTube. https://www.youtube.com/watch?v=ZMynJCgJIQk&ab_channel=NetflixProductionTechnologyResources
Oseman, N. (2024, April 11). New reality. British Cinematographer. https://britishcinematographer.co.uk/virtual-production/
Oseman, N. (2024, April 12). The history of virtual production. Neil Oseman. https://neiloseman.com/the-history-of-virtual-production/
Pennington, A. (2024, April 13). Plain sailing for Summerer. British Cinematographer. https://britishcinematographer.co.uk/supplement_posts/1899-plain-sailing-for-summerer
Porter, E. S. (Director). (1903). The Great Train Robbery [Film]. Edison Manufacturing Company.
Sony. (n.d.). Sony Crystal LED for virtual production [Whitepaper]. https://pro.sony/de_DE/cinematography/virtual-production-white-paper
Stump, D. (2023). David Stump on lighting techniques [Video]. Vimeo. https://vimeo.com/827364365
Stump, D. (2024). David Stump on filmmaking techniques [Video]. Vimeo. https://vimeo.com/827385210
Wikipedia contributors. (n.d.). Metamerism (color). Wikipedia. Retrieved September 9, 2024, from https://en.wikipedia.org/wiki/Metamerism_(color)
Into the Volume: A Behind-the-Scenes Look into the Virtual Production of 1899 https://www.youtube.com/watch?v=ZMynJCgJIQk&ab_channel=NetflixProductionTechnologyResources – visited 14/04/2024
British Cinematographer Magazine, Plain sailing for Summerer by Adrian Pennington https://britishcinematographer.co.uk/supplement_posts/1899-plain-sailing-for-summerer/ – visited 14/04/2024
The history of virtual production – Neil Oseman https://neiloseman.com/the-history-of-virtual-production/ – visited 14/04/2024
British cinematographer article New reality by Neil Oseman. https://britishcinematographer.co.uk/virtual-production/ visited 14/04/2024
Sony. (n. D.) Sony Crystal LED for Virtual Production I Whitepaper. URL https://pro.sony/de_DE/cinematography/virtual-production-white-paper visited 31.05.24.
Kadner, N. (2021). The Virtual Production Field Guide, Volume 2. Epic Games. URL https://www.vesglobal.org/wp-content/uploads/2021/04/VirtualProductionFieldGuideVolume2New.pdf
Virtual Media Lab Conference Hochschule der Medien
https://www.hdm-stuttgart.de/vmlab/conferences/VMLC
https://en.wikipedia.org/wiki/The_Mandalorian visitado em 01/06/2024
https://britishcinematographer.co.uk/supplement_posts/1899-plain-sailing-for-summerer/ visited 01/06/2024
https://www.youtube.com/watch?v=viWaq1zHCwI&ab_channel=LightArchitect Visited 01/06/2024
https://www.youtube.com/watch?v=ZMynJCgJIQk&ab_channel=NetflixProductionTechnologyResources Visited 01/06/2024
https://britishcinematographer.co.uk/supplement_posts/greig-fraser-asc-acs/ Visited 01/06/2024
https://vimeo.com/827385210?embedded=true&source=vimeo_logo&owner=74 Visited 01/06/2024 David stump
https://www.youtube.com/watch?v=viWaq1zHCwI&ab_channel=LightArchitect
https://www.youtube.com/watch?v=ZMynJCgJIQk&ab_channel=NetflixProductionTechnologyResources
https://www.youtube.com/watch?v=-gX4N5rDYeQ&ab_channel=IndustrialLight%26Magic
https://britishcinematographer.co.uk/supplement_posts/1899-plain-sailing-for-summerer
https://britishcinematographer.co.uk/supplement_posts/greig-fraser-asc-acs/
https://vimeo.com/827364365?embedded=true&source=vimeo_logo&owner=7 Metamerism
https://en.wikipedia.org/wiki/Metamerism_(color)
