Startup quer usar deepfake para tornar perfeitas as dublagens de filmes e séries

A startup Flawless está desenvolvendo um projeto interessante para os fãs de filmes dublados. O projeto consiste no uso de deepfake para adaptar as expressões faciais e gestos da boca dos atores, a fim de sincronizar com o que está sendo dito em cada idioma. Com isso, caso você assista a um filme ou série dublado, não notaria a diferença entre os movimentos da boca do ator e a voz do dublador.

Deepfakes geralmente são utilizados para mudar uma imagem em sua completude. A troca de rostos ou a geração de vídeos nos quais pessoas se passam por celebridades para dizer coisas que essas figuras públicas nunca diriam. O objetivo da Flawless, entretanto, é focar apenas nas pequenas expressões faciais e nos movimentos da boca dos atores. O sistema de aprendizado autônomo de inteligência artificial da empresa pode criar movimentos de lábios que sincronizam com o áudio.

“Quando alguém assiste a um vídeo dublado, eles não estão podendo aproveitar toda a performance e potência de uma palavra chocante ou de um movimento bem calculado da boca”, disse o cofundador da Flawless, Nick Lynes, ao The Verge. “É tudo uma questão de manter o desempenho do ator e proteger seu estilo original”, completou.

O resultado tem uma alta taxa de precisão, e a interferência da inteligência artificial na imagem original é pequena, mesmo que ainda perceptível. É importante notar, entretanto, que os exemplos mostrados pela Flawless mostram apenas imagens bem iluminadas e frontais dos atores em ação. Ainda é preciso ver como o software se sai em cenas nas quais os atores estejam em movimento, em outras posições ou com iluminações diferentes – e caso o software não funcione tão bem nesses cenários, o quanto isso seria perceptível, já que não seria tão nítido quanto é no caso de uma imagem frontal.