YouTube prueba la sincronización labial con IA para hacer más realistas los doblajes automáticos
YouTube prueba una función de sincronización labial con inteligencia artificial para hacer más realistas los vídeos doblados, inicialmente disponible en cinco idiomas.
Tras implementar el doblaje automático mediante inteligencia artificial, YouTube planea dar un paso más en su estrategia para mejorar la experiencia de los usuarios.
La plataforma prepara una nueva función de sincronización labial automática que ajustará el movimiento de los labios de los protagonistas para que coincidan con el idioma del doblaje, logrando así resultados mucho más realistas.
El objetivo de esta herramienta es incrementar la naturalidad de los vídeos traducidos y, con ello, aumentar el nivel de compromiso y permanencia del público.
Según explicó el responsable del proyecto de autodoblaje de YouTube, Buddhika Kottahachchi, la tecnología utiliza un modelo de inteligencia artificial capaz de realizar modificaciones a nivel de píxel en la boca del hablante.
El sistema analiza la estructura facial en tres dimensiones, incluyendo labios, dientes y expresiones, para generar un movimiento labial que se sincronice con el nuevo audio.
Se trata de una técnica similar a la empleada en producciones cinematográficas avanzadas, pero aplicada de forma automatizada y masiva dentro de la plataforma.
Por ahora, la función solo estará disponible en resolución 1080p y será compatible con cinco idiomas: inglés, francés, alemán, portugués y español.
Sin embargo, YouTube ya ha confirmado su intención de ampliar el soporte a más de 20 idiomas, coincidiendo con los que actualmente ofrece su sistema de doblaje automático.
La compañía no ha detallado aún cuándo se lanzará esta característica, aunque todo apunta a que comenzará con un programa piloto restringido a un pequeño grupo de creadores, tal como ocurrió con el autodoblaje.
Además, se espera que los canales puedan activar o desactivar la función según sus preferencias.
YouTube tampoco descarta aplicar un coste adicional por el uso de esta herramienta, aunque todavía no se ha definido si recaerá sobre los creadores o los usuarios finales.