Conoce Lumiere, la nueva Inteligencia Artificial generativa de videos de Google

Conoce Lumiere, la nueva Inteligencia Artificial generativa de videos de Google

Por Redacción | 30 Enero, 2024

Google ha presentado Lumiere, un generador de video basado en IA descrito como un "modelo de difusión espacio-temporal para la generación realista de video".

Esta tecnología parece ser capaz de crear videos que representan movimientos realistas y diversos, convirtiéndolo en uno de los generadores de video IA de texto a animal más avanzados demostrados hasta ahora. En la presentación se mostró cómo desde un texto podía crear imágenes de distintos animales con diversos estilos. Y si bien el resultado aún sigue estando alejado de lo que podría ser una filmación o una animación convencional, cada vez convence más.

La propuesta de Lumiere

Lumiere destaca por encima de otros modelos de generación de video debido a su arquitectura única. A diferencia de los modelos existentes que sintetizan fotogramas clave distantes seguidos de una superresolución temporal, Lumiere genera toda la duración temporal de un video de una sola vez. Este enfoque permite una consistencia temporal global, haciendo que los videos resultantes sean fluidos y coherentes.

Lee: Nos engañó. Google acepta que su modo incógnito no es incógnito; y ahora pone una alerta para avisar
 

Los aspectos espacio-temporales del video son manejados simultáneamente por Lumiere, lo que le permite crear videos de principio a fin en un proceso continuo. Esto elimina la necesidad de unir pequeñas partes o fotogramas, resultando en una experiencia de generación de video más eficiente y simplificada.

Qué se podrá hacer cuando esté disponible

Aunque aún está en desarrollo, cuando esté disponible Lumiere ofrece una amplia gama de características impresionantes que demuestran sus capacidades como generador de video IA. Algunas de estas características son:

Generación de texto a video: Lumiere puede convertir una instrucción escrita en un video nuevo.

Conversión de imagen a video: Al convertir imágenes fijas en videos, Lumiere agrega movimiento y dinamismo fotos o dibujos.

Te puede interesar: Con el cese definitivo de sus cajeros automáticos, BBVA México marca un hito
 

Generación de video basada en estilo: Con la ayuda de una imagen de referencia, Lumiere puede generar videos en estilos específicos.

Edición de video basada en texto: Lumiere permite además la edición de video mediante indicaciones basadas en texto, facilitando la creación de videos de aspecto profesional.

Capacidades de inpainting de video: Lumiere puede cambiar la apariencia de objetos en un video, como alterar la ropa que llevan las personas que ha generado con una segunda instrucción.

También tiene limitaciones

El artículo de investigación que acompaña el lanzamiento de Lumiere menciona que el modelo de IA produce videos de cinco segundos de duración con una resolución de 1024x1024 píxeles. Aunque esta resolución se considera baja, los investigadores realizaron un estudio de usuario y descubrieron que las salidas de Lumiere fueron preferidas sobre los modelos existentes de síntesis de video IA.

Google entrenó el modelo de texto a video en un conjunto de datos que contiene 30 millones de videos junto con sus leyendas de texto. Los videos en el conjunto de datos tienen 80 fotogramas de duración, con una velocidad de cuadro de 16 fotogramas por segundo. El modelo base fue entrenado a una resolución de 128x128 píxeles.

Los videos generados por IA han avanzado mucho en términos de calidad y capacidades en los últimos años, hace unos meses Google ya presentó Gemini, que conseguía interpretar también vídeo a nivel contextual.

Meta también reveló su generador de video por IA, al igual que TikTok. Por ahora estos avances han permitido la creación de vídeos paródicos surrealistas, pero su llegada también viene acompañada de dudas sobre cómo puede usarse para manipular y crear deepfakes de personalidades o políticos.
*MG


Lo de Hoy México
1 día
.


Lo de Hoy México
1 día
.


Lo de Hoy México
1 día
.


Lo de Hoy México
11 horas
.
Los bancos del país están acelerando los pagos con tarjeta en México, y analizan la alternativa de hacer transacciones sin necesidad de teclear un NIP

Lo de Hoy México
3 días
.
En Ford han decidido desvelar nuevos detalles sobre su última bestia, un tal Mustang GTD con el que quieren convertir al pony car en uno de los mejores coches de circuito que el dinero pueda pagar

Lo de Hoy México
4 días
.
La prestigiosa universidad de Estados Unidos publicó una investigación donde planteó la posibilidad de que extraterrestres estén camuflados en nuestro planeta

Lo de Hoy México
6 días
.
El fabricante del iPhone anunció la renovación de Siri junto con otras funciones nuevas en su presentación anual para desarrolladores este lunes

Lo de Hoy México
1 semana
.
En el estudio realizado por la Profeco, se analizaron 16 modelos pertenecientes a 11 marcas distintas

Lo de Hoy México
1 semana
.
La Agencia de Seguridad Nacional de EU exhortó a los usuarios de iPhone y Android apagar su celular una vez a la semana para protegerse de ataques de seguridad

Lo de Hoy México
1 semana
.
El domingo, la misión Chang’e-6 llegó a la cuenca Aitken, en el polo sur del satélite, para recolectar materiales del suelo lunar y ampliar el conocimiento al respecto

Lo de Hoy México
2 semanas
.
La OMM confirmó que existe una alta probabilidad de que La Niña se manifieste en julio y septiembre, aumentando en agosto y noviembre

Lo de Hoy México
2 semanas
.
Seis planetas se alinearán en el cielo oscuro. Mercurio, Marte, Júpiter, Saturno, Urano y Neptuno brillarán muy cerca entre sí

Lo de Hoy México
2 semanas
.
Especialistas de diversas partes del mundo detectaron un “punto débil” en el campo magnético terrestre que recientemente ha crecido

Lo de Hoy México
4 días
.
Un hombre fue detenido por los usuarios del Metro de la Ciudad de México, luego de que les robó sus pertenencias, por lo que le aplicaron “calzón chino”
VIDEO. En el Metro de la CdMx, usuarios aplican “calzón chino” a sujeto que les robó

Lo de Hoy México
5 días
.
En el túnel La Planicie en Caracas, un motociclista perdió el control por ir a acceso de velocidad y perdió parte de su rostro
VIDEO FUERTE. En Venezuela, motociclista se quedan sin rostro tras grave accidente en túnel

Lo de Hoy México
6 días
.
¡De todo! Franeleros y vecinos se agarraron a golpes por lugares de estacionamiento en calles de la Ciudad de México
CDMX. Se agarran a golpes franeleros y vecinos por lugares;  a uno le hicieron calzón chino

Lo de Hoy México
11 horas
.
Uno de los hombres que viaja en la motocicleta baja e increpa a la mujer, quien corre unos metros para después sacar una pistola y disparar
Par de hombres intentan asaltar a una mujer; ella se defiende disparándoles

Lo de Hoy México
4 días
.
Luego de una búsqueda intensa en la CDMX, las autoridades lograron detener al presunto asesino de Norma Patricia, mujer ejecutada en calles de Iztapalapa
Así denunciaba Norma Patricia a su cirujano asesinada en Iztapalapa

Lo de Hoy México
6 días
.
Cuatro mujeres y 2 bebés fueron acribillados a balazos en el interior de una vivienda, sitio donde elementos de la GN habían ingresado para realizar una revisión
Sujetos armados asesinan a 6 personas en una vecindad de León tras 'visita' de la GN

Lo de Hoy México
6 días
.
La hija de Michael Jackson reveló en una reciente entrevista que su cantante de música en español favorito es Nodal
Paris, hija de Michael Jackson confiesa que Christian Nodal es su cantante favorito

Lo de Hoy México
5 días
.
Nodal y Aguilar decidieron no esconder su romance y demostraron su amor en un concierto de la cantante
Así fue el primer beso de Christian Nodal y Ángela Aguilar en pleno concierto

Lo de Hoy México
6 días
.
Hasta ahora sólo han dado a conocer oficialmente los nombres de dos integrantes
‘La Casa de los Famosos México 2’: Filtran lista de supuestos integrantes

Lo de Hoy México
18 horas
.
Una balacera fuera del IEBO en San Francisco del Mar, Oaxaca, dejó un muerto, presunto traficante de personas, durante una ceremonia escolar
Matan a hombre durante fiesta de graduación en Oaxaca

Lo de Hoy México
3 horas
.
Un tractocamión que circulaba con dirección a la capital poblana cuando perdió el control y dejó caos vial
Vuelca camión de carga sobre la México-Puebla y deja caos vial

Lo de Hoy México
4 horas
.
Policía Municipal y Guardia Nacional han incrementado los recorridos de vigilancia en juntas auxiliares de Huejotzingo
Tras secuestro de docente, refuerzan operativos en juntas auxiliares de Huejotzingo

Lo de Hoy México
5 horas
.
Emma Lee, una barista le rompió el parabrisas de un cliente con un martillo luego de que este le arrojó café tras una pelea
VIDEO. Barista rompe parabrisas del cliente con un martillo; él le arrojó café en la cara

Lo de Hoy México
7 horas
.
El sangrado era abundante, su uniforme se tiño de rojo y fue trasladado a un hospotar para una operación
VIDEO. Mbappé sufre duro golpe durante partido, tiene fractura

Lo de Hoy México
6 horas
.
Se reportó la muerte de dos menores de edad dentro de la laguna de Aljojuca
Muer3n dos menores de edad dentro de la laguna de Aljojuca

Lo de Hoy México
6 horas
.
En la XXII Feria del Tamal participaron más de 70 cocineras, sirviendo más de 40 mil tamales en Cuaucuila
Con más de 4 mil asistentes se realizó la XXII Feria del Tamal en Huauchinango

Lo de Hoy México
7 horas
.
El Tribunal Colegiado otorgó amparo directo al Sindicato Único de Trabajadores al Servicio del Ayuntamiento de Cuautlancingo
Tribunal Federal otorga amparo al Sindicato de Cuautlancingo

Lo de Hoy México
7 horas
.
Publica BUAP la convocatoria para otorgar bonos económicos a estos docentes. Estará abierta hasta el 26 de junio y los resultados se conocerán el 5 de julio
Los profesores hora clase son pilar de la educación en la BUAP: Rectora

Lo de Hoy México
8 horas
.
A los 81 años, fallece la voz de Marge Simpson en Latinoamérica en las primeras 15 temporadas, la actriz de doblaje Nancy Mackenzie
Hoy es un día tríste. Fallece la voz de Marge Simpson, Nancy Mackenzie

Lo de Hoy México
9 horas
.
Christian Nodal y Ángela Aguilar siguen siendo noticias, ahora dicen que la cantante podría estar embarazada
VIDEO. ¿Ya la embarazo?, Ángela Aguilar y Christian Nodal desatan nuevamente rumores