Conoce Lumiere, la nueva Inteligencia Artificial generativa de videos de Google

Conoce Lumiere, la nueva Inteligencia Artificial generativa de videos de Google

Por Redacción | 30 Enero, 2024

Google ha presentado Lumiere, un generador de video basado en IA descrito como un "modelo de difusión espacio-temporal para la generación realista de video".

Esta tecnología parece ser capaz de crear videos que representan movimientos realistas y diversos, convirtiéndolo en uno de los generadores de video IA de texto a animal más avanzados demostrados hasta ahora. En la presentación se mostró cómo desde un texto podía crear imágenes de distintos animales con diversos estilos. Y si bien el resultado aún sigue estando alejado de lo que podría ser una filmación o una animación convencional, cada vez convence más.

La propuesta de Lumiere

Lumiere destaca por encima de otros modelos de generación de video debido a su arquitectura única. A diferencia de los modelos existentes que sintetizan fotogramas clave distantes seguidos de una superresolución temporal, Lumiere genera toda la duración temporal de un video de una sola vez. Este enfoque permite una consistencia temporal global, haciendo que los videos resultantes sean fluidos y coherentes.

Lee: Nos engañó. Google acepta que su modo incógnito no es incógnito; y ahora pone una alerta para avisar
 

Los aspectos espacio-temporales del video son manejados simultáneamente por Lumiere, lo que le permite crear videos de principio a fin en un proceso continuo. Esto elimina la necesidad de unir pequeñas partes o fotogramas, resultando en una experiencia de generación de video más eficiente y simplificada.

Qué se podrá hacer cuando esté disponible

Aunque aún está en desarrollo, cuando esté disponible Lumiere ofrece una amplia gama de características impresionantes que demuestran sus capacidades como generador de video IA. Algunas de estas características son:

Generación de texto a video: Lumiere puede convertir una instrucción escrita en un video nuevo.

Conversión de imagen a video: Al convertir imágenes fijas en videos, Lumiere agrega movimiento y dinamismo fotos o dibujos.

Te puede interesar: Con el cese definitivo de sus cajeros automáticos, BBVA México marca un hito
 

Generación de video basada en estilo: Con la ayuda de una imagen de referencia, Lumiere puede generar videos en estilos específicos.

Edición de video basada en texto: Lumiere permite además la edición de video mediante indicaciones basadas en texto, facilitando la creación de videos de aspecto profesional.

Capacidades de inpainting de video: Lumiere puede cambiar la apariencia de objetos en un video, como alterar la ropa que llevan las personas que ha generado con una segunda instrucción.

También tiene limitaciones

El artículo de investigación que acompaña el lanzamiento de Lumiere menciona que el modelo de IA produce videos de cinco segundos de duración con una resolución de 1024x1024 píxeles. Aunque esta resolución se considera baja, los investigadores realizaron un estudio de usuario y descubrieron que las salidas de Lumiere fueron preferidas sobre los modelos existentes de síntesis de video IA.

Google entrenó el modelo de texto a video en un conjunto de datos que contiene 30 millones de videos junto con sus leyendas de texto. Los videos en el conjunto de datos tienen 80 fotogramas de duración, con una velocidad de cuadro de 16 fotogramas por segundo. El modelo base fue entrenado a una resolución de 128x128 píxeles.

Los videos generados por IA han avanzado mucho en términos de calidad y capacidades en los últimos años, hace unos meses Google ya presentó Gemini, que conseguía interpretar también vídeo a nivel contextual.

Meta también reveló su generador de video por IA, al igual que TikTok. Por ahora estos avances han permitido la creación de vídeos paródicos surrealistas, pero su llegada también viene acompañada de dudas sobre cómo puede usarse para manipular y crear deepfakes de personalidades o políticos.
*MG


Lo de Hoy México
1 día
.


Lo de Hoy México
1 día
.


Lo de Hoy México
1 día
.


Lo de Hoy México
19 horas
.
Además de la propia app de Google, Gmail, YouTube o Google Maps, la compañía de Mountain View tiene una gran cantidad de aplicaciones que, si bien no son muy populares, sí son utilizadas por muchos usuarios

Lo de Hoy México
5 días
.
Para dimensionarlo de otra forma, la agencia espacial dice que, si estas estructuras se giraran hacia el mismo plano en el que se encuentra la galaxia, llegarían más allá de nuestro sistema solar

Lo de Hoy México
6 días
.
Un usuario asiduo del Iphone que está inscrito como desarrollador nos comparte las principales actualizaciones que ha hecho la marca de la manzana a su sistema operativo iOS 18

Lo de Hoy México
1 semana
.
Los bancos del país están acelerando los pagos con tarjeta en México, y analizan la alternativa de hacer transacciones sin necesidad de teclear un NIP

Lo de Hoy México
1 semana
.
En Ford han decidido desvelar nuevos detalles sobre su última bestia, un tal Mustang GTD con el que quieren convertir al pony car en uno de los mejores coches de circuito que el dinero pueda pagar

Lo de Hoy México
1 semana
.
La prestigiosa universidad de Estados Unidos publicó una investigación donde planteó la posibilidad de que extraterrestres estén camuflados en nuestro planeta

Lo de Hoy México
2 semanas
.
El fabricante del iPhone anunció la renovación de Siri junto con otras funciones nuevas en su presentación anual para desarrolladores este lunes

Lo de Hoy México
2 semanas
.
En el estudio realizado por la Profeco, se analizaron 16 modelos pertenecientes a 11 marcas distintas

Lo de Hoy México
2 semanas
.
La Agencia de Seguridad Nacional de EU exhortó a los usuarios de iPhone y Android apagar su celular una vez a la semana para protegerse de ataques de seguridad

Lo de Hoy México
3 semanas
.
El domingo, la misión Chang’e-6 llegó a la cuenca Aitken, en el polo sur del satélite, para recolectar materiales del suelo lunar y ampliar el conocimiento al respecto

Lo de Hoy México
1 día
.
Este lugar registra más de30 mil delitos solo en su principal ciudad, Trujillo, esto representa una enorme ola de criminalidad y del vacío de autoridad
IMÁGENES FUERTES. Prenden fuego a jovencito que asaltó una tienda

Lo de Hoy México
6 días
.
El accidente ocurrió la tarde de este domingo en un comercio de quesadillas y tortillas, localizado en la calle Tehuacán.
VIDEO. Cámara de seguridad graba la EXPLOSIÓN de un tanque de gas en Morelia

Lo de Hoy México
23 horas
.
Un elefante aplastó hasta la muerte a su entrenador en la India, un evento que fue capturado en video y ha dejado al planeta atónito.
IMÁGENES SENSIBLES Elefante aplasta hasta la muerte a su domador en la India

Lo de Hoy México
3 días
.
Babo cambio a Karely Ruiz e hizo la colaboración con Celia Lora; este fue el video sin censura que hicieron el rapero y la modelo de OnlyFans
Celia Lora y Babo impactan con un VIDEO sin censura

Lo de Hoy México
5 días
.
De acuerdo a las autoridades de tránsito de aquel país, el accidente ocurrió hacia las 6 y 20 de la mañana de este jueves, generando, además un caos en la movilidad
 VIDEO FUERTE. Un leve error le provocó la muerte a motociclista

Lo de Hoy México
6 días
.
Una mujer descubrió que su hijo había muert0 durante un accidente automovilístico y así fue la desgarradora escena
VIDEO. Al grito de “¡Reacciona por favor!”, madre descubre que su hijo mur1ó en accidente

Lo de Hoy México
4 días
.
La Profeco advirtió qué refrescos no se deben combinar con tequila, debido a su alto contenido de azúcar, lo que podría ser perjudicial para la salud
OJO, refrescos que NUNCA debes combinar con tequila: Profeco

Lo de Hoy México
4 días
.
CINÉPOLIS ofrece como siempre grandes producciones cinematográficas para todos los gustos y edades
Drama, ficción, acción, comedia, animación y terror este fin en CINÉPOLIS

Lo de Hoy México
5 días
.
A través de un comunicado, el Colegio advirtió que esta reforma podría generar un grave retroceso para las instituciones del país
Colegio de Secretarios y Actuarios se resisten a reformas al Poder Judicial de AMLO

Lo de Hoy México
4 días
.
Una mujer se viralizó en redes sociales, luego de rescatar primero a su perrito antes que a su propio marido que estaba justo a su lado
VIDEO. ¡Prioridades! Mujer rescata primero a su perro de un oso antes que a su esposo

Lo de Hoy México
13 minutos
.
También mencionó que a través de las Casas de Salud y con Teleconsultas se brindará atención médica de primer nivel en las zonas más pobres y marginadas
Armenta reitera atención médica a adultos mayores

Lo de Hoy México
34 minutos
.
Familiares de Evelin N. revelaron que aparentemente sufría de depresión
Evelin padecía depresión y se envenenó con pastillas para uso agrícola

Lo de Hoy México
40 minutos
.
Adultos mayores están por recibir su cuarto pago de 2024, tras una pausa por la veda electoral, donde este sería el posible orden por apellido
De acuerdo a tu apellido, en esta fecha te harán el pago de julio de la Pensión Bienestar

Lo de Hoy México
57 minutos
.
El hombre asesinado en la comunidad de Moyotzingo, fue identificado como Nazario N., alias "El Millas", quien estaría ligado presuntamente a una banda criminal
Ejecutan a “El Millas” estaría ligado a una banda criminal

Lo de Hoy México
1 hora
.
Obrador reconoció errores en su gobierno "porque somos humanos, pero el precisar sobre las fallas se lo dejamos a nuestros adversarios", indicó
Obrador admite “errores” durante su gobierno "SOMOS HUMANOS"

Lo de Hoy México
1 hora
.
El Sitiavw anunció un paro de labores del 1 al 15 de julio en dos segmentos 2 y 3 de Tiguan y Taos por modificaciones en las líneas de producción
Volkswagen parará 15 días la producción Tiguan y TAOS

Lo de Hoy México
1 hora
.
Dos empleados del Ayuntamiento de Huixtla, en la región de la costa de Chiapas, fueron grabados mientras tenían relaciones sexuales cerca de una ventana de una de las oficinas del edificio de gobierno
Los cachan ‘echando pasión’ en presidencia municipal de Huixtla, Chiapas; los despidieron

Lo de Hoy México
2 horas
.
Luego de dar marcha atrás al dictamen, morenistas criticaron al juez que les ordenó legislar sobre los registros civiles, al considerarlo una injerencia
Retrasan aprobación de polémica ley para recabar biométricos

Lo de Hoy México
2 horas
.
Sheinbaum recibe bastón de mando para sacar agenda feminista pendiente
La 4T es feminista: Sheinbaum; mujeres le entregan bastón de mando

Lo de Hoy México
3 horas
.
La mayoría de los jueces ha confirmado su asistencia este jueves a la Cámara de Diputados, donde expondrán sus opiniones acerca de la polémica iniciativa
Los ministros de la SCJN acudirán al primer foro sobre la reforma judicial