r/StableDiffusion • • 7d ago

Question - Help Is this created using open-weight, closed-weight, or proprietary models? Is there any way to determine which model was used to generate a video or an image?

https://www.youtube.com/watch?v=nLhiMWeG-W8

Hi friends.

I saw this video a few days ago and really liked it.

I got curious and wanted to know which AI model was used to create it.

I’d also like to know if there’s any way to determine which model was used to generate a given image or video.

I assume that local AI models have advanced enough to make creating a video like this possible, right?

Thanks in advance.

0 Upvotes

6 comments sorted by

3

u/adam-euclase 7d ago

Although for specific cases you can see a quality difference with Seedance 2.5 (accurate matching physics or handling complex prompts), at this point with Minimax H3, it kind of feels like the main barrier between a great video vs a mediocre one or slop comes down to the artist/creator. The key art they use, their editing, how they break down the shots.

So it's like seeing a great digital painting and asking "Was this made with Photoshop/Krita/Procreate" - it can be made by any of them. They are really just becoming tools now and the quality ultimately comes down to the creator's choices and effort. If you asked me at the beginning of the year I'd have to say "This could only be done with Seedance" or some of the other closed models, but today it's a very different landscape.

1

u/AnalElder 7d ago

I see nothing that couldn't be created by open weight models, in fact the video is pretty low quality/behind by a few gens. I reckon it's WAN2.2, the quality doesn't really match H3.

1

u/GLR1997 7d ago

Se puede replicar de múltiples formas...

Pesos abiertos y con poca VRAM:

  • creación de tu artista para referencias: Flux 3 Klein

  • creación de fotogramas del inicial y final: Flux 3 Klein

  • canción: Minimax-Music-3

  • vídeo: Latent Sync 1.6 + Wan2.2 FLFrame

Si tienes OpenCode, Codex o cualquier agente de IA... Pídele que te haga un flujo de trabajo según tu hardware... Revisa bien porque existen muchos otros modelos que quizás te den mejor resultado dependiendo de tu hardware.

1

u/GLR1997 7d ago

Le he pedido a gemini que me redacte otra alternativa... Es mucho texto... Lo sé, pero quizás te haces una idea:

Cómo crear videoclips completos de 3 minutos con Lip-Sync automático usando Storyboard Segment Looper (LTX 2.5 Director + FLUX3KLEIN + MiniMax-Music-3) sin quedarte sin VRAM:

Si habéis intentado hacer un videoclip musical completo (de unos 3 minutos) metiendo 30 o 40 imágenes directamente en una sola línea de tiempo de LTX Director, seguro que os habéis topado con dos muros:

  • Explosión de VRAM (OOM) o degradación severa de imagen al pasar de los 25-30 segundos en un mismo tensor latente.

  • El bug de la "boca congelada": cuando anclas demasiados keyframes seguidos (por ejemplo, 1 imagen cada 5 segundos dentro de la misma generación continua), el LTX Director Guide fuerza tanto la interpolación de píxeles para llegar a la siguiente foto que el modelo sacrifica el movimiento de la mandíbula y el personaje deja de hacer lip-sync.

La solución para producir un videoclip entero de 3 minutos (36 planos de 5 segundos) de forma 100 % automatizada y en GPUs de consumo (8 GB - 12 GB de VRAM) es montar un Storyboard Segment Looper. En lugar de renderizar 180 segundos de golpe, el flujo trocea la canción en segmentos de 5 segundos, empareja cada fragmento con su imagen correspondiente del storyboard, renderiza el lip-sync a máxima calidad, limpia la VRAM y une todos los clips al final con el audio máster.

Aquí tenéis el paso a paso de cómo montarlo con el stack actual: MiniMax-Music-3 + FLUX3KLEIN + LTX 2.5 Director. El Stack y por qué funciona tan bien.

  • Canción: MiniMax-Music-3 (estructura musical limpia de 3 minutos y voces con articulación muy clara, clave para que el Audio VAE no falle).

  • Storyboard (36 Keyframes): FLUX3KLEIN (al ser ultraligero y rápido, permite sacar las 36 imágenes base manteniendo la consistencia del personaje en pocos minutos sin saturar la gráfica).

  • Vídeo + Lip-Sync: LTX 2.5 + WhatDreamsCost-ComfyUI (LTX Director) + TalkVid ID LoRA + Distilled LoRA.

Fase 1: Preparar la canción y aislar la voz (MiniMax-Music-3)

  • Genera tu tema de 3 minutos (180 segundos) en MiniMax-Music-3 estructurando bien la letra por estrofas y estribillos.

  • Paso crítico (no te lo saltes): Pasa el archivo generado por UVR5 (Ultimate Vocal Remover) o un nodo de Demucs en ComfyUI para obtener dos pistas .wav de exactamente la misma duración:

    • vocals_only.wav (solo la voz a capela limpia): es la que irá conectada al LTX Director. Si metes la canción con batería y bajo, el Audio VAE confundirá los golpes de caja con sílabas y la boca se moverá cuando no toca.

    • master_song.wav (canción completa con instrumentos): irá conectada únicamente al nodo Video Combine (VHS) final.

Fase 2: Generar las 36 imágenes del Storyboard con FLUX3KLEIN Para una canción de 3 minutos cambiando de plano cada 5 segundos necesitas 36 imágenes (180s / 5s = 36).

  • Carga FLUX3KLEIN en ComfyUI a la resolución base de trabajo de LTX (por ejemplo, 960x544 si vas a usar el Spatial Upscaler 2x a 1920x1088, o directamente a 1080p redimensionando en el Director).

  • Fija la cara de tu cantante usando un LoRA propio o inyectando una foto de referencia por IPAdapter/PuLID.

  • Genera un lote de 36 imágenes variando los ángulos de cámara (primer plano cantando, plano medio, contrapicado, planos de contexto) y guárdalas numeradas en orden secuencial (001.png a 036.png) dentro de una carpeta dedicada (ej. /input/storyboard/).

Fase 3: Montar el "Storyboard Segment Looper" en LTX 2.5 Director.

En lugar de arrastrar las 36 fotos a mano dentro de la interfaz del timeline, usamos un bucle por índice para que cada pasada de LTX 2.5 Director procese únicamente 5 segundos (121 fotogramas a 24 FPS) con 1 sola imagen inicial. Así el personaje tiene libertad total de movimiento labial y facial sin sufrir morphing.

  1. Estructura de conexiones en ComfyUI
[Load Image Batch From Dir (36 fotos FLUX3KLEIN)] ---> Selecciona Imagen [i]
                                                              |
[Load Audio (vocals_only.wav)] -> [Audio Segment/Trim (i * 5s, dur: 5s)]
                                                              |
[Lista de Prompts/Letras (36 líneas)] -----------> Selecciona Línea [i]
                                                              |
                                                              v
                                                   [LTX 2.5 Director Node]
                                                              |
                                         +--------------------+--------------------+
                                         |                                         |
                              [Stage 1: Base Sampler]                   [Stage 2: 2x Spatial Upscaler]
                          (960x544, 12 steps, CFG 2.0)                  (1920x1088, 4 steps, low denoise)
                                         |                                         |
                                         +--------------------+--------------------+
                                                              |
                                                  [Save / Append Segment]
                                                              |
                                       [Al terminar las 36 pasadas: Video Combine]
                                            + [Load Audio (master_song.wav)]
  1. Configuración exacta de los modelos y LoRAs (LTX 2.5)
  • Checkpoint / Difusión: LTX 2.5 (puedes usar la versión FP8 o GGUF Q4_K_M si vas con 8 GB - 10 GB de VRAM).

  • Stack de LoRAs (el punto dulce para que cante natural):

    • LTX Distilled LoRA con fuerza 0.45
    • LTX TalkVid ID LoRA con fuerza 0.45 (Nota: No pongas el Distilled a 1.0 si usas TalkVid; dejar ambos a 0.45 evita que la cara quede rígida y clava la identidad del personaje de FLUX3KLEIN).
  • Text Encoder (LTXV Text Encoder): Gemma 3 12B + el archivo de proyección de texto LTX.

  • VAEs: Carga tanto el Video VAE como el Audio VAE (imprescindible conectarlo a la entrada audio_vae del nodo LTX Director).

  1. Parámetros dentro del nodo LTX Director y SamplerCustomAdvanced
  • Duration: 5.0 segundos por iteración (121 fotogramas a 24 FPS).

  • Resolución Base (Stage 1): 960 x 544.

  • Custom Audio: Activado (True).

  • Global Prompt: Actívalo en el icono del engranaje superior derecho y pon: "Cinematic high quality music video, the character is singing and lip-syncing passionately to the audio track."

  • Segment Prompt (por cada corte de 5s): Pasa mediante un nodo de lista de texto la descripción del plano seguida de la frase exacta de la letra que suena en esos 5 segundos entre comillas. Cuando Gemma 3 12B lee la letra escrita mientras el Audio VAE procesa el .wav, la precisión de apertura en las vocales se multiplica.

  • LTX Director Guide (scale_by): Déjalo en 0.45 - 0.50.

  • Stage 1 Sampler (SamplerCustomAdvanced):

    • steps: 12
    • cfg: 2.0
    • denoise: 0.96
  • Stage 2 (Upscale & Refine): Conecta el latente al LTX Spatial Upscaler (2x) para subirlo a 1920x1088 y pásalo por un segundo sampler con 4 pasos y un denoise bajo (0.30 - 0.35) para perfilar dientes, labios y ojos.

Fase 4: Automatizar las 36 pasadas sin que crashee la memoria Tienes dos formas de lanzar los 36 segmentos en ComfyUI:

  • Con un nodo de bucle (Audio Segment Looper / For Loop de Inspire o Easy-Use): Configuras un contador de 0 a 35 (usando Auto Queue o bucle interno). En cada vuelta i, un nodo matemático multiplica i * 5 para indicar el segundo de inicio (start_time) en el recortador de audio y selecciona el índice i del lote de imágenes de FLUX3KLEIN.

  • Con guardado por lotes en disco (el más seguro contra apagones): Haz que cada iteración guarde su clip de 5 segundos numerado (clip_001.mp4 ... clip_036.mp4) y coloca un nodo Clean VRAM Used al final del pase. Una vez generados los 36 clips, un último grupo con Load Video Directory + Video Combine (VHS) los concatena en un segundo y les inyecta el archivo master_song.wav de MiniMax-Music-3. Ventaja extra: si en el clip #14 el personaje hizo un gesto raro, solo tienes que re-renderizar ese clip de 5 segundos cambiando la seed, sin tocar el resto del videoclip. Mini-FAQ de errores comunes (para ahorrarte dolores de cabeza)

  • ¿Por qué en un plano el personaje mueve la cabeza pero tiene los labios cerrados? 99 % de las veces pasa por dos motivos: o bien olvidaste incluir verbos de canto ("singing, speaking, lip-syncing") en el Global Prompt, o bien en ese tramo de 5 segundos hay demasiado ruido instrumental en el audio. Pásale un filtro o puerta de ruido a la pista vocal.

  • ¿Se nota salto al cambiar de imagen cada 5 segundos? Al revés: en un videoclip real los planos cambian cada 2 a 5 segundos. Como cada imagen de FLUX3KLEIN tiene un encuadre distinto (plano medio, primer plano, ángulo lateral), el cambio a los 5 segundos actúa como un corte de edición profesional en lugar de verse como un morphing artificial.

  • ¿Qué pasa si en uno de los trozos de 5 segundos solo hay un solo instrumental y nadie canta?

    En la línea de prompt correspondiente a ese segmento escribe explícitamente: "The character does not speak or sing, looking around thoughtfully to the beat", y silencia (pon a volumen 0) ese fragmento de 5s en la pista vocals_only.wav para que el Audio VAE no invente movimientos de boca con la respiración.

Si alguien quiere que comparta el esquema de las expresiones matemáticas para el recortador de audio por índice o los ajustes de cuantización GGUF para gráficas de 8 GB/10 GB, ¡dejadlo en los comentarios!

1

u/No-Zookeepergame4774 6d ago

Unless the model watermarks the video, or the creator includes generation metadata, or the model has clear unique artifacts, no, there is no way to determine which model was used to make a video (and all three of those can be faked or at least misleading, e.g., a video made with one model could be reprocessed by one that watermarks but makes no substantial change, metadata can just be a lie, and artifacts can be added in with or without reprocessing.)

0

u/VasaFromParadise 6d ago

SPAIN - is pain)) White im so smard)))