Escriba una frase en su computadora — “un documento colonial peruano restaurado en alta resolución, iluminado por luz de vela” — y en menos de diez segundos aparecera una imagen fotorrealista que nunca antes existió. Ningún fotografo la tomo, ningún diseñador la creo manualmente: fue generada desde cero por un modelo de inteligencia artificial que aprendio a convertir ruido aleatorio en arte. Stable Diffusion, DALL-E 3, Midjourney y Flux producen juntos más de cien millones de imágenes al día en 2026, transformando industrias enteras desde la publicidad hasta la investigación científica.
Pero, como es posible que un algoritmo convierta ruido puro en una imagen coherente? Que matematica hay detrás de este proceso que parece casi mágico? Y por qué esta tecnología es relevante para empresas que, como AyP Digital, se dedican a la digitalización y gestión de documentos?
En este artículo vamos a desmontar pieza por pieza el mecanismo interno de los modelos de difusión. Recorreremos las matemáticas, las arquitecturas neuronales y las innovaciones que hacen posible la generación de imágenes más avanzada de la historia. Lo haremos con rigor técnico pero también con analogias claras, diagramas y fórmulas que le permitirán comprender — de verdad — como funcionan estos sistemas.
La Intuición Detrás de la Difusión
La Idea Central: Aprender a Limpiar
Imagine que le entregan un bloque de marmol y le piden crear una escultura. Usted no construye la escultura anadiendo material; la revela quitando lo que sobra. Los modelos de difusión funcionan con una lógica similar: en lugar de aprender a generar una imagen directamente (algo extremadamente difícil), aprenden a eliminar ruido de una imagen ruidosa paso a paso, hasta que emerge una imagen limpia y coherente.
Esta intuición es profunda: es mucho más fácil aprender a limpiar una imagen ligeramente ruidosa que aprender a crear una imagen desde cero. El truco está en encadenar muchos pasos pequeños de limpieza, cada uno trivialmente simple, para lograr una transformación espectacular en conjunto.
El proceso tiene dos fases complementarias:
- Proceso forward (hacia adelante): Se toma una imagen real y se le añade ruido gaussiano progresivamente, paso a paso, hasta que queda completamente destruida — solo ruido puro.
- Proceso reverse (inverso): Una red neuronal aprende a revertir este proceso, removiendo el ruido paso a paso hasta reconstruir una imagen limpia.
flowchart LR
subgraph FORWARD["PROCESO FORWARD - Destruir"]
direction LR
I0["Imagen original<br/>x0"] --> I1["Poco ruido<br/>x1"]
I1 --> I2["Más ruido<br/>x2"]
I2 --> I3["..."]
I3 --> IT["Ruido puro<br/>xT"]
end
subgraph REVERSE["PROCESO REVERSE - Crear"]
direction LR
RT["Ruido puro<br/>xT"] --> R3["..."]
R3 --> R2["Menos ruido<br/>x2"]
R2 --> R1["Casi limpia<br/>x1"]
R1 --> R0["Imagen generada<br/>x0"]
end
FORWARD -.->|"La red neuronal aprende<br/>a invertir cada paso"| REVERSE
style FORWARD fill:#fce4ec,stroke:#c62828,color:#000000
style REVERSE fill:#e8f5e9,stroke:#2e7d32,color:#000000
La elegancia de este enfoque es que el proceso forward es completamente matematico — no requiere aprendizaje, solo agregar ruido gaussiano con una formula conocida. Todo el aprendizaje se concentra en el proceso reverse, donde la red neuronal debe predecir que ruido se anadio en cada paso para poder eliminarlo.
El Proceso Forward: Destruyendo la Señal
Añadiendo Ruido Paso a Paso
El proceso forward define como destruir gradualmente una imagen real $x_0$ a lo largo de $T$ pasos temporales (típicamente $T = 1000$). En cada paso $t$, se añade una pequeña cantidad de ruido gaussiano controlada por un parámetro $\beta_t$ llamado schedule de ruido:
\[q(x_t \mid x_{t-1}) = \mathcal{N}(x_t;\, \sqrt{1 - \beta_t}\, x_{t-1},\, \beta_t\, I)\]Esta formula dice que $x_t$ se obtiene de $x_{t-1}$ mediante una distribución normal (gaussiana) con:
- Media: $\sqrt{1 - \beta_t}\, x_{t-1}$ — la imagen anterior ligeramente atenuada
- Varianza: $\beta_t\, I$ — ruido fresco proporcional a $\beta_t$
Los valores de $\beta_t$ son pequeños (típicamente entre $10^{-4}$ y $0.02$) y crecen gradualmente. Esto asegura que cada paso individual solo añade un poco de ruido, pero después de 1000 pasos, la imagen original queda completamente destruida.
El Truco de la Reparametrización
Un problema práctico inmediato: si queremos obtener $x_t$ a partir de $x_0$, debemos aplicar $t$ pasos secuenciales de ruido? Eso seria computacionalmente prohibitivo durante el entrenamiento, donde necesitamos acceder a $x_t$ para miles de valores de $t$ diferentes.
Afortunadamente, existe una solución elegante. Definimos:
\[\alpha_t = 1 - \beta_t \qquad \text{y} \qquad \bar{\alpha}_t = \prod_{s=1}^{t} \alpha_s\]Gracias a las propiedades de las distribuciones gaussianas, podemos saltar directamente desde $x_0$ a cualquier $x_t$ en un solo paso usando la reparametrizacion:
\[x_t = \sqrt{\bar{\alpha}_t}\, x_0 + \sqrt{1 - \bar{\alpha}_t}\, \epsilon \qquad \text{donde } \epsilon \sim \mathcal{N}(0, I)\]Esta es una de las fórmulas más importantes de todo el framework. Dice que $x_t$ es simplemente una mezcla ponderada de la imagen original $x_0$ y ruido puro $\epsilon$:
- Cuando $t$ es pequeño, $\bar{\alpha}_t \approx 1$, así que $x_t \approx x_0$ (casi toda la señal original se conserva)
- Cuando $t$ es grande, $\bar{\alpha}_t \approx 0$, así que $x_t \approx \epsilon$ (solo queda ruido)
La relación señal-ruido (SNR) en el paso $t$ se define como:
\[\text{SNR}(t) = \frac{\bar{\alpha}_t}{1 - \bar{\alpha}_t}\]A medida que $t$ crece, el SNR disminuye hasta ser esencialmente cero en $t = T$, lo que confirma que la señal original ha sido completamente destruida.
Schedules de Ruido: Lineal vs Coseno
La elección de como crecen los $\beta_t$ impacta significativamente la calidad de generación. Las dos opciones principales son:
Schedule lineal (DDPM original): $\beta_t$ crece linealmente de $\beta_1 = 10^{-4}$ a $\beta_T = 0.02$. Simple pero suboptimo — destruye demasiada información en los primeros pasos.
Schedule coseno (propuesto por Nichol y Dhariwal, 2021): Usa una función coseno que preserva más señal en los pasos intermedios:
\[\bar{\alpha}_t = \frac{f(t)}{f(0)} \qquad \text{donde } f(t) = \cos\!\left(\frac{t/T + s}{1 + s} \cdot \frac{\pi}{2}\right)^2\]El schedule coseno produce imágenes con más detalles finos y texturas realistas, y es el estándar en la mayoría de modelos modernos.
El Proceso Reverse: Aprendiendo a Crear
Invirtiendo la Destrucción
Si pudieramos invertir el proceso forward — comenzando desde ruido puro $x_T$ y removiendo el ruido paso a paso — obtendriamos una imagen nueva generada desde cero. El proceso reverse se modela como:
\[p_\theta(x_{t-1} \mid x_t) = \mathcal{N}(x_{t-1};\, \mu_\theta(x_t, t),\, \Sigma_\theta(x_t, t))\]Aquí, $\mu_\theta$ y $\Sigma_\theta$ son funciones aprendidas por una red neuronal con parámetros $\theta$. La red recibe la imagen ruidosa $x_t$ y el paso temporal $t$, y predice la media y la varianza de la distribución que debería producir $x_{t-1}$ (un paso menos de ruido).
En la práctica, la varianza $\Sigma_\theta$ generalmente se fija a un valor conocido, y la red solo necesita predecir la media $\mu_\theta$. Pero hay una reformulacion aun más elegante.
Predicción de Ruido: La Clave del Entrenamiento
En lugar de predecir directamente $\mu_\theta(x_t, t)$, Ho et al. (2020) descubrieron que es mucho más efectivo entrenar la red para predecir el ruido $\epsilon$ que fue anadido. La relación entre la media y la predicción de ruido es:
\[\mu_\theta(x_t, t) = \frac{1}{\sqrt{\alpha_t}} \left( x_t - \frac{\beta_t}{\sqrt{1 - \bar{\alpha}_t}}\, \epsilon_\theta(x_t, t) \right)\]Donde $\epsilon_\theta(x_t, t)$ es la predicción de ruido de la red neuronal. La función de pérdida se simplifica de manera espectacular:
\[\mathcal{L}_{\text{simple}} = \mathbb{E}_{t, x_0, \epsilon}\!\left[\left\| \epsilon - \epsilon_\theta(x_t, t) \right\|^2\right]\]Esta es la formula central del entrenamiento de modelos de difusión. Dice: muestrear un paso temporal $t$ aleatorio, crear $x_t$ anadiendo ruido $\epsilon$ a una imagen real $x_0$, y entrenar a la red para predecir exactamente ese ruido. El error cuadratico entre el ruido real y el predicho es la pérdida que se minimiza.
Derivación del ELBO
La justificación teórica de esta función de pérdida proviene del Evidence Lower Bound (ELBO), que conecta los modelos de difusión con la teoría de modelos generativos variacionales. El ELBO descompone la log-verosimilitud negativa en términos tratables:
\[-\log p_\theta(x_0) \leq \underbrace{D_{\text{KL}}(q(x_T|x_0)\, \|\, p(x_T))}_{L_T} + \sum_{t=2}^{T} \underbrace{D_{\text{KL}}(q(x_{t-1}|x_t, x_0)\, \|\, p_\theta(x_{t-1}|x_t))}_{L_{t-1}} - \underbrace{\log p_\theta(x_0|x_1)}_{L_0}\]| El termino $L_T$ es constante (no depende de $\theta$). Los términos $L_{t-1}$ comparan la distribución posterior real $q(x_{t-1} | x_t, x_0)$ con la aproximacion aprendida $p_\theta(x_{t-1} | x_t)$. Minimizar estas divergencias KL es equivalente a minimizar la función de pérdida simplificada que presentamos arriba. |
La belleza de la pérdida simplificada $\mathcal{L}_{\text{simple}}$ es que pondera uniformemente todos los pasos temporales, lo cual empiricamente produce mejores resultados que la ponderacion teoricamente óptima del ELBO.
La Arquitectura U-Net: El Cerebro del Modelo
¿Por Qué U-Net?
La red neuronal que predice el ruido $\epsilon_\theta(x_t, t)$ no es una red cualquiera: es una U-Net, una arquitectura diseñada originalmente para segmentación de imágenes médicas que resulto ser perfecta para los modelos de difusión.
La U-Net tiene forma de “U”: un encoder que comprime la imagen a representaciones de baja resolución, seguido de un decoder que la expande de vuelta a la resolución original. Lo crítico son las conexiones de salto (skip connections) que conectan directamente capas del encoder con capas correspondientes del decoder, preservando detalles finos que de otro modo se perderian.
flowchart TB
subgraph ENCODER["ENCODER - Comprimir"]
direction TB
E1["Conv 64<br/>256x256"] --> E2["Conv 128<br/>128x128"]
E2 --> E3["Conv 256<br/>64x64"]
E3 --> E4["Conv 512<br/>32x32"]
end
subgraph BOTTLENECK["BOTTLENECK"]
B1["Conv 1024<br/>16x16<br/>+ Self-Attention"]
end
subgraph DECODER["DECODER - Expandir"]
direction TB
D4["Conv 512<br/>32x32"] --> D3["Conv 256<br/>64x64"]
D3 --> D2["Conv 128<br/>128x128"]
D2 --> D1["Conv 64<br/>256x256"]
end
E4 --> B1
B1 --> D4
E1 -.->|"Skip Connection"| D1
E2 -.->|"Skip Connection"| D2
E3 -.->|"Skip Connection"| D3
E4 -.->|"Skip Connection"| D4
TE["Time Embedding t"] --> B1
TE --> D4
TE --> D3
TE --> D2
style ENCODER fill:#e8f4f8,stroke:#2D495D,color:#000000
style BOTTLENECK fill:#fff3e0,stroke:#FF9900,color:#000000
style DECODER fill:#e8f5e9,stroke:#2e7d32,color:#000000
Time Embeddings: Saber en Qué Paso Estamos
La U-Net necesita saber en que paso temporal $t$ se encuentra, porque la cantidad de ruido es diferente en cada paso. El paso $t$ se codifica usando embeddings sinusoidales (similares a los embeddings posicionales de los Transformers):
\[\text{TE}(t)_{2i} = \sin\!\left(\frac{t}{10000^{2i/d}}\right) \qquad \text{TE}(t)_{2i+1} = \cos\!\left(\frac{t}{10000^{2i/d}}\right)\]Este embedding se inyecta en cada bloque residual de la U-Net, permitiendole adaptar su comportamiento según la cantidad de ruido presente.
Mecanismo de Atención en la U-Net
Los modelos de difusión modernos incorporan capas de self-attention dentro de la U-Net, especialmente en las resoluciones intermedias y bajas (32x32, 16x16, 8x8). Esto permite que cada píxel “atienda” a todos los demás, capturando relaciones globales en la imagen.
La atención se calcula como:
\[\text{Attention}(Q, K, V) = \text{softmax}\!\left(\frac{QK^T}{\sqrt{d_k}}\right) V\]donde $Q$, $K$ y $V$ se derivan de los feature maps de la imagen. Estas capas de atención son fundamentales para la coherencia global: aseguran que las partes distantes de una imagen sean consistentes entre si (por ejemplo, que las dos manos de una persona tengan el mismo tono de piel).
CLIP y el Poder del Texto: Text-to-Image
De Texto a Imagen: El Gran Salto
Los modelos de difusión puros generan imágenes sin control sobre su contenido — simplemente producen imágenes realistas aleatorias. La verdadera revolución ocurrió cuando se les anadio condicionamiento textual: la capacidad de generar imágenes guiadas por una descripción en lenguaje natural.
El componente clave es CLIP (Contrastive Language-Image Pre-training), un modelo desarrollado por OpenAI que aprendio a relacionar texto e imágenes al ser entrenado con 400 millones de pares imagen-texto de internet.
Cómo Funciona el Condicionamiento
El pipeline text-to-image funciona así:
- El prompt de texto se pasa por el encoder de texto de CLIP (o un encoder T5 en modelos más recientes), produciendo una secuencia de embeddings
- Estos embeddings se inyectan en la U-Net mediante cross-attention: en cada capa de atención, los queries vienen de la imagen y los keys/values vienen del texto
- La U-Net aprende a generar imágenes que sean coherentes con la descripción textual
flowchart LR
subgraph TEXT["PROCESAMIENTO DE TEXTO"]
P["Prompt:<br/>un gato astronauta<br/>en la luna"] --> TOK["Tokenizador"]
TOK --> CLIP["Encoder de Texto<br/>CLIP / T5"]
CLIP --> EMB["Embeddings<br/>de texto"]
end
subgraph DIFUSIÓN["PROCESO DE DIFUSIÓN"]
NOISE["Ruido gaussiano<br/>aleatorio"] --> UNET["U-Net con<br/>Cross-Attention"]
UNET --> STEP["Iteraciones de<br/>denoising<br/>t=T...1"]
STEP --> UNET
end
subgraph SALIDA["DECODIFICACION"]
LAT["Imagen latente<br/>limpia"] --> VAE["VAE<br/>Decoder"]
VAE --> IMG["Imagen final<br/>generada"]
end
EMB -->|"Cross-Attention<br/>en cada paso"| UNET
STEP --> LAT
style TEXT fill:#e8f4f8,stroke:#2D495D,color:#000000
style DIFUSIÓN fill:#fff3e0,stroke:#FF9900,color:#000000
style SALIDA fill:#e8f5e9,stroke:#2e7d32,color:#000000
Classifier-Free Guidance: Amplificando el Texto
Una técnica crucial para obtener imágenes que realmente correspondan al prompt es Classifier-Free Guidance (CFG). Durante el entrenamiento, la U-Net se entrena tanto con condicionamiento textual como sin el (reemplazando el texto por un embedding vacío con cierta probabilidad). En la inferencia, se combinan ambas predicciones:
\[\tilde{\epsilon}_\theta(x_t, c) = \epsilon_\theta(x_t, \varnothing) + s \cdot \left(\epsilon_\theta(x_t, c) - \epsilon_\theta(x_t, \varnothing)\right)\]Donde:
- $\epsilon_\theta(x_t, \varnothing)$ es la predicción sin condicionamiento (incondicional)
- $\epsilon_\theta(x_t, c)$ es la predicción con el texto $c$
- $s$ es la escala de guidance (típicamente entre 7 y 15)
Cuando $s > 1$, el modelo se “aleja” de la predicción incondicional y se acerca más a lo que el texto pide. Valores altos de $s$ producen imágenes más fieles al prompt pero potencialmente menos diversas y con colores más saturados. Valores bajos producen imágenes más naturales pero menos controlables.
Esta formula es sorprendentemente poderosa: permite un control preciso del balance entre calidad, diversidad y fidelidad al texto.
El Espacio Latente: La Innovación de Stable Diffusion
El Problema del Espacio de Píxeles
Los primeros modelos de difusión — como DDPM (2020) y DALL-E 2 (2022) — operaban directamente en el espacio de píxeles. Una imagen de 512x512 píxeles en RGB tiene $512 \times 512 \times 3 = 786{,}432$ dimensiones. Ejecutar 1000 pasos de difusión sobre un tensor de esta dimensión es extremadamente costoso en memoria y cómputo.
Latent Diffusion Models: Trabajar en Pequeño
La solución, propuesta por Rombach et al. (2022) en el artículo que introdujo Stable Diffusion, fue genial: en lugar de hacer la difusión en el espacio de píxeles, hacerla en un espacio latente comprimido.
El enfoque utiliza un Variational Autoencoder (VAE) pre-entrenado:
- Encoder del VAE: Comprime la imagen de $512 \times 512 \times 3$ a un tensor latente de $64 \times 64 \times 4$ — una compresión de 48x en dimensionalidad
- Difusión en espacio latente: Todo el proceso forward y reverse ocurre sobre este tensor compacto
- Decoder del VAE: Convierte el latente limpio de vuelta a una imagen de píxeles
flowchart TB
subgraph PÍXEL["ESPACIO DE PÍXELES"]
IMG_IN["Imagen de entrenamiento<br/>512 x 512 x 3"]
IMG_OUT["Imagen generada<br/>512 x 512 x 3"]
end
subgraph LATENTE["ESPACIO LATENTE"]
direction LR
Z0["Latente limpio<br/>64 x 64 x 4"] --> ZT["Latente ruidoso<br/>64 x 64 x 4"]
ZT --> Z0G["Latente generado<br/>64 x 64 x 4"]
end
subgraph MODELO["COMPONENTES"]
VENC["VAE Encoder<br/>Comprime 48x"]
VDEC["VAE Decoder<br/>Expande 48x"]
UNET2["U-Net + Texto<br/>Difusión en latente"]
end
IMG_IN --> VENC
VENC --> Z0
ZT --> UNET2
UNET2 --> Z0G
Z0G --> VDEC
VDEC --> IMG_OUT
style PÍXEL fill:#e8f4f8,stroke:#2D495D,color:#000000
style LATENTE fill:#fff3e0,stroke:#FF9900,color:#000000
style MODELO fill:#e8f5e9,stroke:#2e7d32,color:#000000
El VAE se entrena con un objetivo que combina reconstrucción y regularización:
\[\mathcal{L}_{\text{VAE}} = \mathbb{E}_{q(z|x)}\!\left[\|x - \hat{x}\|^2\right] + \lambda \cdot D_{\text{KL}}(q(z|x)\, \|\, p(z))\]Donde el primer termino asegura que la imagen reconstruida $\hat{x}$ sea fiel a la original, y el segundo regulariza el espacio latente para que sea suave y continuo.
Comparativa: Espacio de Píxeles vs Espacio Latente
| Característica | Difusión en Píxeles | Difusión Latente (LDM) |
|---|---|---|
| Dimensionalidad | 786,432 (512x512x3) | 16,384 (64x64x4) |
| Compresión | Ninguna | 48x |
| Memoria GPU | 40+ GB | 6-10 GB |
| Tiempo por imagen | 5-15 minutos | 5-30 segundos |
| Calidad | Excelente | Excelente (casi identica) |
| Accesibilidad | Requiere GPU A100/H100 | Funciona en GPU consumer |
| Ejemplos | DALL-E 2, Imagen | Stable Diffusion, SDXL, Flux |
Esta innovación fue transformadora: convirtio la generación de imágenes de un privilegio exclusivo de grandes laboratorios a algo que cualquier persona con una GPU de gama media puede ejecutar en su computadora.
DDPM, DDIM y Schedulers: Controlando la Generación
DDPM: El Algoritmo Original
El Denoising Diffusion Probabilistic Model (DDPM) de Ho et al. (2020) fue el trabajo fundacional. Su proceso de muestreo es estocastico: en cada paso se añade un poco de ruido aleatorio junto con la eliminación de ruido. Esto produce imágenes de alta calidad pero requiere los $T = 1000$ pasos completos, haciendo el muestreo lento.
El paso de muestreo DDPM es:
\[x_{t-1} = \frac{1}{\sqrt{\alpha_t}} \left( x_t - \frac{1 - \alpha_t}{\sqrt{1 - \bar{\alpha}_t}}\, \epsilon_\theta(x_t, t) \right) + \sigma_t\, z\]donde $z \sim \mathcal{N}(0, I)$ y $\sigma_t$ es una varianza predefinida. El termino $\sigma_t z$ es el componente estocastico que añade diversidad.
DDIM: Muestreo Determinista y Rápido
DDIM (Denoising Diffusion Implicit Models) de Song et al. (2020) descubrio que se puede definir un proceso de muestreo determinista que produce resultados equivalentes pero permite usar muchos menos pasos. En lugar de 1000 pasos, DDIM puede producir imágenes de calidad comparable en solo 20-50 pasos.
| El truco es que DDIM define una familia de procesos no-Markovianos que comparten las mismas distribuciones marginales $q(x_t | x_0)$ que DDPM pero permiten saltar pasos. Cuando el parámetro de estocasticidad $\eta = 0$, el proceso se vuelve completamente determinista: el mismo ruido inicial siempre produce la misma imagen. |
DPM-Solver y Schedulers Modernos
Los DPM-Solvers (Lu et al., 2022) llevaron la velocidad al siguiente nivel al reformular el muestreo como la solución de una ecuación diferencial ordinaria (ODE). DPM-Solver++ puede producir imágenes de alta calidad en tan solo 15-20 pasos, una mejora de 50x sobre DDPM original.
| Scheduler | Pasos típicos | Calidad | Velocidad | Determinismo |
|---|---|---|---|---|
| DDPM | 1000 | Excelente | Lenta | Estocastico |
| DDIM | 20-50 | Muy buena | Rápida | Opcional |
| DPM-Solver++ | 15-25 | Excelente | Muy rápida | Configurable |
| Euler Ancestral | 20-30 | Buena | Rápida | Estocastico |
| UniPC | 10-20 | Muy buena | Muy rápida | Determinista |
| Flow Matching | 20-30 | Excelente | Rápida | Determinista |
Los schedulers modernos han convertido la generación de imágenes en un proceso prácticamente interactivo: una imagen de 1024x1024 puede generarse en menos de 2 segundos con hardware actual.
De DALL-E a Stable Diffusion 3: Evolución de los Modelos
La historia de los modelos de difusión es una de las evoluciones más rápidas en la historia de la tecnología. En menos de cinco años, pasamos de imágenes borrosas y distorsionadas a generaciones fotorrealistas indistinguibles de fotografías reales.
flowchart TB
subgraph GEN1["2020-2021: Fundaciones"]
A1["DDPM<br/>Ho et al. 2020<br/>Primer modelo funcional"]
A2["DALL-E 1<br/>OpenAI 2021<br/>VAE discreto + Transformer"]
end
subgraph GEN2["2022: Explosión"]
B1["DALL-E 2<br/>Abril 2022<br/>CLIP + Difusión"]
B2["Imagen<br/>Google 2022<br/>Cascaded diffusion"]
B3["Stable Diffusion 1.x<br/>Agosto 2022<br/>LDM, Open Source"]
B4["Midjourney v3-v4<br/>2022<br/>Calidad artistica"]
end
subgraph GEN3["2023: Maduración"]
C1["SDXL<br/>Julio 2023<br/>1024px, dos U-Nets"]
C2["Midjourney v5-v6<br/>2023<br/>Fotorrealismo"]
C3["DALL-E 3<br/>Oct 2023<br/>Mejor texto y prompts"]
end
subgraph GEN4["2024-2026: Nueva Era"]
D1["Stable Diffusion 3<br/>Feb 2024<br/>DiT, Flow Matching"]
D2["Flux.1<br/>Ago 2024<br/>Black Forest Labs"]
D3["Ideogram 2.0<br/>2024-2025<br/>Texto en imágenes"]
D4["Modelos de video<br/>Sora, Runway Gen-3<br/>2024-2026"]
end
GEN1 --> GEN2
GEN2 --> GEN3
GEN3 --> GEN4
style GEN1 fill:#e8f4f8,stroke:#2D495D,color:#000000
style GEN2 fill:#fff3e0,stroke:#FF9900,color:#000000
style GEN3 fill:#e8f5e9,stroke:#2e7d32,color:#000000
style GEN4 fill:#f3e5f5,stroke:#6a1b9a,color:#000000
Hitos Clave
DALL-E 1 (enero 2021) fue el primer sistema capaz de generar imágenes desde texto a gran escala. Utilizaba un enfoque radicalmente diferente a la difusión: un VAE discreto que tokenizaba imágenes, seguido de un Transformer autoregresivo que generaba tokens de imagen condicionados en tokens de texto. Las imágenes eran creativas pero de baja resolución y calidad limitada.
DALL-E 2 (abril 2022) cambio completamente de arquitectura, adoptando difusión con condicionamiento CLIP. Introdujo la generación en cascada (primero 64x64, luego upscale a 256x256, finalmente 1024x1024) y produjo resultados notablemente mejores.
Stable Diffusion 1.x (agosto 2022) fue el punto de inflexión. Stability AI publico el modelo como open source, democratizando el acceso a la generación de imágenes. Su innovación clave fue la difusión en espacio latente (LDM), que redujo dramáticamente los requisitos de hardware. Millones de personas comenzaron a generar imágenes en sus computadoras personales.
SDXL (julio 2023) duplico la resolución nativa a 1024x1024, introdujo un pipeline de dos etapas con dos U-Nets, y mejoro significativamente la comprensión de prompts y la calidad general.
DALL-E 3 (octubre 2023) ataco el problema más persistente de los modelos: la mala comprensión de prompts complejos. OpenAI entreno un modelo de captioning que genero descripciones extremadamente detalladas para las imágenes de entrenamiento, produciendo un modelo que finalmente entendia composiciones espaciales, conteo de objetos y texto dentro de imágenes.
Stable Diffusion 3 y Flux (2024) representan la transición arquitectónica más importante desde el DDPM original: reemplazaron la U-Net por Diffusion Transformers (DiT) y adoptaron flow matching en lugar del framework DDPM clásico. El flow matching define un transporte óptimo entre la distribución de ruido y la distribución de datos, simplificando el entrenamiento y mejorando la calidad:
\[\frac{dx_t}{dt} = v_\theta(x_t, t) \qquad \text{donde } x_t = (1-t)\, x_0 + t\, \epsilon\]La red aprende un campo vectorial $v_\theta$ que transporta muestras de la distribución de ruido a la distribución de datos a lo largo de trayectorias rectas.
Técnicas Avanzadas
ControlNet: Control Preciso de la Generación
ControlNet (Zhang et al., 2023) fue una innovación que transformo los modelos de difusión de juguetes creativos en herramientas de producción. Permite condicionar la generación no solo en texto sino en señales espaciales adicionales: poses humanas, mapas de profundidad, bordes detectados, mapas de segmentación, entre otros.
flowchart TB
subgraph INPUTS["ENTRADAS"]
PROMPT["Prompt de texto"]
CTRL["Imagen de control<br/>Pose / Bordes / Profundidad"]
end
subgraph PROCESAMIENTO["PROCESAMIENTO"]
CNET["ControlNet<br/>Copia de U-Net encoder<br/>congelada + adaptadores"]
UNET3["U-Net principal<br/>Modelo de difusión"]
CLIP2["CLIP Encoder"]
end
subgraph RESULTADO["RESULTADO"]
GEN["Imagen generada<br/>respetando la estructura<br/>de control"]
end
PROMPT --> CLIP2
CLIP2 --> UNET3
CTRL --> CNET
CNET -->|"Inyeccion de features<br/>via zero convolutions"| UNET3
UNET3 --> GEN
style INPUTS fill:#e8f4f8,stroke:#2D495D,color:#000000
style PROCESAMIENTO fill:#fff3e0,stroke:#FF9900,color:#000000
style RESULTADO fill:#e8f5e9,stroke:#2e7d32,color:#000000
ControlNet funciona creando una copia del encoder de la U-Net que procesa la imagen de control, y luego inyecta sus features en la U-Net principal a través de “zero convolutions” — capas convolucionales inicializadas a cero que gradualmente aprenden a integrar la información de control sin destruir las capacidades pre-entrenadas del modelo.
LoRA: Fine-Tuning Accesible
LoRA (Low-Rank Adaptation) permite adaptar modelos de difusión a estilos o dominios específicos con un costo mínimo. En lugar de actualizar todos los parámetros de la U-Net (cientos de millones), LoRA añade pequeñas matrices de bajo rango a las capas de atención:
\[W' = W + \Delta W = W + BA\]Donde $B \in \mathbb{R}^{m \times r}$ y $A \in \mathbb{R}^{r \times n}$ con $r \ll \min(m, n)$. Un LoRA típico tiene solo 10-100 MB frente a los 2-6 GB del modelo completo, y puede entrenarse en minutos con una sola GPU consumer.
Las aplicaciones de LoRA incluyen:
- Estilos artisticos: Entrenar con obras de un artista específico
- Dominios especializados: Adaptar a imágenes médicas, satelitales o documentales
- Personajes y objetos: Generar un sujeto específico en cualquier contexto
- Conceptos abstractos: Ensenar al modelo estilos de iluminacion, composición o atmosfera
Otras Técnicas Esenciales
img2img (Image-to-Image): En lugar de partir de ruido puro, se comienza con una imagen existente parcialmente ruidificada. Controlando cuánto ruido se añade (parámetro de “fuerza”), se puede transformar una imagen preservando su estructura general pero cambiando estilo, detalles o contenido.
Inpainting: Se enmascarar una región de la imagen y el modelo regenera solo esa área, manteniendo perfecta coherencia con el contexto circundante. Fundamental para edición fotográfica y restauración.
Outpainting: Similar al inpainting pero extendiendo la imagen más allá de sus bordes originales, generando contenido nuevo que se integra naturalmente con la imagen existente.
IP-Adapter (Image Prompt Adapter): Permite usar imágenes como parte del prompt, no solo texto. El modelo puede generar imágenes que combinan el contenido de una imagen de referencia con una descripción textual, habilitando transferencia de estilo y composición visual avanzada.
Aplicaciones Empresariales en Gestión Documental
Los modelos de difusión no son solo herramientas creativas. Para empresas dedicadas a la digitalización y gestión documental, como AyP Digital, estas tecnologías abren posibilidades concretas y de alto impacto.
Restauración y Mejora de Documentos Escaneados
Los modelos de difusión pueden actuar como sistemas de super-resolución y restauración para documentos históricos o escaneados con baja calidad. A diferencia de los filtros tradicionales, un modelo de difusión entrenado en pares de documentos degradados y limpios puede:
- Aumentar la resolución de escaneos de 150 DPI a 600 DPI con detalles coherentes
- Eliminar manchas, pliegues y artefactos preservando el texto y las firmas
- Reconstruir secciones danadas del documento usando el contexto circundante (inpainting documental)
- Mejorar el contraste de documentos con tinta desvanecida
Generación de Datos Sintéticos para Entrenamiento de OCR
Uno de los mayores desafíos del OCR es obtener datos de entrenamiento suficientes para formatos de documentos específicos. Los modelos de difusión pueden generar documentos sintéticos realistas que sirven para entrenar y mejorar los sistemas de reconocimiento:
- Facturas con diferentes formatos, tipografías y degradaciones
- Documentos manuscritos con variaciones de caligrafía
- Sellos, firmas y membretes con estilos diversos
- Documentos con arrugas, manchas y desgaste simulados
flowchart LR
subgraph GEN_DATOS["GENERACIÓN DE DATOS"]
T1["Prompt:<br/>factura peruana<br/>con sello y firma"]
T1 --> DIF["Modelo de<br/>Difusión"]
DIF --> SYN["Documentos<br/>sintéticos<br/>realistas"]
end
subgraph ENTRENAMIENTO["ENTRENAMIENTO OCR"]
SYN --> DATOS["Dataset<br/>ampliado"]
REAL["Documentos<br/>reales"] --> DATOS
DATOS --> OCR2["Modelo OCR<br/>mejorado"]
end
subgraph PRODUCCIÓN["PRODUCCIÓN"]
DOC_REAL["Documentos<br/>a digitalizar"] --> OCR2
OCR2 --> RESULTADO2["Texto extraído<br/>con mayor<br/>precisión"]
end
style GEN_DATOS fill:#e8f4f8,stroke:#2D495D,color:#000000
style ENTRENAMIENTO fill:#fff3e0,stroke:#FF9900,color:#000000
style PRODUCCIÓN fill:#e8f5e9,stroke:#2e7d32,color:#000000
Generación de Plantillas Documentales
Los modelos de difusión pueden generar plantillas y borradores visuales de documentos para estandarización empresarial, creando propuestas de layout, formatos de formularios y diseños de comprobantes que se ajusten a normativas específicas.
Aumento de Datos para Clasificación Documental
Cuando una organización tiene pocas muestras de cierta categoría documental (por ejemplo, un tipo raro de resolución administrativa), los modelos de difusión pueden generar variaciones realistas que aumentan el dataset de entrenamiento para clasificadores automáticos, mejorando su precisión con categorias infrecuentes.
El Futuro: Tendencias 2026-2027
Difusión de Video: La Próxima Frontera
La extensión de los modelos de difusión a video es la frontera más activa de investigación. Modelos como Sora (OpenAI), Runway Gen-3, Kling (Kuaishou) y Veo 2 (Google DeepMind) pueden generar clips de video de hasta un minuto con calidad cinematografica desde una descripción textual.
La arquitectura típica extiende los Diffusion Transformers a tres dimensiones: ancho x alto x tiempo. Los principales desafíos son:
- Consistencia temporal: Mantener la identidad de objetos y personajes a lo largo del video
- Física realista: Simular movimiento, gravedad, fluidos y colisiones de forma creible
- Costo computacional: Un solo video puede requerir 10-100x más cómputo que una imagen
- Duración: Escalar de segundos a minutos manteniendo coherencia narrativa
Generación 3D
Modelos como Point-E, Shap-E (OpenAI), DreamFusion (Google) y Meshy están llevando la difusión al espacio tridimensional, generando objetos 3D, texturas y escenas completas desde texto o imágenes. Las aplicaciones van desde videojuegos y realidad virtual hasta simulación industrial y diseno de productos.
Generación en Tiempo Real
Los Consistency Models (Song et al., 2023) y la Latent Consistency Model (LCM) han logrado reducir el muestreo a 1-4 pasos, permitiendo generación de imágenes en tiempo real (menos de 100 milisegundos). Esto habilita aplicaciones interactivas como:
- Dibujo asistido por IA en tiempo real
- Previsualizacion instantánea de diseños
- Filtros de camara con efectos de difusión en vivo
- Edición de imágenes interactiva con retroalimentación inmediata
Flow Matching y Rectified Flows
El flow matching está emergiendo como el sucesor natural del framework DDPM. En lugar de definir procesos de difusión complejos, el flow matching aprende un transporte óptimo directo entre la distribución de datos y la distribución de ruido. Las ventajas incluyen:
- Entrenamiento más estable y rápido
- Muestreo con menos pasos
- Mejor calidad a igual cómputo
- Formulación matematica más limpia
Stable Diffusion 3 y Flux ya utilizan flow matching, y se espera que se convierta en el paradigma dominante para 2027.
IA Generativa para Documentos
Una tendencia específicamente relevante para la gestión documental es el uso de modelos de difusión y generativos para:
- Reconstrucción de documentos históricos: Restaurar automáticamente documentos dañados, incluyendo páginas parcialmente destruidas
- Traducción visual de documentos: Generar versiones de documentos en diferentes idiomas manteniendo el formato original
- Accesibilidad: Convertir documentos complejos en formatos accesibles con visualizaciones generadas por IA
- Verificación de autenticidad: Entrenar detectores que distingan documentos reales de falsificaciones generadas por IA
Preguntas Frecuentes
¿Qué es un modelo de difusión en términos simples?
Un modelo de difusión es un tipo de inteligencia artificial que aprende a generar imágenes (u otros datos) mediante un proceso de dos pasos: primero, aprende como se ve una imagen cuando se le añade ruido gradualmente hasta destruirla; luego, aprende a invertir ese proceso, partiendo de ruido puro y eliminandolo paso a paso hasta obtener una imagen nueva y coherente. Es como aprender a limpiar una fotografía ruidosa, pero tan bien que puede crear fotografías nuevas desde cero.
¿Cuál es la diferencia entre Stable Diffusion, DALL-E y Midjourney?
Los tres son modelos de generación de imágenes basados en difusión, pero difieren en arquitectura y acceso. Stable Diffusion es open source y funciona en su propia computadora, usa difusión en espacio latente (LDM). DALL-E 3 es de OpenAI, accesible via API y ChatGPT, con excelente comprensión de prompts complejos. Midjourney es un servicio comercial accesible via Discord y web, reconocido por su calidad artistica excepcional. En 2024-2026, Stable Diffusion 3 y Flux han adoptado la arquitectura DiT (Diffusion Transformer), mientras que los tres continuan mejorando en calidad y velocidad.
¿Necesito una GPU potente para usar modelos de difusión?
Depende del modelo. Stable Diffusion 1.5 puede funcionar en GPUs con 4 GB de VRAM. SDXL requiere al menos 8 GB. Los modelos más recientes como Flux necesitan 12-16 GB para resultados optimos. Con técnicas de cuantizacion y optimización, es posible ejecutar modelos en hardware cada vez más accesible. Servicios en la nube como Replicate, RunPod o las APIs de OpenAI y Stability AI eliminan la necesidad de hardware propio.
¿Los modelos de difusión pueden generar texto legible dentro de las imágenes?
Históricamente, esta fue una de las mayores debilidades: los modelos producian texto ilegible o sin sentido. DALL-E 3 fue el primer modelo en abordar esto seriamente mediante entrenamiento con captions extremadamente detallados. Modelos como Ideogram 2.0, Flux y las versiones más recientes de Midjourney han mejorado significativamente en este aspecto, aunque la generación de texto largo sigue siendo desafiante.
¿Qué es el espacio latente y por qué es importante?
El espacio latente es una representación comprimida de los datos de imagen. En lugar de trabajar con los millones de píxeles de una imagen directamente, un autoencoder comprime la imagen a un espacio de menor dimensión que captura su esencia. La difusión en este espacio comprimido es 48 veces más eficiente computacionalmente, lo que permitio que Stable Diffusion funcionara en GPUs de consumo en lugar de requerir hardware de datacenter.
¿Cómo afectan los modelos de difusión a la gestión documental?
Los modelos de difusión tienen aplicaciones concretas en gestión documental: restauración y mejora de documentos escaneados con baja calidad, super-resolución de escaneos de baja DPI, generación de datos sintéticos para entrenar mejores sistemas de OCR, y detección de falsificaciones documentales. En AyP Digital, exploramos estas tecnologías para ofrecer digitalización de mayor calidad y precisión.
¿Es legal usar imágenes generadas por IA en contextos empresariales?
La situación legal está en evolución. En la mayoría de jurisdicciones, incluido Perú, las imágenes generadas por IA pueden usarse comercialmente, pero no pueden registrarse como propiedad intelectual del usuario (ya que no hay “autor humano” según la legislación actual). Es importante verificar los términos de servicio del modelo utilizado: algunos, como Midjourney y DALL-E, otorgan derechos comerciales a los usuarios de sus planes de pago. Para documentos oficiales, se recomienda siempre usar imágenes reales o claramente identificar el contenido generado por IA.
Conclusión
Los modelos de difusión representan una de las ideas más elegantes de la inteligencia artificial moderna: convertir el problema difícil de la generación en el problema más simple de la eliminación de ruido. Detrás de cada imagen generada por Stable Diffusion o DALL-E hay una danza precisa entre matemáticas — el proceso forward gaussiano, la reparametrizacion, la predicción de ruido — y arquitectura neuronal — la U-Net con atención, el encoder CLIP, el VAE latente.
| Hemos recorrido todo el stack: desde la formula del proceso forward $q(x_t | x_{t-1})$ hasta la función de pérdida simplificada $|\epsilon - \epsilon_\theta|^2$, desde la estructura de la U-Net hasta el Classifier-Free Guidance que permite controlar la generación con texto. Hemos visto como la difusión en espacio latente democratizo el acceso a estas herramientas, como ControlNet y LoRA anadieron control y personalización, y como la evolución hacia DiT y flow matching está definiendo la próxima generación de modelos. |
Para las organizaciones que gestionan grandes volúmenes de documentos, estas tecnologías no son curiosidades académicas: son herramientas prácticas para mejorar la calidad de la digitalización, generar datos de entrenamiento para OCR, restaurar documentos históricos y construir pipelines de procesamiento más robustos.
El campo avanza a una velocidad vertiginosa. Los modelos de video, la generación 3D y la inferencia en tiempo real están transformando lo que es posible. Las organizaciones que comprendan estos fundamentos — la matematica, las arquitecturas, las posibilidades y las limitaciones — estarán mejor preparadas para aprovechar cada nueva generación de modelos generativos.
En AyP Digital combinamos tecnología de inteligencia artificial con experiencia en gestión documental para transformar como las organizaciones peruanas procesan, almacenan y consultan su información. Desde OCR inteligente hasta restauración de documentos con IA generativa, implementamos soluciones que generan retorno de inversión medible.
Desea explorar como la IA generativa puede mejorar la gestión documental de su organización? Contáctenos para una evaluación personalizada.
Teléfono: +51 942 867 653 Email: ventas@aypdigital.com
