🔎 Влияет ли выбор оптимизатора (SGD, Momentum, Adam) на стратегию планирования learning rate

Да, оптимизатор определяет, какой тип scheduler лучше работает:
🔹 Чистый SGD: очень чувствителен к величине шага. Часто применяют ступенчатое или постоянное убывание.
🔹 SGD с momentum / Nesterov: за счёт сглаживания колебаний позволяет использовать более агрессивные схемы — например, экспоненциальный decay.
🔹 Adam / RMSProp: хотя они адаптируют шаг для каждого параметра, глобальный learning rate всё равно важен. Обычно применяют полиномиальные или экспоненциальные schedules, но стартовое значение LR берут меньше, чем для SGD.

🐸 Библиотека собеса по Data Science