⚙️ Почему не стоит использовать Mean Squared Error (MSE) для многоклассовой классификации

Формально MSE можно применять, сравнивая логиты или вероятности с one-hot разметкой. Но на практике есть серьёзные минусы:
🚩 Слабый градиент: MSE даёт менее прямой сигнал для увеличения вероятности правильного класса и подавления остальных.
🚩 Медленная сходимость: обучение идёт дольше, так как градиенты «размазаны».
🚩 Нет явной вероятностной интерпретации: MSE не напрямую связано с максимизацией правдоподобия.

Кросс-энтропия (Cross-Entropy), напротив:
🚩 Напрямую соответствует задаче максимизации лог-правдоподобия.
🚩 Даёт более информативные градиенты.
🚩 На практике почти всегда сходится быстрее и стабильнее.

🐸 Библиотека собеса по Data Science

💬 Гарантирует ли одна только контейнеризация воспроизводимость результатов

Контейнеризация (Docker, Singularity и т.п.) отлично фиксирует окружение: версии библиотек, драйверы CUDA, системные зависимости.

Но этого недостаточно, если другие факторы не контролируются:
➡️ Данные: если модель тянет «живые» данные без сохранённого среза, результат будет меняться.
➡️ Случайность: без фиксации random seeds итог обучения может отличаться.
➡️ Гиперпараметры и конфигурации: их нужно явно сохранять и версионировать.
➡️ Аппаратное различие: разные GPU/CPU могут давать небольшие численные расхождения из-за особенностей вычислений с плавающей точкой.

🐸 Библиотека собеса по Data Science

⚡️ Какие ограничения у логистической регрессии по сравнению с более гибкими моделями

➡️ Линейность: Logistic regression строит линейное разделение в пространстве признаков. Если границы классов нелинейные, она не справится без ручной трансформации признаков или использования полиномиальных расширений.

➡️ Аддитивность признаков: модель предполагает, что признаки складываются на шкале логарифма шансов (log-odds), что не всегда верно в реальных данных.

➡️ Ограниченная выразительная сила: при неразделимых линейно классах нужна сложная инженерия признаков.

Более гибкие модели (Random Forest, Gradient Boosting, нейросети) умеют:
➡️ захватывать сложные нелинейные зависимости,
➡️ строить более сложные поверхности решений,
➡️ но требуют больше данных и тщательной настройки гиперпараметров.

🐸 Библиотека собеса по Data Science

🔥 Почему для сложных временных рядов иногда предпочтительнее непараметрические модели

🚩 Временные ряды часто содержат нелинейную динамику, сезонность и локальные зависимости, которые сложно описать простой параметрической моделью.

🚩 Непараметрические подходы (например, kernel-based или kNN для временных рядов) адаптируются к локальным структурам без жестких предположений о функциональной форме.

🚩 Они могут точнее уловить локальные паттерны, чем линейные модели или модели с фиксированным законом затухания.

🐸 Библиотека собеса по Data Science

➡️ Нужны ли нам линейные SVM, если kernel SVM более гибкие

Да, нужны.

Линейные SVM активно применяются на практике:
🟠 Скорость и масштабируемость – в задачах с миллионами признаков (например, текстовая классификация) ядровые методы становятся вычислительно слишком тяжёлыми, а линейные SVM обучаются очень быстро.
🟠 Простота – если данные примерно линейно разделимы, то усложнять модель ядром нет смысла.
🟠 Реализация – линейные SVM (coordinate descent, dual coordinate descent) хорошо оптимизированы для работы с огромными датасетами.

🐸 Библиотека собеса по Data Science

☹️ Какие подводные камни и edge-cases встречаются при применении PCA

➡️ Масштабирование признаков — если признаки измеряются в разных единицах и имеют сильно разные масштабы, то компоненты будут доминироваться признаками с высокой дисперсией. Обычно перед PCA данные стандартизируют (mean=0, std=1).

➡️ Линейность метода — PCA работает только с линейными зависимостями. Если данные имеют нелинейную структуру (например, лежат на многообразии), то PCA не уловит её. В таких случаях применяют kernel PCA или manifold learning.

➡️ Интерпретация компонент — хотя PCA и несупервизированный метод, часто возникает соблазн приписывать главным компонентам слишком явный смысл. На деле они могут быть трудны для интерпретации.

➡️ Мало наблюдений — если выборка меньше размерности (N < D), матрица ковариации может оказаться вырожденной. Лучше использовать SVD-реализацию PCA, которая стабильнее.

➡️ Выбор числа компонент — нет универсального правила. Иногда используют порог по объяснённой дисперсии (например, 95%), иногда руководствуются доменной экспертизой или CV на супервизированной задаче.

🐸 Библиотека собеса по Data Science

⭐ Есть ли проблемы с численной стабильностью при использовании Softmax + Cross-Entropy

Да, есть:
⚠️ Переполнение: экспонента больших логитов может давать очень большие числа → floating-point overflow.
⚠️ Недополнение: логарифм очень маленьких вероятностей может привести к underflow.

Как решают:
✅ Сдвиг логитов: вычитаем максимальный логит из всех перед экспонентой — простая и эффективная хитрость.
✅ Комбинированные функции: большинство DL-библиотек используют log-softmax + negative log-likelihood в одном шаге, что обеспечивает стабильные градиенты даже для больших и маленьких логитов.

🐸 Библиотека собеса по Data Science

▫️ В чём разница между LIME и SHAP с точки зрения стабильности объяснений и теоретической основы

Обе методы дают локальные объяснения для отдельных предсказаний.

SHAP:
🤖 Основывается на кооперативной теории игр.
🤖 Гарантирует свойства консистентности и аддитивности: если вклад признака увеличивается во всех возможных комбинациях, его SHAP-значение не уменьшится.
🤖 Обычно даёт более стабильные объяснения между разными запусками.
🤖 Минус: вычислительно затратен, особенно для больших моделей.

LIME:
🤖 Строит локальную линейную аппроксимацию вокруг интересующего примера.
🤖 Объяснения могут различаться при каждом запуске из-за случайной генерации локальных точек.
🤖 Быстрее, но менее теоретически обоснован.

🐸 Библиотека собеса по Data Science

Есть ли уникальные особенности подбора гиперпараметров у параметрических и непараметрических моделей, кроме стандартной кросс-валидации

🔹 Параметрические модели

Обычно гиперпараметров меньше.

Чаще всего настраивают:
➡️ коэффициенты регуляризации (λ в ridge/lasso),
➡️ архитектуру сети (глубина, число нейронов),
➡️ степень полинома.

Важно учитывать взаимодействия гиперпараметров (например, глубина сети + скорость обучения + регуляризация).

🔹 Непараметрические модели

Количество гиперпараметров может быть больше и они сильно влияют на сложность модели.

Примеры:
➡️ число соседей в kNN,
➡️ bandwidth в kernel density estimation,
➡️ глубина деревьев и число признаков в случайных лесах.

Подбор может требовать grid search, random search или Bayesian optimization.

🐸 Библиотека собеса по Data Science

⚠️ Гарантирует ли выпуклость (convexity) лучшую обобщающую способность модели

Нет. Выпуклость гарантирует нахождение глобального минимума функции ошибки на обучающей выборке, но это не означает, что модель будет показывать лучшее обобщение на новых данных.

Даже при идеально решённой оптимизационной задаче:
➡️ возможен оверфиттинг, если модель слишком сложная для задачи;
➡️ возможен андерфиттинг, если модель слишком простая;
➡️ важную роль играют регуляризация, выбор признаков и качество данных.

🐸 Библиотека собеса по Data Science

🚩 Как расширить LSTM для двунаправленной обработки (Bidirectional LSTM)

В двунаправленной LSTM используются два отдельных блока:
➡️ один обрабатывает последовательность вперёд (от начала к концу),
➡️ второй — назад (от конца к началу).

На каждом шаге скрытые состояния обоих направлений объединяются (чаще всего конкатенацией) и формируют итоговое представление.

📌 Это даёт модели доступ к контексту из прошлого и будущего одновременно.

Пример:
➡️ в задачах NLP (классификация текста, распознавание именованных сущностей) двунаправленные LSTM показывают заметный прирост качества,
➡️ механизмы работы с памятью (гейты) остаются теми же, только потоки данных идут в двух направлениях.

🐸 Библиотека собеса по Data Science

✔️ Почему Adam иногда требует меньше подбора гиперпараметров, чем SGD

▶️ Adam автоматически адаптирует шаг обучения на основе статистик градиентов. Это делает его более устойчивым к неудачно выбранным начальными learning rate.

▶️ В случае SGD неправильный выбор learning rate (слишком большой или слишком маленький) может серьёзно замедлить или даже сорвать обучение.
Adam же, благодаря нормализации по второй моментной оценке градиентов, сглаживает такие перекосы и чаще выходит на стабильный режим обучения без тонкой ручной настройки.

🐸 Библиотека собеса по Data Science

👉 Как помогает gradient clipping на практике

Gradient clipping — это приём, который защищает обучение от взрывающихся градиентов (особенно в RNN и LSTM).

Суть: после вычисления градиентов проверяется их общий норм. Если он превышает заданный порог, вектор градиентов масштабируется вниз, чтобы уложиться в лимит.

Это позволяет:
➡️ избежать слишком больших обновлений весов,
➡️ стабилизировать обучение,
➡️ уменьшить риск расхождения оптимизации.

🐸 Библиотека собеса по Data Science