Вопросы и ответы по машинному обучению

Вопросы

Эти вопросы могут быть полезны для проверки понимания основ машинного обучения. Вопросы можно использовать для самопроверки или в качестве материала для обсуждения.

  1. К чему обычно применяется предположение i.i.d. (независимые одинаково распределенные)?
  2. Изменятся ли предсказания алгоритма kNN, если один из признаков (цены в рублях) перевести в евро, при прочих равных?
  3. Какой способ регуляризации в линейной регрессии имеет тенденцию к "отбору признаков"?
  4. Как выглядит аналитическое решение линейной регрессии с ошибкой MSE?
  5. К чему приведет домножение всех значений признаков в обучающей выборке на 10 для различных вариантов линейных моделей (MSE, MAE, с L2-регуляризацией)?
  6. После обучения на очень большой выборке линейная регрессия (в режиме inference) работает быстрее или медленнее kNN?
  7. Для каких моделей могут быть полезны методы L1 и L2 регуляризации?
  8. Какие утверждения о логистической регрессии верны?
  9. Что предсказывает решающее дерево в задаче регрессии в каждом листе?
  10. Как решающие деревья обрабатывают пропуски в данных?
  11. Повлияет ли добавление большого количества признаков, скоррелированных с уже существующим, на процесс построения ансамбля типа бустинга из деревьев?
  12. Что позволяет получить бустинг над линейными регрессиями?
  13. Какое требование к функции потерь предъявляет градиентный бустинг?
  14. Какие существуют основные типы признаков и виды задач в машинном обучении?
  15. Как выбор метрики расстояния влияет на kNN и в чем суть метода FRiS?
  16. В чем преимущества и недостатки градиентного спуска по сравнению с аналитическим решением регрессии?
  17. Как Momentum и использование batch помогают в градиентном спуске?
  18. Как именно L1 и L2 регуляризация меняют формулу обновления весов?
  19. Что такое margin (отступ) в контексте логистической регрессии?
  20. Как интерпретировать Confusion Matrix и когда стоит использовать Precision/Recall вместо Accuracy?
  21. Как рассчитываются энтропия и критерий Джини в вершинах решающего дерева?
  22. Что такое Bias-Variance trade-off и как он связан с переобучением?
  23. За счет чего Bagging и Random Forest уменьшают разброс (variance) ошибки?
  24. Опишите общий алгоритм построения композиции в градиентном бустинге.
  25. Как применяется Chain rule в методе обратного распространения ошибки?
  26. В чем отличия продвинутых оптимизаторов (Adam, RMSProp) от стандартного SGD?
  27. Какие существуют методы регуляризации и улучшения сходимости для нейронных сетей (Dropout, Batch Norm и др.)?