- вступление
- Краткий обзор линейной регрессии
- Что такое логистическая регрессия
- Почему логистическая регрессия эффективна
- Как интерпретировать логистическую регрессию
- Заключение
вступление
Прежде чем углубляться в логистическую регрессию, давайте рассмотрим формулы линейной регрессии и логистической регрессии.
На графике выше мы можем видеть, что логистическая регрессия использует выходные данные линейной регрессии в качестве входных данных для сигмовидной функции. Прежде чем мы перейдем к логистической регрессии, давайте кратко вспомним, что такое линейная регрессия:
Краткий обзор — линейная регрессия
Линейная регрессия используется для прогнозирования непрерывного числового результата на основе входных функций. Он предполагает линейную связь между входными функциями и выходными данными. Уравнение модели в линейной регрессии имеет вид:
где:
- y — непрерывный выход.
- x1,x2,…,xn — входные объекты.
- β0,β1,…,βn — коэффициенты, подлежащие оценке.
- ε представляет собой ошибку.
Более подробную информацию о линейной регрессии я объясню в другой статье. Прямо сейчас давайте подробно рассмотрим, чем логистическая регрессия отличается от линейной регрессии и как она связана с ней.
Что такое логистическая регрессия
С другой стороны, логистическая регрессия используется для бинарной классификации, которая предполагает прогнозирование одного из двух классов (0 или 1). Хотя это и называется «регрессией», оно не позволяет напрямую прогнозировать непрерывный результат. Вместо этого он моделирует вероятность того, что данный вход принадлежит определенному классу. Модель логистической регрессии использует логистическую функцию (также называемую сигмовидной функцией) для преобразования линейной комбинации входных функций:
где P(y=1∣x) — вероятность того, что выходной сигнал равен 1 с учетом входных функций.
В логистической регрессии:
- Линейная комбинация β0+β1x1+β2x2+…+βnxn часто называют «логитом».
- Логистическая функция 1/(1+e^(-logit)) преобразует логит в значение вероятности от 0 до 1.
Функция logit отображает y как сигмовидную функцию x. Итак, хотя логистическая регрессия использует концепцию линейной комбинации входных функций, такую как линейная регрессия, преобразование с помощью логистической функции фундаментально меняет ее цель и характеристики, что делает ее подходящей для задач двоичной классификации.
Почему логистическая регрессия эффективна
- Интерпретируемость. Логистическая регрессия дает интерпретируемые результаты, позволяя понять влияние каждой предикторной переменной на вероятность бинарного результата. Коэффициенты переменных-предсказателей дают представление о направлении и величине их воздействия.
- Оценка вероятности. Модели логистической регрессии напрямую оценивают вероятность двоичного результата, что полезно, когда вам нужно оценить вероятность возникновения события.
- Эффективность. Логистическая регрессия эффективна в вычислительном отношении и может обрабатывать большое количество переменных-предикторов. Он не требует сложных вычислений по сравнению с некоторыми другими алгоритмами машинного обучения.
Как интерпретировать логистическую регрессию
- Интерпретация вывода
Сигмоидальная функция будет отображать выходное целевое значение как вероятность в пределах [0, 1], которую мы можем использовать для простой двоичной классификации. Например: P(y=1|x) > 0,5, затем прогнозируем y как 1. И наоборот, P(y=0|x) ‹ 0,5, затем прогнозируем y как 0.
- Коэффициент интерпретации
Из Python/R мы можем легко распечатать сводную информацию логистической регрессии, чтобы увидеть коэффициент и их значения p, чтобы увидеть, значимы они или нет. И да, будьте осторожны с интерпретацией, если присутствует мультиколлинеарность, поскольку она может повлиять на стабильность и интерпретируемость коэффициентов.
Заключение
В заключение отметим, что логистическая регрессия — это мощный и универсальный метод в области машинного обучения. Он отличается от линейной регрессии тем, что ориентирован на бинарную классификацию, цель которой — предсказать один из двух классов (0 или 1). В отличие от линейной регрессии, которая прогнозирует непрерывный числовой результат, логистическая регрессия моделирует вероятность того, что данные входные данные принадлежат определенному классу.
В целом, сочетание интерпретируемости, оценки вероятности и вычислительной эффективности логистической регрессии делает ее ценным инструментом для различных задач двоичной классификации. Понимая механику и элементы интерпретации логистической регрессии, вы можете использовать ее возможности для принятия обоснованных решений в приложениях, управляемых данными.
Ссылка:
