9.3 Estimación de Parámetros
Si \(Y\) es una variable binaria, la regresión logística es tal que:
\[ \mathbb{P}(Y=1 \mid \mathbf{x})=\frac{e^{\beta_{0}+\sum_{k=1}^{K} \beta_{k} x_{k}}}{1+e^{\beta_{0}+\sum_{k=1}^{K} \beta_{k} x_{k}}} \]
-
\(\beta_k\) es el coeficientes de regresión parcial del predictor \(x_k.\)
-
Indica el cambio medio del logaritmo de odds al incrementar en una unidad la variable \(x_k,\) manteniendo constantes el resto de variables.
-
Por cada unidad que se incrementa \(x_k,\), los odds se multiplican por \(exp(\beta_k).\)
Los parámetros \(\boldsymbol{\beta}=\{\beta_{0}, \beta_{1},\ldots, \beta_{K}\}\) se estiman mediante el método de Máxima Verosimilitud.
Es decir, para estimar los coeficientes de una regresión logística se utilizan algoritmos numéricos para maximizar la función:
\[
\begin{aligned}
L(y ;(\mathbf{x}, \boldsymbol{\beta})) &=\prod_{i=1}^{n}\left(\mathbb{P}\left(Y_{i}=1 \mid \mathbf{x}_{i}, \boldsymbol{\beta}\right)\right)^{y_{i}}\left(1-\mathbb{P}\left(Y_{i}=1 \mid \mathbf{x}_{i}, \boldsymbol{\beta}\right)\right)^{1-y_{i}} \\
& \prod_{i=1}^{n}\left(\frac{e^{\beta_{0}+\sum_{k=1}^{K} \beta_{k} x_{i, k}}}{1+e^{\beta_{0}+\sum_{k=1}^{K} \beta_{k} x_{k, i}}}\right)^{y_{i}}\left(\frac{1}{1+e^{\beta_{0}+\sum_{k=1}^{K} \beta_{k} x_{i, k}}}\right)^{1-y_{i}}
\end{aligned}
\]
\(\beta_0\) es el valor esperado del logaritmo de odds cuando todos los predictores son cero. Puede transformarse a probabilidad con \(\exp(\beta_0)/(1+\exp(\beta_0))\). El resultado corresponde a la probabilidad esperada de pertenecer a la clase 1 cuando todos los predictores son cero.
Los parámetros \(\beta_{k}\) indican el cambio en el \(\log \left ( \dfrac{\pi}{1-\pi} \right)\) causado por el cambio en una unidad en el valor de \(x_{k}\), mientras que los \(\exp(\beta_{k})\) definen el cambio en la razón de probabilidades, \((\dfrac{\pi}{1-\pi}),\) causado por el cambio en una unidad en el valor de \(x_{k}.\)
Si \(\beta_{k}\) es positivo, \(\exp(\beta_{k})\) será mayor que 1, es decir, \(\dfrac{\pi}{1-\pi}\) se incrementará.
Si \(\beta_{k}\) es negativo, \(\exp(\beta_{k})\) será menor que 1, y \(\dfrac{\pi}{1-\pi}\) disminuirá.
El cambio en la probabilidad \(\pi\) causado por el cambio en una unidad en el valor de \(x_{k}\) es \(\beta_{k}\left(\dfrac{\pi}{1-\pi}\right),\) es decir, depende no sólo del coeficiente, sino también del nivel de probabilidad a partir del cual se mide el cambio.
Dado que la relación entre \(\mathbb{P}(Y=1)\) y \(\mathbf{x}\) no es lineal, los coeficientes de regresión \(\beta_k\) no representan el cambio en la probabilidad de \(Y\) asociado con el incremento en una unidad de \(x_k\).
Cuánto se incremente la probabilidad de \(Y\) por unidad de \(x_k\) depende del valor de \(x_k\) , es decir, de la posición en la curva logística en la que se encuentre.
Esta es una diferencia muy importante respecto a la interpretación de los coeficientes de un modelo de regresión lineal.