二分类逻辑回归

我们定义$p$为类别为1（二分类0，1）的概率，$\ln \frac{p}{1-p}$表示类别为1的概率与类别为0的概率比的对数，当$\ln \frac{p}{1-p}>0$，则为类别1。
$$\begin{gathered} \ln \frac{p}{1-p}=w_0+\sum _i{w}_i{x}_i \\ \frac{p}{1-p}={\exp }^{w_0+{\sum }_i{w}_i{x}_i} \\ p=\frac{{\exp }^{w_0+{\sum }_i{w}_i{x}_i}}{1+{\exp }^{w_0+{\sum }_i{w}_i{x}_i}} \\ =\frac{1}{1+{\exp }^{-}(w_0+{\sum }_i{w}_i{x}_i)} \end{gathered}$$
可以看到最后的standard logistic function是sigmoid function。

多分类逻辑回归

以一个三分类（0，1，2）为例，定义三组二分类逻辑回归的权重$w^0,w^1,w^2$，则定义每个类别概率
$$\begin{gathered} p(y=0)=\frac{{\exp }^{{\sum }_i{w}_i^0{x}_i^0}}{{\sum }_{j=0}^2{\exp }^{w_i^j{x}_i^j}} \\ p(y=1)=\frac{{\exp }^{{\sum }_i{w}_i^1{x}_i^1}}{{\sum }_{j=0}^2{\exp }^{w_i^j{x}_i^j}} \\ p(y=2)=\frac{{\exp }^{{\sum }_i{w}_i^2{x}_i^2}}{{\sum }_{j=0}^2{\exp }^{w_i^j{x}_i^j}} \end{gathered}$$
可以看到最后的standard logistic function是softmax function。