线性回归之所以不适合解决分类问题,是因为因变量y的取值范围是全体实数,而我们需要的因变量是介于0和1之间的数。sigmoid函数的引入刚好解决了这个问题,从φ(z)的表达式可以看出, $\phi ( z )$ 这个函数将全体实数集映射到(0,1)这个区间。这样因变量y就被定在了(0,1)这个区间。虽然和我们想要的两点分布形式有差别,但(0,1)区间让我们想到什么?概率。
因变量y在这里表示样本属于类别1的概率。y越接近1,这一条样本属于类别1的可能性越高;y越接近0,则它属于类别0的可能性越高。因此,我们可以设定一个临界值,比如0.5,对于每一个x,在计算得到的y值大于0.5时,归为类别1,在y值小于等于0.5时,归为类别0。
逻辑回归还有另一种书写形式,该形式保留线性回归模型中等号右边的形式,并在左边对y加一个连接函数:
$$
{ \mathrm { l o g i t ( y ) } } = a 0 + { \mathrm { a l x l } } + a 2 { \mathrm { x } } 2 + \ldots + { \mathrm { a m x m } }
$$
这里 $\scriptstyle \log \mathrm { i t } ( \mathbf { y } ) = \log ( \mathbf { \mu } \mathbf { y } / ( 1 - \mathbf { y } ) )$ 。通过数学推导,可以证明两种形式是等价的。
这个模型具体是怎么运作的呢?同线性回归一样,上述公式描述了y与x之间的客观关系。x是自变量,而y是因变量。逻辑模型告诉我们y与x之间存在这样一种形式的约束关系,但模型中的参数未知,需要我们去估计。该模型中的参数与线性回归的参数相同,即$\mathrm { a 0 , a 1 , \ldots , a m }$ 。这个模型参数一般用极大似然估计来求解。
在进行预测时,我们可以使用(2)式。计算好参数之后,我们就可以按照(2)式的法则由给定的 x 计算出 y。若 $y \geqslant 0 . 5$ ,则分类为1;若 $y { < } 0 . 5 ,$ 则分类为0。这样我们的分类任务就完成了。
人工智能与大数据技术导论
174