我们可以创建很多不同种类的特征交叉,例如:
●[A×B]:将两个特征的值相乘形成的特征交叉。
●[A×B×C×D×E]:将5个特征的值相乘形成的特征交叉。
●[A×A]:对单个特征的值求平方形成的特征交叉。
通过采用随机梯度下降法可以有效地训练线性模型。因此,在使用扩展的线性模型时辅以特征交叉一直都是训练大规模数据集的有效方法。在实际工作中,机器学习模型很少会交叉具有连续值的特征。机器学习模型却经常交叉独热(onehot)特征向量,将独热特征向量的特征交叉视为逻辑连接。例如,假设具有两个特征:国家和语言。对每个特征进行独热编码会生成具有二元特征的向量,这些二元特征可解读为country=USA、country=France或language=English、language=Spanish。然后,如果你对这些独热编码进行特征交叉,就会得到可解读为逻辑连接的二元特征,如下所示:
再举一个例子,假设你对纬度和经度进行分箱,获得单独的独热5元素特征向量。例如,一个特定的纬度和经度可以表示如下:
假设我们创建了这两个特征向量的特征交叉:
此特征交叉是一个25元素独热矢量(24个0和1个1)。该交叉组合中的唯一一个1表示纬度与经度的连接。然后,我们就可以了解有关这种连接的特定关联性。假设我们更粗略地对纬度和经度进行分箱,如下所示:
针对上述这些分箱创建特征交叉会生成具有以下含义的合成特征:
人工智能与大数据技术导论
264