ALINK(二十七)：特征工程（六）特征组合与交叉（特征组合也叫特征交叉）（一）

0 概念

特征交叉一种合成特征的方法，可以在多维特征数据集上，进行很好的非线性特征拟合。

特征组合是指通过将两个或多个输入特征相乘来对特征空间中的非线性规律进行编码的合成特征。通过创建一个特征组合可以解决非线性问题。

假设一个数据集有特征x1x1和x2x2，那么引入交叉特征值x3x3，使得：

x3=x1x2

那么最终的表达式为：

y=b+w1x1+w2x2+w3x3

1 如何构造新特征？

（1）将一个特征与其本身或其他特征相乘（称为特征组合）。
（2）两个特征相除。
（3）对连续特征进行分桶，以分为多个区间分箱。

无法找到一个直线把蓝色和黄色的点分离开，此时就等使用特征交叉的方式，进行拟合。当然，也可以使用神经网络。

2 特征组合的种类

可以创建很多不同种类的特征组合。例如：

• [A X B]：将两个特征的值相乘形成的特征组合。
• [A x B x C x D x E]：将五个特征的值相乘形成的特征组合。
• [A x A]：对单个特征的值求平方形成的特征组合。

通过采用随机梯度下降法，可以有效地训练线性模型。
因此，在使用扩展的线性模型时辅以特征组合一直都是训练大规模数据集的有效方法。

特征交叉的方式

4 组合独热矢量

使用One-Hot向量的方式进行特征交叉。这种方式一般适用于离散的情况，很少用于连续的数据集上。我们可以把特征交叉看成数据的逻辑与操作。

binned_latitude(lat) = [
  0  < lat <= 10
  10 < lat <= 20
  20 < lat <= 30
]

binned_longitude(lon) = [
  0  < lon <= 15
  15 < lon <= 30
]

特征交叉本质上是一个笛卡尔积，两个特征列进行笛卡尔积。笛卡尔积中，如果同时满足两者的条件，则结果为1；否则为0，因此这种方式更加适合离散型的数据特征。一般来说，先把数据进行分档处理，再把分档的结果进行特征交叉，此时可以获得更好的数据特征，分档处理可以对数据降维，从而极大地简化计算量。

• 特征的连续值在不同的区间的重要性是不一样的

binned_latitude_X_longitude(lat, lon) = [
  0  < lat <= 10 AND 0  < lon <= 15
  0  < lat <= 10 AND 15 < lon <= 30
  10 < lat <= 20 AND 0  < lon <= 15
  10 < lat <= 20 AND 15 < lon <= 30
  20 < lat <= 30 AND 0  < lon <= 15
  20 < lat <= 30 AND 15 < lon <= 30
]

• 特征交叉的典型应用：

比如在地图的方面的处理中，需要用到特征交叉。下图的房价和经纬度中，单纯的给出经度或者纬度，都不能直接反应房价和地理位置的关系。

更好的方式为经度和纬度交叉点，才能表示位置。

图片中，先对数据进行分档处理，也就是精度和纬度分别分割成100的数据段，然后把分段后的数据列进行特征交叉，那么每个房屋会对应一个10000维的特征向量，二维的位置信息会转化成一维的位置向量，只有精确的位置点的数据才是1，其余的都是0

作者：小幸运Q
链接：https://www.jianshu.com/p/2d899ab43e7c
来源：简书
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。