机器学习算法实践中,往往需要将不同规格的数据转换到同一规格,或者将不同分布的数据转换到某个特定分布的需求,这种需求统称为将数据“无量纲化”
        在以梯度和矩阵为核心的算法中,譬如逻辑回归、支持向量机、神经网络,无量纲化可以加快求解速度;在距离类模型,譬如K近邻、KMeans聚类中,无量纲化可以帮我们提升模型精度,避免某一个取值范围特别大的特征对距离计算造成影响。特例是决策树和树的集成算法,对决策树不需要无量纲化,决策树可以把任意数据都处理得很好。数据的无量纲化可以是线性的,也可以是非线性的。

线性的无量纲化包括中心化(Zero-cenered或Mean-subtraction)处理和缩放处理(Scale)

        中心化的本质是让所有记录减去一个固定值,即让样本数据平移到某个位置。缩放的本质是通过除以一个固定值,将数据固定在某个范围内,取对数也算一种缩放处理。
preprocessing.StandardScaler
当数据(x)按均值(μ)中心化后,再按标准差(σ)缩放,数据就会服从均值为0,方差为1的正态分布(即标准正态分布),这个过程叫做数据标准化(Standardization, 又称Z-score normalization)。公式如下:

z=\frac{x-\mu }{\sigma }

from sklearn.prepocessing import StandardScaler
data = [[-1, 2], [-0.5, 6], [0, 10], [1, 18]]
scaler = StandardScaler().fit_transform(data)

        对于StandardScaler和MinMaxScaler来说,空值NaN会被当做是缺失值,在fit的时候忽略,在transform的时候保持缺失NaN的状态显示。且尽管去量纲化过程不是具体的算法,但在fit接口中,依然只允许导入至少二维数组,导入一维数组会报错。通常输入的X会是特征矩阵。

如何选择 StandardScaler和MinMaxScaler:

大多数机器学习算法中,会选择StandardScaler来进行特征缩放,因为MinMaxScaler对异常值非常敏感。在PCA,聚类,逻辑回归,支持向量机,神经网络这些算法中,StandardScaler往往是最好的选择。

MinMaxScaler在不涉及距离度量、梯度、协方差计算以及数据需要被压缩到特定区间时使用广泛,比如数字图像处理中量化像素强度时,都会使用MinMaxScaler将数据压缩到[0, 1]区间中。

除了StandardScaler和MinMaxScaler外,sklearn中也提供了各种其他缩放处理。比如:希望压缩数据却不影响数据的稀疏性可以使用MaxAbsScaler;在异常值多,噪声非常强大时,可选用分位数来量化,使用RobustScaler.

Logo

为开发者提供学习成长、分享交流、生态实践、资源工具等服务,帮助开发者快速成长。

更多推荐