1. 标准化
标准化的目标是使得变量服从标准正态分布,标准化的方式如下
代码如下
>>> from sklearn import preprocessing
>>> import numpy as np
>>> x = np.array([1, -2, 3, -4, 5, 6]).reshape(-1, 1)
>>> x
array([[ 1],
[-2],
[ 3],
[-4],
[ 5],
[ 6]])
>>> scaler = preprocessing.StandardScaler().fit(x)
>>> x_scaled = scaler.transform(x)
>>> x_scaled
array([[-0.13912167],
[-0.97385168],
[ 0.41736501],
[-1.53033836],
[ 0.97385168],
[ 1.25209502]])
```
2. 线性缩放
适合针对标准差很小的数据集进行处理,根据数据的最大值和最小值,将原始数据缩放到0到1这个区间代码如下
>>> min_max_scaler = preprocessing.MinMaxScaler()
>>> x_scaled = min_max_scaler.fit_transform(x)
>>> x_scaled
array([[0.5],
[0.2],
[0.7],
[0. ],
[0.9],
[1. ]])
也可以通过feature_range参数设定具体的缩放区间
>>> min_max_scaler = preprocessing.MinMaxScaler(feature_range=(-5, 5))
>>> x_scaled = min_max_scaler.fit_transform(x)
>>> x_scaled
array([[ 0.],
[-3.],
[ 2.],
[-5.],
[ 4.],
[ 5.]])
还有一种方法是根据最大绝对值进行缩放,适合稀疏数据或者是早已经中心化的数据,可以缩放到-1到1的区间,代码如下
>>> max_abs_scaler = preprocessing.MaxAbsScaler()
>>> x_scaled = max_abs_scaler.fit_transform(x)
>>> x_scaled
array([[ 0.16666667],
[-0.33333333],
[ 0.5 ],
[-0.66666667],
[ 0.83333333],
[ 1. ]])
3. 非线性变换
包括分位数变换和幂变换两种,分位数变换,默认对样本量大于1000的数据进行变化,采用分位数对原始数据划分,默认将数据映射为0到1的均匀分布,代码如下
>>> x = np.random.random(10000).reshape(-1, 1)
>>> x_scaled = quantile_transformer.fit_transform(x)
也可以输出符合正态分布的数据,代码如下
>>> quantile_transformer = preprocessing.QuantileTransformer(output_distribution='normal')
>>> x_scaled = quantile_transformer.fit_transform(x)
幂变换,用于稳定方差,将数据处理为近似正态分布,代码如下
>>> pt = preprocessing.PowerTransformer(method='box-cox', standardize=False)
>>> x_scaled = pt.fit_transform(x)
4. 正则化
代码如下
>>> x_normalized = preprocessing.normalize(x, norm='l2')
>>> x_normalized = preprocessing.Normalizer(norm='l2').fit_transform(x)
5. 特征编码
将离散的分类型变量转换为数值型,代码如下
>>> x = [['male', 'from US', 'uses Safari'], ['female', 'from Europe', 'uses Firefox']]
>>> preprocessing.OrdinalEncoder().fit_transform(x)
array([[1., 1., 1.],
[0., 0., 0.]])
6. 离散化
将连续变量进行分组,比如将原始数据划分为不同的区间,称之为bin, 代码如下
>>> X = np.array([[ -3., 5., 15 ],[ 0., 6., 14 ],[ 6., 3., 11 ]])
>>> X
array([[-3., 5., 15.],
[ 0., 6., 14.],
[ 6., 3., 11.]])
>>> est = preprocessing.KBinsDiscretizer(n_bins=[3, 2, 2], encode='ordinal').fit(X)
>>> est.transform(X)
array([[0., 1., 1.],
[1., 1., 1.],
[2., 0., 0.]])
n_bins参数指定bin的个数,转换后的数值为原始数值对应的bin的下标。
二值化变换,也是一种离散化的操作,通过某个阈值将数值划分为0和1两类,公式如下
代码如下
>>> X = np.array([[ 1., -1., 2.],[ 2., 0., 0.],[ 0., 1., -1.]])
>>> X
array([[ 1., -1., 2.],
[ 2., 0., 0.],
[ 0., 1., -1.]])
>>> binarizer = preprocessing.Binarizer(threshold=1.1).fit(X)
>>> binarizer.transform(X)
array([[0., 0., 1.],
[1., 0., 0.],
[0., 0., 0.]])
7. 多项式构建
多项式的构建相当于升维操作,在原来独立的特征x1, x2的基础上,构建起平方以及乘积的新变量,转换到方式如下
代码如下
>>> from sklearn.preprocessing import PolynomialFeatures
>>> X = np.arange(6).reshape(3, 2)
>>> X
array([[0, 1],
[2, 3],
[4, 5]])
>>> poly = PolynomialFeatures().fit_transform(X)
>>> poly
array([[ 1., 0., 1., 0., 0., 1.],
[ 1., 2., 3., 4., 6., 9.],
[ 1., 4., 5., 16., 20., 25.]])
8. 自定义
为了提供更加灵活的预处理方式,还支持自定义预处理的逻辑,代码如下
>>> from sklearn.preprocessing import FunctionTransformer
>>> transformer = FunctionTransformer(np.log1p, validate=True)
>>> X = np.array([[0, 1], [2, 3]])
>>> trans = transformer.fit_transform(X)
>>> trans
array([[0. , 0.69314718],
[1.09861229, 1.38629436]])
通过自定义函数来保证灵活性。对于缺失值的填充,有专门的impute子模块来进行处理,在后续的文章中再详细介绍。
联系客服