使用sklearn进行数据挖掘-房价预测(4)—数据预处理

小说:灰色赚钱门路作者:陵通徒丁更新时间:2018-12-16字数:39887

尽管武魂殿明令禁止魂师们大范围猎杀魂兽获取魂骨的行为,但仍旧有不少自恃实力的魂师铤而走险。当然,也没有多少人舍得把魂骨卖出去,大都是相互交换。

3158致富网农村

就在这时,他的大脑中突然响起了脑域一号懒洋洋的声音“你个傻缺,我是在你大脑中,你直接用精神交流就行,喊什么喊,想让别人知道你的秘密,不怕把你拿去做研究吗。在你还没有自保之力的时候,我的事情向谁都不可以泄露,包括你的家人。”
此刻,座上那治世之尊如来将金婆罗花放下,问道:“金蝉子,你往哪里去?”

唐三淡淡地道:“我仔细的研究过。这毒开始并不是出现在血液中的,而是在空气中。受到空气中毒素的影响以及自身杀气的激发,就需要鲜血来平复躁动。久而久之,恐怕就会上瘾。这血液里的毒会令人兴奋,甚至令人变得更加强大。可其中剧毒一旦被激发出来,恐怕没有人能抵御的了。你中毒还不深,停止喝血,还有得救。如果你再继续下去。恐怕在地狱路你就不是我的伙伴,而是给我制造麻烦的人。”

使用sklearn进行数据挖掘-房价预测(4)—数据预处理


在使用机器算法之前,我们先把数据做下预处理,先把特征和标签拆分出来

housing = strat_train_set.drop("median_house_value",axis=1) #原始数据集并未发生改变
housing_labels=strat_train_set["median_house_value"].copy()

数据清洗

大多数机器学习算法是不能在有缺失值的数据集上面运行的,而本数据集特征total_bedrooms是存在数据缺失现象的,所以就需要想办法处理,有以下几个思路:

  • 1.将存在缺失数据的样本去除掉
  • 2.将存在缺失数据的特征去除掉
  • 3.将缺失值用统一的值替换,如:均值、中值等

上面对应的操作:

housing.dropna(subset=["total_bedrooms"]) # 1.删除样本
housing.drop("total_bedrooms", axis=1) # 2.删除特征,注意参数的用法和1不一样
median = housing["total_bedrooms"].median()
housing["total_bedrooms"].fillna(median) # 3. 中值填充

去过采用的是方法3那么就需要将替换的值保存起来,在后续的工作中需要将它应用到测试集,以及可能添加的新数据。上面这个操作是使用pandas,sklearn提供了Imputer,同样能够很好解决缺失值问题,下面其用法

from sklearn.preprocessing import Imputer
imputer = Imputer(strategy="median")
housing_num = housing.drop("ocean_proximity", axis=1) #去除非数值类特征
imputer.fit(housing_num)

imputer提供了以下几种填充策略

  • If "mean", then replace missing values using the mean along the axis.
  • If "median", then replace missing values using the median along the axis.
  • If "most_frequent", then replace missing using the most frequent value along the axis.

通过statistics_ 查看填充的数值

>>imputer.statistics_
array([-118.51      ,   34.26      ,   29.        , ...,    5.23228423,
          0.20303137,    2.8176527 ])

再看一看pandas计算出来的中值

>>housing_num.median().values
array([-118.51      ,   34.26      ,   29.        , ...,    5.23228423,
          0.20303137,    2.8176527 ])

接下来就需要将计算得到的数值应用到数据集中

X = imputer.transform(housing_num) 
>>type(X)
numpy.ndarray

最终得到的是结果是array类型,如果想转为pandas类型

housing_tr = pd.DataFrame(X, columns=housing_num.columns)

上面我们把ocean_proximity这一特征去掉,所以这些操作是处理数值类型的特征,那么非数值类型的该如何处理呢?

处理标签类特征

决策树、贝叶斯等分类器能够处理标签类特征,但很多算法是不能处理这类特征,需要转换为数值类型,sklearn提供了LabelEncoder特征转换方法

from sklearn.preprocessing import LabelEncoder
encoder = LabelEncoder()
housing_cat = housing["ocean_proximity"]
housing_cat_encoded = encoder.fit_transform(housing_cat)
>>housing_cat_encoded 
 array([0, 0, 4, ..., 1, 0, 3], dtype=int64)

上面是输出编码的结果,那么对应的0、1...是指的什么呢?

>>encoder.clases_
array(["<1H OCEAN", "INLAND", "ISLAND", "NEAR BAY", "NEAR OCEAN"], dtype=object)

通过类别号可以表示类别,还有一种方法能够表示类别---one hot,该特征取的值位置为1,其余为0;当然sklearn也提供了实现方法OneHotEncoder

from sklearn.preprocessing import OneHotEncoder
encoder = OneHotEncoder()
housing_cat_1hot = encoder.fit_transform(housing_cat_encoded.reshape(-1,1))#返回的为稀疏矩阵
>>housing_cat_1hot.toarray()
array([[ 1.,  0.,  0.,  0.,  0.],
       [ 1.,  0.,  0.,  0.,  0.],
       [ 0.,  0.,  0.,  0.,  1.],
       ..., 
       [ 0.,  1.,  0.,  0.,  0.],
       [ 1.,  0.,  0.,  0.,  0.],
       [ 0.,  0.,  0.,  1.,  0.]])

note:housing_cat_encoded返回的为1D 数组,fit_transform需要传入的为一个2D数组,需要先转为列向量。
可以将上面encoderone hot过程合并为一个

from sklearn.preprocessing import LabelBinarizer
encoder = LabelBinarizer()
housing_cat_1hot=encoder.fit_transform(housing_cat)
>>housing_cat_1hot #numpy array
array([[1, 0, 0, 0, 0],
       [1, 0, 0, 0, 0],
       [0, 0, 0, 0, 1],
       ..., 
       [0, 1, 0, 0, 0],
       [1, 0, 0, 0, 0],
       [0, 0, 0, 1, 0]])

自定义处理方法

尽管sklearn提供了强大的数据处理功能,有些时候我们需要根据自己的需求自定义一些数据预处理方法,并且让我们这些操作有着sklearnAPI相似的用法,我们所需要做的就是继承BaseEstimator类,并覆写三个方法fittransformfit_transform,第三个方法是前两个的整合,如果不想覆写fit_transform,可以继承TransformerMixin(从类名称就可以看出其作用)这个类

from sklearn.base import BaseEstimator, TransformerMixin
rooms_ix, bedrooms_ix, population_ix, household_ix = 3, 4, 5, 6
class CombinedAttributesAdder(BaseEstimator, TransformerMixin):
    def __init__(self, add_bedrooms_per_room = True): # no *args or **kargs
                self.add_bedrooms_per_room = add_bedrooms_per_room
    def fit(self, X, y=None):
        return self # nothing else to do
    def transform(self, X, y=None):
        rooms_per_household = X[:, rooms_ix] / X[:, household_ix]
        population_per_household = X[:, population_ix] / X[:, household_ix]
        if self.add_bedrooms_per_room:
            bedrooms_per_room = X[:, bedrooms_ix] / X[:, rooms_ix]
            return np.c_[X, rooms_per_household, population_per_household,bedrooms_per_room]
        else:
            return np.c_[X, rooms_per_household, population_per_household]

使用方法

attr_adder = CombinedAttributesAdder(add_bedrooms_per_room=False)
housing_extra_attribs = attr_adder.transform(housing.values) 

上面定义的类的功能是为原数据集添加新的特征,X[:,3]表示的是第4列所有数据,np.c_表示的是拼接数组。
另外sklearn是不能直接处理DataFrames的,那么我们需要自定义一个处理的方法将之转化为numpy类型

class DataFrameSelector(BaseEstimator,TransformerMixin):
    def __init__(self,attribute_names): #可以为列表
        self.attribute_names = attribute_names
    def fit(self,X,y=None):
        return self
    def transform(self,X):
        return X[self.attribute_names].values #返回的为numpy array

特征缩放

机器学习算法在缩放尺度不一样的数据效果比较差,比就如房价数据集total_bedrooms的取值范围为1~6445,而median_income的范围是0.5~15,所以需要对特征进行缩放。
note:通常情况下Target特征不需缩放
有两种缩放数据的方法

  • min-max方式,对应的方法为

    MinMaxScaler(self, feature_range=(0, 1), copy=True)
  • standardization 标准化数据,对应的方法为

    StandardScaler(self, copy=True, with_mean=True, with_std=True)

特征处理流程

目前在数据预处理阶段,我们需要对缺失值进行处理、特征组合和特征缩放。每一步的执行都有着先后顺序,sklearn提供了Pipeline帮助顺序完成转换。

num_attribs = list(housing_num)#返回的为列名[col1,col2,....]
cat_attribs = ["ocean_proximity"]

num_pipeline = Pipeline([ #数值类型
        ("selector", DataFrameSelector(num_attribs)),
        ("imputer", Imputer(strategy="median")),
        ("attribs_adder", CombinedAttributesAdder()),
        ("std_scaler", StandardScaler()),
    ])

cat_pipeline = Pipeline([ #标签类型
        ("selector", DataFrameSelector(cat_attribs)),
        ("cat_encoder", CategoricalEncoder(encoding="onehot-dense")),
    ])

上面定义的为分别处理数值类型和标签类型的转换流程,housing_numDataFrame类型,list(DataFrame)的结果会是什么?返回的为列名字,不管你们信不信,反正我是信了。pandas真是太强大了。上面着两个流程还可以再整合一起

from sklearn.pipeline import FeatureUnion
full_pipeline = FeatureUnion(transformer_list=[
        ("num_pipeline", num_pipeline),
        ("cat_pipeline", cat_pipeline),
    ])
housing_prepared = full_pipeline.fit_transform(housing)#最终的结果

今天就到这里把,工作了一天好困、眼疼,先发出去,明天再看看有没有什么错误。

当前文章:http://zxqss.com/R/69519.html

发布时间:2018-12-16 05:22:46

什么手机网游能赚钱 小鸭赚多多破解 怎么赚外国人的钱 最靠谱的网赚 晚上8点到12点做兼职 西安星巴克兼职工资 天津东丽兼职招聘 图书馆书籍整理兼职

编辑:辛石开

我要说两句: (0人参与)

发布