zoukankan      html  css  js  c++  java
  • sklearn的train_test_split()各函数参数含义解释(非常全)

    sklearn之train_test_split()函数各参数含义(非常全)

    在机器学习中,我们通常将原始数据按照比例分割为“测试集”和“训练集”,从 sklearn.model_selection 中调用train_test_split 函数 

    简单用法如下:

    X_train,X_test, y_train, y_test =sklearn.model_selection.train_test_split(train_data,train_target,test_size=0.4, random_state=0,stratify=y_train)
    # train_data:所要划分的样本特征集

    # train_target:所要划分的样本结果

    # test_size:样本占比,如果是整数的话就是样本的数量

    # random_state:是随机数的种子。
    # 随机数种子:其实就是该组随机数的编号,在需要重复试验的时候,保证得到一组一样的随机数。比如你每次都填1,其他参数一样的情况下你得到的随机数组是一样的。但填0或不填,每次都会不一样。

    stratify是为了保持split前类的分布。比如有100个数据,80个属于A类,20个属于B类。如果train_test_split(... test_size=0.25, stratify = y_all), 那么split之后数据如下: 
    training: 75个数据,其中60个属于A类,15个属于B类。 
    testing: 25个数据,其中20个属于A类,5个属于B类。 

    用了stratify参数,training集和testing集的类的比例是 A:B= 4:1,等同于split前的比例(80:20)。通常在这种类分布不平衡的情况下会用到stratify。

    将stratify=X就是按照X中的比例分配 

    将stratify=y就是按照y中的比例分配 

    整体总结起来各个参数的设置及其类型如下:

    主要参数说明:

    *arrays:可以是列表、numpy数组、scipy稀疏矩阵或pandas的数据框

    test_size:可以为浮点、整数或None,默认为None

    ①若为浮点时,表示测试集占总样本的百分比

    ②若为整数时,表示测试样本样本数

    ③若为None时,test size自动设置成0.25

    train_size:可以为浮点、整数或None,默认为None

    ①若为浮点时,表示训练集占总样本的百分比

    ②若为整数时,表示训练样本的样本数

    ③若为None时,train_size自动被设置成0.75

    random_state:可以为整数、RandomState实例或None,默认为None

    ①若为None时,每次生成的数据都是随机,可能不一样

    ②若为整数时,每次生成的数据都相同

    stratify:可以为类似数组或None

    ①若为None时,划分出来的测试集或训练集中,其类标签的比例也是随机的

    ②若不为None时,划分出来的测试集或训练集中,其类标签的比例同输入的数组中类标签的比例相同,可以用于处理不均衡的数据集

    通过简单栗子看看各个参数的作用:

    举例如下:

    通过简单例子看看各个参数的作用:

    ①test_size决定划分测试、训练集比例

    ②random_state不同值获取到不同的数据集

     设置random_state=0再运行一次,结果同上述相同

    设置random_state=None运行两次,发现两次的结果不同

    ③设置stratify参数,可以处理数据不平衡问题

  • 相关阅读:
    《JAVA程序设计》第10周学习总结
    《JAVA程序设计》第9周学习总结
    《Java程序设计》第8周学习总结
    《Java程序设计》第7周学习总结
    《Java程序设计》第6周学习总结
    《Java程序设计》第5周学习总结
    《Java程序设计》第4周学习总结
    《Java程序设计》第3周学习总结
    《Java程序设计》第2周学习总结
    201521123044 《Java程序设计》第12周学习总结
  • 原文地址:https://www.cnblogs.com/Yanjy-OnlyOne/p/11288098.html
Copyright © 2011-2022 走看看