zoukankan      html  css  js  c++  java
  • GBDT+LR simple例子

    卧槽,本来猜GBDT获取的组合特征,需要自己去解析GBDT的树,scikit learn里面竟然直接调用apply函数就可以了

    # 弱分类器的数目
    n_estimator = 10
    # 随机生成分类数据。
    X, y = make_classification(n_samples=80000)  
    # 切分为测试集和训练集,比例0.5
    X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.5)
    # 将训练集切分为两部分,一部分用于训练GBDT模型,另一部分输入到训练好的GBDT模型生成GBDT特征,然后作为LR的特征。这样分成两部分是为了防止过拟合。
    X_train, X_train_lr, y_train, y_train_lr = train_test_split(X_train, y_train, test_size=0.5)
    # 调用GBDT分类模型。
    grd = GradientBoostingClassifier(n_estimators=n_estimator)
    # 调用one-hot编码。
    grd_enc = OneHotEncoder()
    # 调用LR分类模型。
    grd_lm = LogisticRegression()
    
    
    '''使用X_train训练GBDT模型,后面用此模型构造特征'''
    grd.fit(X_train, y_train)
    
    # fit one-hot编码器
    grd_enc.fit(grd.apply(X_train)[:, :, 0])
    
    ''' 
    使用训练好的GBDT模型构建特征,然后将特征经过one-hot编码作为新的特征输入到LR模型训练。
    '''
    grd_lm.fit(grd_enc.transform(grd.apply(X_train_lr)[:, :, 0]), y_train_lr)
    # 用训练好的LR模型多X_test做预测
    y_pred_grd_lm = grd_lm.predict_proba(grd_enc.transform(grd.apply(X_test)[:, :, 0]))[:, 1]
    # 根据预测结果输出
    fpr_grd_lm, tpr_grd_lm, _ = roc_curve(y_test, y_pred_grd_lm)
  • 相关阅读:
    入职一家新公司
    简单的线性数据比较
    python编程导论读书笔记【4】终章
    Hadoop构建数据仓库实践读书笔记【3】__数据仓库设计基础
    清北最后冲刺 张浩威 吃鱼
    新汉诺塔
    小朋友的数字
    硬币购物
    HH的项链
    求逆序对 && 逆序对数列
  • 原文地址:https://www.cnblogs.com/wuxiangli/p/7259253.html
Copyright © 2011-2022 走看看