zoukankan      html  css  js  c++  java
  • 《python数据分析基础》之描述性统计与建模

    1、数据集

    红葡萄酒数据集:

    http://archive.ics.uci.edu/ml/machine-learning-databases/wine-quality/winequality-red.csv

    白葡萄酒数据集:

    http://archive.ics.uci.edu/ml/machine-learning-databases/wine-quality/winequality-white.csv

    红葡萄酒文件中包含1599条观测,白葡萄酒文件包含4898条观测。输入变量是葡萄酒的物理化学成分和特性,包括非挥发性酸、挥发性酸、柠檬酸、残余糖分、氯化物、游离二氧化硫、总二氧化硫、密度、pH值、硫酸盐和酒精含量。我们将两个文件合并,并增加一列type变量,用于区分白葡萄酒和红葡萄酒:

     2、描述性统计

    #!/usr/bin/env python3
    import pandas as pd
    
    # 将数据集读入到pandas数据框中,分隔符为逗号
    f = open('F://python入门//数据1//红葡萄酒和白葡萄酒//winequality-whole.csv')
    #read_csv读取时会自动识别表头,数据有表头时不能设置header为空(默认读取第一行,即header=0);
    #数据无表头时,若不设置header,第一行数据会被视为表头,应传入names参数设置表头名称或设置header=None。
    wine = pd.read_csv(f, sep=',', header=0)
    #将标题行中的空格替换成下划线
    wine.columns = wine.columns.str.replace(' ', '_')
    #使用head函数检查一下标题行和前五行数据
    print('查看前五行数据:
    ',wine.head())
    # 显示所有变量的描述性统计量,这些统计量包括:总数、均值、标准差、最小值、第25个百分位数、
    #中位数、第75个百分位数和最大值
    #标准差是一组数据平均值分散程度的一种度量。一个较大的标准差,代表大部分数值和其平均值之间差异较大。
    print('描述性统计:
    ',wine.describe())
    #找出唯一值,即quality列中删除重复值留下的数值
    print('quality列去重后的值,从小到大输出:
    ',sorted(wine.quality.unique()))
    # 计算值的频率
    print('每个唯一值在数据集中出现的次数:
    ',wine.quality.value_counts())

    结果:

    查看前五行数据:
       type  fixed_acidity  volatile_acidity   ...     sulphates  alcohol  quality
    0  red            7.4              0.70   ...          0.56      9.4        5
    1  red            7.8              0.88   ...          0.68      9.8        5
    2  red            7.8              0.76   ...          0.65      9.8        5
    3  red           11.2              0.28   ...          0.58      9.8        6
    4  red            7.4              0.70   ...          0.56      9.4        5
    
    [5 rows x 13 columns]
    描述性统计:
            fixed_acidity  volatile_acidity     ...           alcohol      quality
    count    6497.000000       6497.000000     ...       6497.000000  6497.000000
    mean        7.215307          0.339666     ...         10.491801     5.818378
    std         1.296434          0.164636     ...          1.192712     0.873255
    min         3.800000          0.080000     ...          8.000000     3.000000
    25%         6.400000          0.230000     ...          9.500000     5.000000
    50%         7.000000          0.290000     ...         10.300000     6.000000
    75%         7.700000          0.400000     ...         11.300000     6.000000
    max        15.900000          1.580000     ...         14.900000     9.000000
    
    [8 rows x 12 columns]
    quality列去重后的值,从小到大输出:
     [3, 4, 5, 6, 7, 8, 9]
    每个唯一值在数据集中出现的次数:
     6    2836
    5    2138
    7    1079
    4     216
    8     193
    3      30
    9       5
    Name: quality, dtype: int64

     3、分组、直方图和t检验

    #!/usr/bin/env python3
    import pandas as pd
    import seaborn as sns
    import matplotlib.pyplot as plt
    import statsmodels.api as sm
    # 将数据集读入到pandas数据框中,分隔符为逗号
    f = open('F://python入门//数据1//红葡萄酒和白葡萄酒//winequality-whole.csv')
    #read_csv读取时会自动识别表头,数据有表头时不能设置header为空(默认读取第一行,即header=0);
    #数据无表头时,若不设置header,第一行数据会被视为表头,应传入names参数设置表头名称或设置header=None。
    wine = pd.read_csv(f, sep=',', header=0)
    #将标题行中的空格替换成下划线
    wine.columns = wine.columns.str.replace(' ', '_')
    #按照葡萄酒类型显示质量的描述性统计量,分别打印红葡萄酒和白葡萄酒的摘要统计量
    print('分别打印红葡萄酒和白葡萄酒的摘要统计量:
    ',wine.groupby('type')[['quality']].describe())
    #unstack函数将结果重新排列,使统计量显示在并排的两列中
    print('分别打印红葡萄酒和白葡萄酒的摘要统计量(结果重排列):
    ',wine.groupby('type')[['quality']].describe().unstack('type'))
    #按照葡萄酒类型显示质量的特定分位数值,quantile函数对质量列计算第25百分位数和第75百分位数
    print('分别计算第25百分位数和第75百分位数(结果重排列):
    ',wine.groupby('type')[['quality']].quantile([0.25, 0.75]).unstack('type'))
    #按照葡萄酒类型查看质量分布
    red_wine = wine.loc[wine['type'] == 'red', 'quality']
    white_wine = wine.loc[wine['type'] == 'white', 'quality']
    #画布背景色为暗色
    sns.set_style("dark")
    #该图显示密度分布,画直方图,直方图颜色为红色
    sns.distplot(red_wine, norm_hist=True, kde=False, color="red", label="Red wine")
    sns.distplot(white_wine, norm_hist=True, kde=False, color="white", label="White wine")
    #设置x轴、y轴标签
    sns.utils.axlabel("Quality Score", "Density")
    #设置图标题
    plt.title("Distribution of Quality by Wine Type")
    #给图像加上图例
    plt.legend()
    #图像显示
    plt.show()
    #检验红葡萄酒和白葡萄酒的平均质量是否有所不同,分组计算标准差
    print('分组计算标准差:
    ',wine.groupby(['type'])[['quality']].agg(['std']))
    #t检验统计量为tstat,p值为pvalue,
    #t检验主要用于样本含量较小或两样本总体方差相等,总体标准差σ未知的正态分布。df为自由度
    #T检验是用t分布理论来推论差异发生的概率,从而比较两个平均数的差异是否显著。
    #P越小,越有理由说明两者有差异,求出的p值如果小于5%,则拒绝原建设,即拒绝两样本均值不相等的假设
    tstat, pvalue, df = sm.stats.ttest_ind(red_wine, white_wine)
    print('t统计量为: %.3f;p值为: %.4f;自由度为:%.1f;' % (tstat, pvalue,df))

    结果:

    分别打印红葡萄酒和白葡萄酒的摘要统计量:
           quality                                             
            count      mean       std  min  25%  50%  75%  max
    type                                                      
    red    1599.0  5.636023  0.807569  3.0  5.0  6.0  6.0  8.0
    white  4898.0  5.877909  0.885639  3.0  5.0  6.0  6.0  9.0
    分别打印红葡萄酒和白葡萄酒的摘要统计量(结果重排列):
                     type 
    quality  count  red      1599.000000
                    white    4898.000000
             mean   red         5.636023
                    white       5.877909
             std    red         0.807569
                    white       0.885639
             min    red         3.000000
                    white       3.000000
             25%    red         5.000000
                    white       5.000000
             50%    red         6.000000
                    white       6.000000
             75%    red         6.000000
                    white       6.000000
             max    red         8.000000
                    white       9.000000
    dtype: float64
    分别计算第25百分位数和第75百分位数(结果重排列):
          quality      
    type     red white
    0.25     5.0   5.0
    0.75     6.0   6.0

    分组计算标准差:
             quality
                std
    type           
    red    0.807569
    white  0.885639
    t统计量为: -9.686;p值为: 0.0000;自由度为:6495.0;

    说明:该例使用t检验,判断红葡萄酒和白葡萄酒的平均评分是否有区别,结论是p<0.05,我们认为没有区别。t值为负代表前面一组样本的均值低于后面一组的均值,说明在统计意义上,白葡萄酒的平均质量评分大于红葡萄酒的平均质量评分。

     4、成对变量之间的关系和相关性

    #!/usr/bin/env python3
    import numpy as np
    import pandas as pd
    import seaborn as sns
    import matplotlib.pyplot as plt
    # 将数据集读入到pandas数据框中,分隔符为逗号
    f = open('F://python入门//数据1//红葡萄酒和白葡萄酒//winequality-whole.csv')
    #read_csv读取时会自动识别表头,数据有表头时不能设置header为空(默认读取第一行,即header=0);
    #数据无表头时,若不设置header,第一行数据会被视为表头,应传入names参数设置表头名称或设置header=None。
    wine = pd.read_csv(f, sep=',', header=0)
    #将标题行中的空格替换成下划线
    wine.columns = wine.columns.str.replace(' ', '_')
    # 计算所有变量两两之间的相关性矩阵
    print('所有变量两两之间的相关性矩阵:
    ',wine.corr())
    # 从红葡萄酒和白葡萄酒的数据中取出一个“小”样本来进行绘图,抽取在统计图中使用的样本点
    #np.random.choice是从data_frame中随机选择200个,replace代表的意思是抽样之后还放不放回去,
    #如果是False的话,那么出来的三个数都不一样,如果是True的话,有可能会出现重复的,因为前面的抽的放回去了。
    def take_sample(data_frame, replace=False, n=200):
        return data_frame.loc[np.random.choice(data_frame.index, replace=replace, size=n)]
    #从红酒数据集中抽取200个样本
    reds_sample = take_sample(wine.loc[wine['type'] == 'red', :])
    #从白酒数据集中抽取200个样本
    whites_sample = take_sample(wine.loc[wine['type'] == 'white', :])
    #将400个样本放在一起组成新样本集
    wine_sample = pd.concat([reds_sample, whites_sample])
    #对总的数据集添加一列'in_sample',填充依据是此行的索引值是否在抽样数据的索引值中,如果在则置为1,否则置为0
    wine['in_sample'] = np.where(wine.index.isin(wine_sample.index), 1., 0.)
    #crosstab交叉列表取值,第一个参数是列, 第二个参数是行. 还可以添加第三个参数,类似Excel中的透视表功能
    print('样本与总数据集的统计:
    ',pd.crosstab(wine.in_sample, wine.type, margins=True))
    #seaborn的pairplot函数可以创建一个统计图矩阵,主对角线上的图以直方图或密度图的形式显示了每个变量的单变量分布。
    #对角线之外的图以散点图的形式显示了每两个变量之间的双变量分布,散点图中可以有回归直线,也可以没有
    #设置背景色为暗色
    sns.set_style("dark")
    #第一个参数是完整数据集wine_sample,kind为可选图样,kind="reg"为使用回归,hue : 使用指定变量为分类变量画图
    #diag_kind='hist'对角子图的图样,柱状图,palette使用调色板,markers点使用不同的形状,
    #vars要使用的数据中的变量
    g = sns.pairplot(wine_sample, kind='reg', plot_kws={"ci": False, "x_jitter": 0.25, "y_jitter": 0.25}, hue='type',
                     diag_kind='hist', diag_kws={"bins": 10, "alpha": 1.0}, palette=dict(red="red", white="white"),
                     markers=["o", "s"], vars=['quality', 'alcohol', 'residual_sugar'])
    #添加标题,fontsize=14字体大小,horizontalalignment='center'文字居中,verticalalignment='top'顶部对齐
    plt.suptitle('Histograms and Scatter Plots of Quality, Alcohol, and Residual Sugar', fontsize=14,
                 horizontalalignment='center', verticalalignment='top', x=0.5, y=0.999)
    #显示图像
    plt.show()

    结果:

    所有变量两两之间的相关性矩阵:
                           fixed_acidity    ...      quality
    fixed_acidity              1.000000    ...    -0.076743
    volatile_acidity           0.219008    ...    -0.265699
    citric_acid                0.324436    ...     0.085532
    residual_sugar            -0.111981    ...    -0.036980
    chlorides                  0.298195    ...    -0.200666
    free_sulfur_dioxide       -0.282735    ...     0.055463
    total_sulfur_dioxide      -0.329054    ...    -0.041385
    density                    0.458910    ...    -0.305858
    pH                        -0.252700    ...     0.019506
    sulphates                  0.299568    ...     0.038485
    alcohol                   -0.095452    ...     0.444319
    quality                   -0.076743    ...     1.000000
    
    [12 rows x 12 columns]
    样本与总数据集的统计:
     type        red  white   All
    in_sample                   
    0.0        1399   4698  6097
    1.0         200    200   400
    All        1599   4898  6497

    说明:

      根据相关系数的符号,从输出中可以知道酒精含量、硫酸盐、pH值、游离二氧化硫和柠檬酸这些指标与质量是正相关的,相反,非挥发性酸、挥发性酸、残余糖分、氯化物、总二氧化硫和密度这些指标与质量是负相关的。
      从统计图中可以看出,对于红葡萄酒和白葡萄酒来说,酒精含量的均值和标准差是大致相同的,但是,白葡萄酒残余糖分的均值和标准差却大于红葡萄酒残余糖分的均值和标准差。从回归直线可以看出,对于两种类型的葡萄酒,酒精含量增加时,质量评分也随之提高,相反,残余糖分增加时,白葡萄酒质量评分则随之降低。

    5、使用最小二乘法估计进行线性回归

    #!/usr/bin/env python3
    import pandas as pd
    #import statsmodels.api as sm
    from statsmodels.formula.api import ols, glm
    # 将数据集读入到pandas数据框中,分隔符为逗号
    f = open('F://python入门//数据1//红葡萄酒和白葡萄酒//winequality-whole.csv')
    #read_csv读取时会自动识别表头,数据有表头时不能设置header为空(默认读取第一行,即header=0);
    #数据无表头时,若不设置header,第一行数据会被视为表头,应传入names参数设置表头名称或设置header=None。
    wine = pd.read_csv(f, sep=',', header=0)
    #将标题行中的空格替换成下划线
    wine.columns = wine.columns.str.replace(' ', '_')
    #将一个字符串赋给变量my_formula,~左侧的变量quality是因变量,波浪线右侧的变量是自变量
    my_formula = 'quality ~ alcohol + chlorides + citric_acid + density +fixed_acidity + free_sulfur_dioxide + pH' 
                 '+ residual_sugar + sulphates + total_sulfur_dioxide + volatile_acidity'
    #使用公式和数据拟合一个普通最小二乘法模型,并将结果赋值给lm
    lm = ols(my_formula, data=wine).fit()
    # 或者,也可以使用广义线性模型(glm)语法进行线性回归
    #lm = glm(my_formula, data=wine, family=sm.families.Gaussian()).fit()
    #打印结果的摘要信息,包含了模型系数,系数的标准差,修正R^2,F统计量等信息
    print('摘要:
    ',lm.summary())
    print('………………')
    #打印出一个列表,包含模型对象lm的所有信息
    print("打印出一个列表,包含模型对象lm的所有信息:
    %s" % dir(lm))
    #打印模型的系数
    print("模型的系数:
    %s" % lm.params)
    #系数的标准差
    print("模型系数的标准差:
    %s" % lm.bse)
    #修正的R^2
    print("修正的R^2:%.2f" % lm.rsquared_adj)
    #F统计量和它的P值
    print("F统计量: %.1f,和它的P值: %.2f" % (lm.fvalue, lm.f_pvalue))
    #模型的拟合值
    print("观测总数: %d,拟合值的数量: %d" % (lm.nobs, len(lm.fittedvalues)))

    结果:

    摘要:
                                 OLS Regression Results                            
    ==============================================================================
    Dep. Variable:                quality   R-squared:                       0.292
    Model:                            OLS   Adj. R-squared:                  0.291
    Method:                 Least Squares   F-statistic:                     243.3
    Date:                Sat, 18 Apr 2020   Prob (F-statistic):               0.00
    Time:                        23:01:26   Log-Likelihood:                -7215.5
    No. Observations:                6497   AIC:                         1.445e+04
    Df Residuals:                    6485   BIC:                         1.454e+04
    Df Model:                          11                                         
    Covariance Type:            nonrobust                                         
    ========================================================================================
                               coef    std err          t      P>|t|      [0.025      0.975]
    ----------------------------------------------------------------------------------------
    Intercept               55.7627     11.894      4.688      0.000      32.447      79.079
    alcohol                  0.2670      0.017     15.963      0.000       0.234       0.300
    chlorides               -0.4837      0.333     -1.454      0.146      -1.136       0.168
    citric_acid             -0.1097      0.080     -1.377      0.168      -0.266       0.046
    density                -54.9669     12.137     -4.529      0.000     -78.760     -31.173
    fixed_acidity            0.0677      0.016      4.346      0.000       0.037       0.098
    free_sulfur_dioxide      0.0060      0.001      7.948      0.000       0.004       0.007
    pH                       0.4393      0.090      4.861      0.000       0.262       0.616
    residual_sugar           0.0436      0.005      8.449      0.000       0.033       0.054
    sulphates                0.7683      0.076     10.092      0.000       0.619       0.917
    total_sulfur_dioxide    -0.0025      0.000     -8.969      0.000      -0.003      -0.002
    volatile_acidity        -1.3279      0.077    -17.162      0.000      -1.480      -1.176
    ==============================================================================
    Omnibus:                      144.075   Durbin-Watson:                   1.646
    Prob(Omnibus):                  0.000   Jarque-Bera (JB):              324.712
    Skew:                          -0.006   Prob(JB):                     3.09e-71
    Kurtosis:                       4.095   Cond. No.                     2.49e+05
    ==============================================================================
    
    Warnings:
    [1] Standard Errors assume that the covariance matrix of the errors is correctly specified.
    [2] The condition number is large, 2.49e+05. This might indicate that there are
    strong multicollinearity or other numerical problems.
    ………………
    打印出一个列表,包含模型对象lm的所有信息:
    ['HC0_se', 'HC1_se', 'HC2_se', 'HC3_se', '_HCCM', '__class__', '__delattr__', '__dict__', '__dir__', '__doc__', '__eq__', '__format__', '__ge__', '__getattribute__', '__gt__', '__hash__', '__init__', '__init_subclass__', '__le__', '__lt__', '__module__', '__ne__', '__new__', '__reduce__', '__reduce_ex__', '__repr__', '__setattr__', '__sizeof__', '__str__', '__subclasshook__', '__weakref__', '_cache', '_data_attr', '_get_robustcov_results', '_is_nested', '_wexog_singular_values', 'aic', 'bic', 'bse', 'centered_tss', 'compare_f_test', 'compare_lm_test', 'compare_lr_test', 'condition_number', 'conf_int', 'conf_int_el', 'cov_HC0', 'cov_HC1', 'cov_HC2', 'cov_HC3', 'cov_kwds', 'cov_params', 'cov_type', 'df_model', 'df_resid', 'diagn', 'eigenvals', 'el_test', 'ess', 'f_pvalue', 'f_test', 'fittedvalues', 'fvalue', 'get_influence', 'get_prediction', 'get_robustcov_results', 'initialize', 'k_constant', 'llf', 'load', 'model', 'mse_model', 'mse_resid', 'mse_total', 'nobs', 'normalized_cov_params', 'outlier_test', 'params', 'predict', 'pvalues', 'remove_data', 'resid', 'resid_pearson', 'rsquared', 'rsquared_adj', 'save', 'scale', 'ssr', 'summary', 'summary2', 't_test', 't_test_pairwise', 'tvalues', 'uncentered_tss', 'use_t', 'wald_test', 'wald_test_terms', 'wresid']
    模型的系数:
    Intercept               55.762750
    alcohol                  0.267030
    chlorides               -0.483714
    citric_acid             -0.109657
    density                -54.966942
    fixed_acidity            0.067684
    free_sulfur_dioxide      0.005970
    pH                       0.439296
    residual_sugar           0.043559
    sulphates                0.768252
    total_sulfur_dioxide    -0.002481
    volatile_acidity        -1.327892
    dtype: float64
    模型系数的标准差:
    Intercept               11.893899
    alcohol                  0.016728
    chlorides                0.332683
    citric_acid              0.079619
    density                 12.137473
    fixed_acidity            0.015573
    free_sulfur_dioxide      0.000751
    pH                       0.090371
    residual_sugar           0.005156
    sulphates                0.076123
    total_sulfur_dioxide     0.000277
    volatile_acidity         0.077373
    dtype: float64
    修正的R^2:0.29
    F统计量: 243.3,和它的P值: 0.00
    观测总数: 6497,拟合值的数量: 6497

     说明,这里就最小二乘法的拟合结果做一个结果分析,R是相关系数,R^2是相关系数的平方,又称判定系数,判定线性回归的拟合程度,用来说明用自变量解释因变量变异的程度(所占比例)。调整后的判定系数,用来估计标准误差,R^2衡量方程拟合优度,R^2越大越好,一般的,大于0.8说明方程对样本点的拟合效果很好,0.5~0.8之间也可以接受,时间序列的话,R^2很容易达到很大,如果是截面数据,R^2要求没那么严格,但要注意的是,R^2统计量不是检验的统计量,只衡量显著性。F值(F-statistic)为243.3,显著性概率(Prob (F-statistic))为0.00,表明回归极显著。F是检验方程显著性的统计量,是平均的回归平方和与平均剩余平方和之比,越大越好。前面提到的t统计量对应的概率值(tstat, pvalue, df)中pvalue的值为0.0000,要求小于给定的显著性水平(一般是0.05,0.01等),pvalue越接近0越好,如果0.01<pvalue<0.05,则为差异显著,如果pvalue<0.01,则为差异极显著。

     拟合方程:

    y=55.762750+0.267030x1-0.483714x2-0.109657x3-54.966942x4+0.067684x5+0.005970x6+0.439296x7+0.043559x8+0.768252x9-0.002481x10-1.327892x11

    Intercept为截距项。截距系数没有具体意义。

    模型自变量系数的意义:在其他自变量保持不变的情况下,这个自变量发生1个单位的变化时,导致葡萄酒质量评分发生的平均变化。例如,酒精含量系数的含义就是,从平均意义上来说,如果两种葡萄酒其他自变量的值都相同,那么酒精含量高一个单位的葡萄酒的质量评分就要比另一种葡萄酒的质量评分高出0.27分。

    6、自变量标准化

    #!/usr/bin/env python3
    import pandas as pd
    from statsmodels.formula.api import ols, glm
    # 将数据集读入到pandas数据框中,分隔符为逗号
    f = open('F://python入门//数据1//红葡萄酒和白葡萄酒//winequality-whole.csv')
    #read_csv读取时会自动识别表头,数据有表头时不能设置header为空(默认读取第一行,即header=0);
    #数据无表头时,若不设置header,第一行数据会被视为表头,应传入names参数设置表头名称或设置header=None。
    wine = pd.read_csv(f, sep=',', header=0)
    #将标题行中的空格替换成下划线
    wine.columns = wine.columns.str.replace(' ', '_')
    #将一个字符串赋给变量my_formula,~左侧的变量quality是因变量,波浪线右侧的变量是自变量
    my_formula = 'quality ~ alcohol + chlorides + citric_acid + density +fixed_acidity + free_sulfur_dioxide + pH' 
                 '+ residual_sugar + sulphates + total_sulfur_dioxide + volatile_acidity'
    # 创建一个名为dependent_variable的序列来保存质量数据
    dependent_variable = wine['quality']
    # 创建一个名为independent_variables的数据框来保存初始的葡萄酒数据集中除quality、type和in_sample之外的所有变量
    #s.difference(t)返回在集合s中但不在t中的元素
    independent_variables = wine[wine.columns.difference(['quality', 'type', 'in_sample'])]
    # 对自变量进行标准化
    # 对每个变量,在每个观测中减去变量的均值
    # 并且使用结果除以变量的标准差(最大值-最小值)
    independent_variables_standardized = (independent_variables
                                          - independent_variables.mean()) / independent_variables.std()
    # 将因变量quality作为一列添加到自变量数据框中
    # 创建一个带有标准化自变量的新数据集,当axis=1时,是在行上进行操作
    wine_standardized = pd.concat([dependent_variable, independent_variables_standardized], axis=1)
    # 重新进行线性回归,并查看一下摘要统计
    lm_standardized = ols(my_formula, data=wine_standardized).fit()
    #查看摘要统计信息
    print(lm_standardized.summary())

    结果:

                                OLS Regression Results                            
    ==============================================================================
    Dep. Variable:                quality   R-squared:                       0.292
    Model:                            OLS   Adj. R-squared:                  0.291
    Method:                 Least Squares   F-statistic:                     243.3
    Date:                Sun, 19 Apr 2020   Prob (F-statistic):               0.00
    Time:                        11:04:39   Log-Likelihood:                -7215.5
    No. Observations:                6497   AIC:                         1.445e+04
    Df Residuals:                    6485   BIC:                         1.454e+04
    Df Model:                          11                                         
    Covariance Type:            nonrobust                                         
    ========================================================================================
                               coef    std err          t      P>|t|      [0.025      0.975]
    ----------------------------------------------------------------------------------------
    Intercept                5.8184      0.009    637.785      0.000       5.800       5.836
    alcohol                  0.3185      0.020     15.963      0.000       0.279       0.358
    chlorides               -0.0169      0.012     -1.454      0.146      -0.040       0.006
    citric_acid             -0.0159      0.012     -1.377      0.168      -0.039       0.007
    density                 -0.1648      0.036     -4.529      0.000      -0.236      -0.093
    fixed_acidity            0.0877      0.020      4.346      0.000       0.048       0.127
    free_sulfur_dioxide      0.1060      0.013      7.948      0.000       0.080       0.132
    pH                       0.0706      0.015      4.861      0.000       0.042       0.099
    residual_sugar           0.2072      0.025      8.449      0.000       0.159       0.255
    sulphates                0.1143      0.011     10.092      0.000       0.092       0.137
    total_sulfur_dioxide    -0.1402      0.016     -8.969      0.000      -0.171      -0.110
    volatile_acidity        -0.2186      0.013    -17.162      0.000      -0.244      -0.194
    ==============================================================================
    Omnibus:                      144.075   Durbin-Watson:                   1.646
    Prob(Omnibus):                  0.000   Jarque-Bera (JB):              324.712
    Skew:                          -0.006   Prob(JB):                     3.09e-71
    Kurtosis:                       4.095   Cond. No.                         9.61
    ==============================================================================
    
    Warnings:
    [1] Standard Errors assume that the covariance matrix of the errors is correctly specified.

      说明,关于这个模型,普通最小二乘回归是通过使残差平方和最小化来估计未知的β参数值的,这里的残差是指自变量观测值与拟合值之间的差别。因为残差大小是依赖于自变量的测量单位的,所以如果自变量的测量单位相差很大的话,那么将自变量标准化后,就可以更容易对模型进行解释了。对自变量进行标准化的方法是,先从自变量的每个观测值中减去均值,然后再除以这个自变量的标准差。自变量标准化完成以后,它的均值为0,标准差为1。

      自变量标准化会改变对模型系数的解释。现在每个自变量系数的含义是,不同的葡萄酒在其他自变量均相同的情况下,某个自变量相差1个标准差,会使葡萄酒的质量评分平均相差多少个标准差。举个例子,酒精含量的系数意义是,从平均意义上说,如果两种葡萄酒其他自变量的值都相同,那么酒精含量高1个标准差的葡萄酒的质量评分就要比另一种葡萄酒的质量评分高出0.32个标准差。自变量标准化同样会改变对截距的解释。当解释变量被标准化后,截距表示的就是当所有自变量取值为均值时因变量的均值。

    7、预测

    #!/usr/bin/env python3
    import pandas as pd
    from statsmodels.formula.api import ols, glm
    # 将数据集读入到pandas数据框中,分隔符为逗号
    f = open('F://python入门//数据1//红葡萄酒和白葡萄酒//winequality-whole.csv')
    #read_csv读取时会自动识别表头,数据有表头时不能设置header为空(默认读取第一行,即header=0);
    #数据无表头时,若不设置header,第一行数据会被视为表头,应传入names参数设置表头名称或设置header=None。
    wine = pd.read_csv(f, sep=',', header=0)
    #将标题行中的空格替换成下划线
    wine.columns = wine.columns.str.replace(' ', '_')
    #将一个字符串赋给变量my_formula,~左侧的变量quality是因变量,波浪线右侧的变量是自变量
    my_formula = 'quality ~ alcohol + chlorides + citric_acid + density +fixed_acidity + free_sulfur_dioxide + pH' 
                 '+ residual_sugar + sulphates + total_sulfur_dioxide + volatile_acidity'
    #使用公式和数据拟合一个普通最小二乘法模型,并将结果赋值给lm
    lm = ols(my_formula, data=wine).fit()
    #创建一个名为dependent_variable的序列来保存质量数据
    dependent_variable = wine['quality']
    #创建一个名为independent_variables的数据框来保存初始的葡萄酒数据集中除quality、type和in_sample之外的所有变量
    #s.difference(t)返回在集合s中但不在t中的元素
    independent_variables = wine[wine.columns.difference(['quality', 'type', 'in_sample'])]
    #使用葡萄酒数据集中的前10个观测创建10个“新”观测,新观测中只包含模型中使用的自变量
    #说明,这里使用已经用于拟合的数据,仅出于方便和演示的目的
    #isin()函数,首先判断对应的index是否存在,如果不存在则全部为false,存在则为true
    new_observations = wine.loc[wine.index.isin(range(10)), independent_variables.columns]
    #基于新观测中的葡萄酒特性预测质量评分
    y_predicted = lm.predict(new_observations)
    # 将真实值和预测值保留两位小数并打印到屏幕上
    for each in range(10):
        print('真实值为:',round(dependent_variable[each],2),'	预测值为:',round(y_predicted[each],2))

    结果:

    真实值为: 5         预测值为: 5.0
    真实值为: 5         预测值为: 4.92
    真实值为: 5         预测值为: 5.03
    真实值为: 6         预测值为: 5.68
    真实值为: 5         预测值为: 5.0
    真实值为: 5         预测值为: 5.04
    真实值为: 5         预测值为: 5.02
    真实值为: 7         预测值为: 5.3
    真实值为: 7         预测值为: 5.24
    真实值为: 5         预测值为: 5.69


    原文链接:https://blog.csdn.net/qq_45554010/article/details/104537309

  • 相关阅读:
    CentOS命令找不到
    Docker原理之rootfs
    Docker原理之Namespace
    Docker原理之Cgroups
    Docker目录
    Docker基本使用
    Linux命令之防火墙
    Linux命令目录
    Rancher之主机添加
    oracle-decode函数用法
  • 原文地址:https://www.cnblogs.com/xiao02fang/p/12725035.html
Copyright © 2011-2022 走看看