Python 分析Kaggle_Titanic案例

首先明确分析的思路

步骤：一、提出问题

二、理解数据

1、导入数据

2、查看数据集信息

3、数据理解

4、简单关系图

三、特征选择

四、构建模型

五、总结

其他

三、数据清洗

1、数据预处理

2、特征选择

一、提出问题

预测哪些人在泰坦尼克号上更容易存活？

二、理解数据

1、导入数据，导入pandas库和numpy库

cd D:DocumentsTencent Files2698968530FileRecv1-Titanic Machine Learning from Disaster
import pandas as pd #数据分析
import numpy as np #科学计算
from pandas import Series,DataFrame

导入训练集与测试集

train = pd.read_csv('D:\Documents\Tencent Files\2698968530\FileRecv\1-Titanic Machine Learning from Disaster\train.csv')
test= pd.read_csv('D:\Documents\Tencent Files\2698968530\FileRecv\1-Titanic Machine Learning from Disaster\test.csv')

2、查看数据集信息

一次性看训练集和测试集大小

print('训练集大小:',train.shape,'测试集大小：',test.shape)

训练集大小: (891, 12) 测试集大小： (418, 11)
合并数据集，方便对两个数据集同时进行清洗,后期怕麻烦还要再次分训练集和测试集我是直接拿训练集做的

full = train.append(test, ignore_index = True)
print('合并后的数据集：',full.shape)

合并后的数据集： (1309, 12)
3、数据理解
查看数据信息

full.head()

full.columns

能看到这些字段

PassengerId => 乘客ID
Pclass => 乘客等级(1/2/3等舱位)
Name => 乘客姓名
Sex => 性别
Age => 年龄
SibSp => 堂兄弟/妹个数
Parch => 父母与小孩个数
Ticket => 船票信息
Fare => 票价
Cabin => 客舱
Embarked => 登船港口

查看数据集中各个字段的数量大小和类型

full.info()

数据中总共有1309名乘客，但是有些数据属性是缺失值，年龄Age只有1046条数据，客舱Cabin只有295条数据是已知的

描述性分析

full.describe()

从mean字段来看，最后大约有0.383838的 人获救了，其他的数据看起来可能不怎么有效

4、简单关系图

可以看每个属性都存活Survived之间的关系

import matplotlib.pyplot as plt  #画图
plt.rcParams['font.sans-serif']=['SimHei'] #用来正常显示中文标签
plt.rcParams['axes.unicode_minus']=False #用来正常显示负号
#有中文出现的情况，需要u'内容'

#import matplotlib.pyplot as plt
plt.figure(figsize=[800,500])

fig = plt.figure()
fig.set(alpha=0.2)  # 设定图表颜色alpha参数

plt.subplot2grid((2,3),(0,0))             # 在一张大图里分列几个小图，以及第一张图的位置给出
train.Survived.value_counts().plot(kind='bar')#把获救的和未获救的人画柱形图比较
plt.title(u"获救情况 (1为获救)") # 加上标签
plt.ylabel(u"人数")  

plt.subplot2grid((2,3),(0,1)) #第二张图的位置
train.Pclass.value_counts().plot(kind="bar")
plt.ylabel(u"人数")
plt.title(u"乘客等级分布")

plt.subplot2grid((2,3),(0,2))
plt.scatter(train.Survived, train.Age)
plt.ylabel(u"年龄")                         # 设置y轴
plt.grid(b=True, which='major', axis='y') # 格式化图形的网格线样式
plt.title(u"按年龄看获救分布 (1为获救)")


plt.subplot2grid((2,3),(1,0), colspan=2)
train.Age[train.Pclass == 1].plot(kind='kde')   # 绘制第一类乘客年龄子集的核密度估计
train.Age[train.Pclass == 2].plot(kind='kde')
train.Age[train.Pclass == 3].plot(kind='kde')
plt.xlabel(u"年龄")# 绘制轴标签
plt.ylabel(u"密度") 
plt.title(u"各等级的乘客年龄分布")
plt.legend((u'头等舱', u'2等舱',u'3等舱'),loc='best') # 设定图例


plt.subplot2grid((2,3),(1,2))
train.Embarked.value_counts().plot(kind='bar')
plt.title(u"各登船口岸上船人数")
plt.ylabel(u"人数")  
plt.show()
plt.subplots_adjust(wspace=50,hspace=200)

可以看到图例，得出基本的信息，此处应该再先解决设置代码的格式问题，我的图得到的图形有乱码情况，一般可以在代码最前面注释 # -*- coding: utf-8 -*-

图一可以看到未获救的人数是大于获救人数，被救的人数小于400大于300；3等舱乘客较多，遇难和获救的人年龄跨度都较广，3个不同舱年龄总体趋势相似，2/3等舱乘客20岁人最多，一等舱-40岁左右最多（可能年龄与财富成正比的原因），登船港口按照S/C/Q递减，S远多于另外的港口。

可以再单独看这些属性值的统计分布

看各乘客等级的获救情况

fig = plt.figure()
fig.set(alpha=0.2)  # 设定图表颜色alpha参数

Survived_0 = train.Pclass[train.Survived == 0].value_counts()
Survived_1 = train.Pclass[train.Survived == 1].value_counts()
df=pd.DataFrame({u'获救':Survived_1, u'未获救':Survived_0})
df.plot(kind='bar', stacked=True)
plt.title(u"各乘客等级的获救情况")
plt.xlabel(u"乘客等级") 
plt.ylabel(u"人数") 

plt.show()

 明显等级为1的乘客，获救的概率高很多，所占比例最高

再看各登录港口的获救情况

fig = plt.figure()
fig.set(alpha=0.2)  # 设定图表颜色alpha参数

Survived_0 = train.Embarked[train.Survived == 0].value_counts()
Survived_1 = train.Embarked[train.Survived == 1].value_counts()
df=pd.DataFrame({u'获救':Survived_1, u'未获救':Survived_0})
df.plot(kind='bar', stacked=True)
plt.title(u"各登录港口乘客的获救情况")
plt.xlabel(u"登录港口") 
plt.ylabel(u"人数") 

plt.show()

结果显示似乎每个港口的获救率都差不多

分析不同性别的获救情况，看是否满足女人和孩子先走的口号。。

fig = plt.figure()
fig.set(alpha=0.2)  # 设定图表颜色alpha参数

Survived_m = train.Survived[train.Sex == 'male'].value_counts()
Survived_f = train.Survived[train.Sex == 'female'].value_counts()
df=pd.DataFrame({u'男性':Survived_m, u'女性':Survived_f})
df.plot(kind='bar', stacked=True)
plt.title(u"按性别看获救情况")
plt.xlabel(u"性别") 
plt.ylabel(u"人数")
plt.show()

lady first的口号得到证明，是女性的获救人数较多

分析各种舱级别情况下各性别的获救情况

fig=plt.figure()
fig.set(alpha=0.65) # 设置图像透明度，无所谓
plt.title(u"根据舱等级和性别的获救情况")

ax1=fig.add_subplot(141)
train.Survived[train.Sex == 'female'][train.Pclass != 3].value_counts().plot(kind='bar', label="female highclass", color='#FA2479')
ax1.set_xticklabels([u"获救", u"未获救"], rotation=0)
ax1.legend([u"女性/高级舱"], loc='best')

ax2=fig.add_subplot(142, sharey=ax1)
train.Survived[train.Sex == 'female'][train.Pclass == 3].value_counts().plot(kind='bar', label='female, low class', color='pink')
ax2.set_xticklabels([u"未获救", u"获救"], rotation=0)
plt.legend([u"女性/低级舱"], loc='best')

ax3=fig.add_subplot(143, sharey=ax1)
train.Survived[train.Sex == 'male'][train.Pclass != 3].value_counts().plot(kind='bar', label='male, high class',color='lightblue')
ax3.set_xticklabels([u"未获救", u"获救"], rotation=0)
plt.legend([u"男性/高级舱"], loc='best')

ax4=fig.add_subplot(144, sharey=ax1)
train.Survived[train.Sex == 'male'][train.Pclass == 3].value_counts().plot(kind='bar', label='male low class', color='steelblue')
ax4.set_xticklabels([u"未获救", u"获救"], rotation=0)
plt.legend([u"男性/低级舱"], loc='best')

plt.show()

在分析有堂兄弟的的家庭对存活概率是否有影响

g = train.groupby(['SibSp','Survived'])
df = pd.DataFrame(g.count()['PassengerId'])
df

g =train.groupby(['Parch','Survived'])
df = pd.DataFrame(g.count()['PassengerId'])
df

暂时不能得出结论

ticket是船票编号，应该是unique的，和最后的结果没有太大的关系，不纳入考虑的特征范畴，cabin只有204个乘客有值，我们先看看它的一个分布

train.Cabin.value_counts()

暂时也未能看出什么

三、特征选择

选择特征，使用相关系数法来进行特征的选择相关系数较高的属性

corrDf = train.corr()
corrDf['Survived'].sort_values(ascending = False)

由上图我们可以看出性别、客舱等级、家庭类别、船票价格等和存活具有较高的相关性，所以我们将这些特征作为我们模型训练的输入

train_X = pd.concat( [Pclass,#客舱等级
                     familyDf,#家庭大小
                     full['Fare'],#船票价格
                     full['Sex']#性别
                    ] , axis=1 )

四、构建模型

选择逻辑回归

from sklearn.linear_model import LogisticRegression
model = LogisticRegression()

。。

 五、总结

到这就告一小段落，通过项目熟悉了很多数据分析的流程和一些数据处理的基本操作，但是也有很多问题未能得到解决，对于Python代码和算法的运用还不是很熟悉，很多需要查找资料才能想到具体的运用，耗时较长且效果不理想，数据分析之路且行且珍惜。

后续还增加了一些数据的预处理的方法

             其他

 三、数据清洗

现在解决特征值的提取问题，进行简单的数据清洗进行特征提取时，我们首先需要将数据进行分类。处理不同特征时，对于不同的数据类型处理原则也不一样。一般数值型保持不变，时间序列变成日期类型，对于分类数据：有直接类别的，用不同数值（0/1）代表不同的类别；如果分类类别大于2，则采用one-hot编码进行编码处理。没有直接类别的，也可能可以从数据中提取出有价值的部分

本案例中：1、数值型：乘客编号（Passengerld），年龄（Age）、船票价格（Fare），堂兄弟/妹个数（SibSp），表兄弟/妹个数（Parch）

2、时间序列：无

3、分类数据：a直接类别的：乘客性别（Sex）、登船港口（Embarked）、客舱等级（Pclass）

b没有直接类别的：乘客姓名（Name）、客舱号（Cabin）、船票编号（Ticket）

对于年龄和船票列可以用均值填充

train['Age']=train['Age'].fillna(train['Age'].mean())
train['Fare']=train['Fare'].fillna(train['Fare'].mean())

对于登船港口Embarked用众数港口“S”替代
对于船舱列别Cabin缺失较多，用“U”替代

train['Embarked']=train['Embarked'].fillna('S')
train['Cabin']=train['Cabin'].fillna('U')

性别只有两类，所以不需要进行one—hot编码，直接用数值来对应编码，1—male，0—female

sex_mapDict = {'male':1, 'female':0}
train['Sex'] = train['Sex'].map(sex_mapDict)
train.head()

登舱港口有3个类别，所以需要进行one—hot编码

EmbarkedDf = pd.DataFrame()
EmbarkedDf = pd.get_dummies(train['Embarked'], prefix = 'Embarked')  # 第一个参数是需要编码的列，第二个参数是编码后列的前缀
EmbarkedDf.head()

将该DataFrame合并入full表中，并将full表中的'Embarked'列删除。

train = pd.concat([train, EmbarkedDf], axis=1)
train.drop('Embarked', axis = 1, inplace = True)

客舱等级分为三级，其中1表示1等舱，2表示2等舱，3表示3等舱。所以我们依然对其进行one-hot编码。

pclassDf = pd.DataFrame()
pclassDf = pd.get_dummies(train['Pclass'], prefix = 'Pclass')
pclassDf.head()

将上面的DataFrame与full合并，并删除'Pclass'列

train= pd.concat([train, pclassDf], axis = 1)
train.drop('Pclass', axis = 1, inplace = True)