今日内容概要
数据操作
read_csv
read_excel
read_hdf
read_html
read_json
read_msgpack
read_sql
import pandas as pd
# 读取文件的时候直接指定类名称names参数
cf = pd.read_csv("D:\userbook.csv",names=['数','据','分','析','真','好','玩'])
cf
运行结果：
数 据 分 析 真 好 玩
0 ID name age NaN NaN NaN NaN
1 01 satan 22 NaN NaN NaN NaN
2 02 jason 23 NaN NaN NaN NaN
3 03 tanke 24 NaN NaN NaN NaN
4 04 egon 25 NaN NaN NaN NaN
5 05 jerry 26 NaN NaN NaN NaN
6 06 tom 27 NaN NaN NaN NaN
7 07 jack 28 NaN NaN NaN NaN
8 08 qiaozhi 29 NaN NaN NaN NaN
9 09 peiqi 30 NaN NaN NaN NaN
10 10 king 31 NaN NaN NaN NaN
import pandas as pd
import numpy as np
frame = pd.DataFrame({'a':np.random.randn(100)})
运行结果：
a
0 0.932126
1 -1.668897
2 1.720300
3 -1.485955
4 1.058283
... ...
95 0.790048
96 0.563777
97 -0.611943
98 -0.544918
99 0.667453
100 rows × 1 columns
frame.to_hdf("D:/mydata.h5",'obj3',format='table')
pd.read_hdf('D:/mydata.h5','obj3',where=['index < 5'])
import requests
import pandas as pd
url = "http://api.github.com/repos/pandas-dev/pandas/issues"
resp = requeses.get(url)
data = resp.json()
# 因为data中的每一个元素都是一个字典，可以直接将data传给DataFrame，并且将其中自己喜欢的字段展示出来
issue = pd.DataFrame(data.columns=['number','title','labels','state'])
issue
数据清洗
数据清洗的工作节点
在你获取到第一手数据之后就应该进行数据清洗操作
脏数据
残缺数据、错误数据、重复数据、不符合规则的数据……
干净的数据
可以直接带入模型的数据
数据清洗的大致 步骤
1.数据的读取
2.数据的探索
3.数据简单处理
4.重复值处理
5.缺失值处理
6.异常值处理
7.文本字符数据处理
8.时间序列处理
# 上述步骤3~8有时候不需要按照固定的顺序来，并且也不是所有的数据都需要经历上述所有的清洗操作
数据清洗案例
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
%matplotlib inline
# jupyter notebook打开的话需要运行这一行代码，在cell中显示图形
# 导入数据集及初步探索
cf = pd.read_csv('qunar_freetrip(1).csv',index_col=0)
cf
运行结果：
出发地 目的地 价格 节省 路线名 酒店 房间 去程航司 去程方式 去程时间 回程航司 回程方式 回程时间
0 哈尔滨 北海 2208.0 650.0 哈尔滨-北海3天2晚 | 入住北海祥丰嘉年华大酒店 + 春秋航空往返机票 北海祥丰嘉年华大酒店 舒适型 4.7分/5分 标准双人间(双床) 双床 不含早 1间2晚 春秋航空 9C8741 直飞 17:10-21:50 春秋航空 9C8742 直飞 10:20-15:05
1 成都 泸沽湖 1145.0 376.0 成都-泸沽湖3天2晚 | 入住7天酒店丽江古城中心店 + 成都航空往返机票 7天酒店丽江古城中心店 经济型 4.0分/5分 经济房-不含早-限时特... 其他 不含早 1间2晚 成都航空 EU2237 直飞 19:45-21:20 成都航空 EU2738 直飞 23:30-01:05
2 广州 沈阳 2702.0 618.0 广州-沈阳3天2晚 | 入住沈阳中煤宾馆 + 南方航空/深圳航空往返机票 沈阳中煤宾馆 舒适型 4.5分/5分 大床间(内宾) 大床 双早 1间2晚 南方航空 CZ6384 直飞 08:05-11:45 深圳航空 ZH9652 经停 08:20-13:05
3 上海 九寨沟 1954.0 484.0 上海-九寨沟3天2晚 | 入住红原芸谊大酒店 + 成都航空往返机票 红原芸谊大酒店 舒适型 4.6分/5分 豪华双床房[双早] 双床 双早 1间2晚 成都航空 EU6678 直飞 21:55-01:15 成都航空 EU6677 直飞 17:45-20:35
4 广州 天津 1608.0 422.0 广州-天津3天2晚 | 入住天津逸海明珠大酒店 + 奥凯航空/海南航空往返机票 天津逸海明珠大酒店 高档型 4.1分/5分 豪华双床房(预付) 双床 不含早 1间2晚 奥凯航空 BK2787 直飞 06:55-10:00 海南航空 HU7201 直飞 20:15-23:25
... ... ... ... ... ... ... ... ... ... ... ... ... ...
5095 宁波 九寨沟 2085.0 562.0 宁波-九寨沟3天2晚 | 入住黑水县达古冰山国际大酒店 + 成都航空/四川航空往... 黑水县达古冰山国际大酒店 豪华型 3.9分/5分 B区豪华标间(双床) 双床 不含早 1间2晚 成都航空 EU2730 经停 19:45-00:45 四川航空 3U8927 经停 07:55-12:15
5096 成都 泸沽湖 1158.0 376.0 成都-泸沽湖3天2晚 | 入住丽江望月阁客栈 + 成都航空往返机票 丽江望月阁客栈 经济型 4.6分/5分 标准双人间-不含早（预... 双床 不含早 1间2晚 成都航空 EU2237 直飞 19:45-21:20 成都航空 EU2738 直飞 23:30-01:05
5097 天津 丽江 1616.0 426.0 天津-丽江3天2晚 | 入住丽江凡间度假连锁客栈青旅店 + 天津航空/首都航空往... 丽江凡间度假连锁客栈青旅店 经济型 4.5分/5分 大床房-预付 大床 不含早 1间2晚 天津航空 GS7861 直飞 16:25-19:45 首都航空 JD5739 直飞 07:50-10:50
5098 大连 重庆 1703.0 446.0 大连-重庆3天2晚 | 入住重庆酉阳锦宏大酒店 + 华夏航空/山东航空往返机票 重庆酉阳锦宏大酒店 舒适型 4.0分/5分 特惠房(大床) 大床 不含早 1间2晚 华夏航空 G52762 经停 18:25-23:30 山东航空 SC4837 经停 07:00-11:30
5099 天津 哈尔滨 1192.0 356.0 天津-哈尔滨3天2晚 | 入住哈尔滨钰轩酒店中央大街店 + 奥凯航空/福州往返机票 哈尔滨钰轩酒店中央大街店 舒适型 4.0分/5分 标准大床房 大床 大床 双早 1间2晚 奥凯航空 BK2918 直飞 21:10-23:25 福州 FU6556 直飞 11:35-13:45
5100 rows × 13 columns
cf.head # 简答查看
cf.head(3)# 简单查看前三行数据
运行结果:
出发地 目的地 价格 节省 路线名 酒店 房间 去程航司 去程方式 去程时间 回程航司 回程方式 回程时间
0 哈尔滨 北海 2208.0 650.0 哈尔滨-北海3天2晚 | 入住北海祥丰嘉年华大酒店 + 春秋航空往返机票 北海祥丰嘉年华大酒店 舒适型 4.7分/5分 标准双人间(双床) 双床 不含早 1间2晚 春秋航空 9C8741 直飞 17:10-21:50 春秋航空 9C8742 直飞 10:20-15:05
1 成都 泸沽湖 1145.0 376.0 成都-泸沽湖3天2晚 | 入住7天酒店丽江古城中心店 + 成都航空往返机票 7天酒店丽江古城中心店 经济型 4.0分/5分 经济房-不含早-限时特... 其他 不含早 1间2晚 成都航空 EU2237 直飞 19:45-21:20 成都航空 EU2738 直飞 23:30-01:05
2 广州 沈阳 2702.0 618.0 广州-沈阳3天2晚 | 入住沈阳中煤宾馆 + 南方航空/深圳航空往返机票 沈阳中煤宾馆 舒适型 4.5分/5分 大床间(内宾) 大床 双早 1间2晚 南方航空 CZ6384 直飞 08:05-11:45 深圳航空 ZH9652 经停 08:20-13:05
cf.shape # 查看数据形状
运行结果：
(5100, 13) # 5100行数据，13列也称为13个特征
cf.info() # 查看数据结构(如是否有缺失值，数据类型等)
运行结果：
<class 'pandas.core.frame.DataFrame'>
Int64Index: 5100 entries, 0 to 5099
Data columns (total 13 columns):
# Column Non-Null Count Dtype
--- ------ -------------- -----
0 出发地 5098 non-null object
1 目的地 5099 non-null object
2 价格 5072 non-null float64
3 节省 5083 non-null float64
4 路线名 5100 non-null object
5 酒店 5100 non-null object
6 房间 5100 non-null object
7 去程航司 5100 non-null object
8 去程方式 5100 non-null object
9 去程时间 5100 non-null object
10 回程航司 5100 non-null object
11 回程方式 5100 non-null object
12 回程时间 5100 non-null object
dtypes: float64(2), object(11)
memory usage: 338.7+ KB
cf.describe() # 查看快速统计(只展现数值型数据统计，非数值型直接忽略)
运行结果：
价格 节省
count 5072.000000 5083.000000
mean 1765.714905 474.139878
std 2580.129644 168.893780
min 578.000000 306.000000
25% 1253.000000 358.000000
50% 1632.000000 436.000000
75% 2028.250000 530.000000
max 179500.000000 3500.000000
cf.columns # 查看列名称 注意这里可能会出现列名称多空格的情况导致无法直接导出
运行结果：
Index(['出发地 ', ' 目的地', '价格 ', '节省', '路线名', '酒店', '房间', '去程航司', '去程方式', '去程时间',
'回程航司', '回程方式 ', '回程时间'],
dtype='object')
cf.head(2) # 对比列名称是否有空格
# 移除列名称里面多余的空格
col = cf.columns.values # 将列名变成支持for循环的ndarray
col
运行结果：
array(['出发地 ', ' 目的地', '价格 ', '节省', '路线名', '酒店', '房间', '去程航司', '去程方式',
'去程时间', '回程航司', '回程方式 ', '回程时间'], dtype=object)
# for循环加strip移除字符串首尾的空格
cf.columns = [i.strip() for i in cool]
cf.columns
运行结果：
Index(['出发地', '目的地', '价格', '节省', '路线名', '酒店', '房间', '去程航司', '去程方式', '去程时间',
'回程航司', '回程方式', '回程时间'],
dtype='object')
# 重复值处理
duplicated()函数：查看并显示数据表中的重复值
1.当两条记录中的所有的数据都相等的时候才会判定为重复值
2.函数支持从前往后和从后往前两种重复值查找模式(默认是从前往后进行查看和判断)
cf.duplicated() # 返回布尔值数据
运行结果：
0 False
1 False
2 False
3 False
4 False
...
5095 True
5096 False
5097 False
5098 False
5099 False
Length: 5100, dtype: bool
# 查看所有的重复值数据 利用布尔值索引
cf[cf.duplicated()]
运行结果：
出发地 目的地 价格 节省 路线名 酒店 房间 去程航司 去程方式 去程时间 回程航司 回程方式 回程时间
454 广州 黄山 1871.0 492.0 广州-黄山3天2晚 | 入住黄山汤口醉享主题酒店 + 南方航空往返机票 黄山汤口醉享主题酒店 舒适型 4.8分/5分 睫毛弯弯(大床) 大床 不含早 1间2晚 南方航空 CZ3627 直飞 19:20-21:15 南方航空 CZ3628 直飞 22:05-23:50
649 济南 长沙 1134.0 360.0 济南-长沙3天2晚 | 入住长沙喜迎宾华天大酒店 + 山东航空往返机票 长沙喜迎宾华天大酒店 高档型 3.7分/5分 特惠双间(特惠抢购)(... 双床 不含早 1间2晚 山东航空 SC1185 直飞 18:40-20:50 山东航空 SC1186 直飞 10:20-12:15
685 青岛 重庆 1474.0 420.0 青岛-重庆3天2晚 | 入住怡家丽景酒店重庆垫江店 + 山东航空/华夏航空往返机票 怡家丽景酒店重庆垫江店 舒适型 4.3分/5分 法式房(内宾)(无窗)... 大床 不含早 1间2晚 山东航空 SC4709 经停 19:30-00:05 华夏航空 G54710 经停 18:00-22:25
852 北京 哈尔滨 1450.0 368.0 北京-哈尔滨3天2晚 | 入住哈尔滨水逸城市酒店 + 南方航空/大新华航空往返机票 哈尔滨水逸城市酒店 舒适型 4.6分/5分 标准间-【预付特惠】独... 双床 双早 1间2晚 南方航空 CZ6202 直飞 22:20-00:20 大新华航空 CN7150 直飞 22:50-00:55
922 北京 长沙 1289.0 334.0 北京-长沙3天2晚 | 入住浏阳市华尔宫大酒店 + 海南航空/南方航空往返机票 浏阳市华尔宫大酒店 3.8分/5分 豪华双人间(双床) 双床 不含早 1间2晚 海南航空 HU7135 直飞 17:45-20:30 南方航空 CZ3855 直飞 22:55-01:10
... ... ... ... ... ... ... ... ... ... ... ... ... ...
5045 杭州 丽江 2872.0 718.0 杭州-丽江3天2晚 | 入住丽江松竹居客栈玉观音店 + 长龙航空/首都航空往返机票 丽江松竹居客栈玉观音店 高档型 4.6分/5分 特惠房(大床) 大床 不含早 1间2晚 长龙航空 GJ8869 经停 08:50-13:35 首都航空 JD5192 直飞 13:00-16:15
5066 哈尔滨 西安 1843.0 450.0 哈尔滨-西安3天2晚 | 入住西安铁通商务酒店贵宾楼 + 天津航空/东方航空往返... 西安铁通商务酒店贵宾楼 舒适型 4.2分/5分 标准间(持房卡尊享清凉... 双床 不含早 1间2晚 天津航空 GS7584 经停 12:30-17:40 东方航空 MU2211 经停 08:45-13:25
5068 南京 成都 1922.0 552.0 南京-成都3天2晚 | 入住成都伊丽特酒店 + 东方航空/西藏航空往返机票 成都伊丽特酒店 高档型 4.5分/5分 行政标准间-含早立即确... 双床 双早 1间2晚 东方航空 MU2880 直飞 21:55-00:35 西藏航空 TV9839 直飞 06:30-08:55
5081 上海 青岛 769.0 354.0 上海-青岛3天2晚 | 入住青岛金中太大酒店 + 春秋航空/吉祥航空往返机票 青岛金中太大酒店 舒适型 4.8分/5分 特惠大床房[无早] 大床 不含早 1间2晚 春秋航空 9C8853 直飞 19:50-21:35 吉祥航空 HO1242 直飞 23:05-00:35
5095 宁波 九寨沟 2085.0 562.0 宁波-九寨沟3天2晚 | 入住黑水县达古冰山国际大酒店 + 成都航空/四川航空往... 黑水县达古冰山国际大酒店 豪华型 3.9分/5分 B区豪华标间(双床) 双床 不含早 1间2晚 成都航空 EU2730 经停 19:45-00:45 四川航空 3U8927 经停 07:55-12:15
100 rows × 13 columns
# 统计重复值的数量
cf.duplicated().sum()
运行结果：
100 # 删除重复值 drop_duplicates()
cf.drop_duplicates(inplace=True) # inplace为true则修改原数据，默认为false不会修改原数据
# 确认删除操作
cf.shape
# 重置行索引(动了原数据集就需要考虑是否重置行索引)
cf.index = range(cf.shape[0])
# 异常值处理
cf.describe() # 观察可能的异常值
运行结果: 价格 节省
count 4972.000000 4983.000000
mean 1767.782381 474.490869
std 2604.329780 169.148391
min 578.000000 306.000000
25% 1253.000000 358.000000
50% 1633.000000 436.000000
75% 2031.000000 532.000000
max 179500.000000 3500.000000
# 1.找出价格的异常值
ses = (cf['价格']-cf['价格'].mean())/cf['价格'].std()
ses
运行结果： 0 0.169033
1 -0.239133
2 0.358717
3 0.071503
4 -0.061353
...
4995 -0.113189
4996 -0.234142
4997 -0.058281
4998 -0.024875
4999 -0.221087
Name: 价格, Length: 5000, dtype: float64
# 找出大于三倍标准差的数据就是异常值
cf[ses.abs()>3]
运行结果：
出发地 目的地 价格 节省 路线名 酒店 房间 去程航司 去程方式 去程时间 回程航司 回程方式 回程时间
2763 杭州 九寨沟 179500.0 538.0 杭州-九寨沟3天2晚 | 入住九寨沟九乡宾馆 + 成都航空/长龙航空往返机票 九寨沟九乡宾馆 舒适型 4.3分/5分 特惠房(双床) 双床 不含早 1间2晚 成都航空 EU2206 经停 20:30-01:00 长龙航空 GJ8680 经停 20:25-00:50
# 2.找出节省的异常值(价格肯定要比节省的大)
sum(cf.价格 > cf.节省)
cf[cf.节省>cf.价格]
运行结果： 出发地 目的地 价格 节省 路线名 酒店 房间 去程航司 去程方式 去程时间 回程航司 回程方式 回程时间
2904 武汉 西安 949.0 3500.0 武汉-西安3天2晚 | 入住西安西稍门大酒店 + 东方航空往返机票 西安西稍门大酒店 舒适型 3.3分/5分 标准间B(丝路之旅)(... 双床 不含早 1间2晚 东方航空 MU2194 直飞 21:50-23:30 东方航空 MU2462 直飞 19:35-21:20
3108 济南 大连 911.0 3180.0 济南-大连3天2晚 | 入住普兰店科洋大酒店 + 山东航空/厦门航空往返机票 普兰店科洋大酒店 舒适型 4.4分/5分 大床房(限量促销) 大床 不含早 1间2晚 山东航空 SC4916 直飞 19:45-20:50 厦门航空 MF8042 直飞 13:10-14:20
3660 沈阳 青岛 924.0 3200.0 沈阳-青岛3天2晚 | 入住星程酒店青岛台东步行街店 + 青岛航/南方航空往返机票 星程酒店青岛台东步行街店 舒适型 4.2分/5分 大床房(内宾)(提前1... 大床 不含早 1间2晚 青岛航 QW9780 直飞 22:35-00:10 南方航空 CZ6568 直飞 20:55-22:35
# 3.删除1和2中出现的异常数据
先将1和2的异常数据拼接起来获取到数据的行索引
ses1 = pd.concat([cf[cf.节省>cf.价格],cf[ses.abs()>3]])
delete_line = ses1.index
cf.drop(delete_line,inplace=True）
补充
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
plt.rcParams['font.sans-serif'] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = False
# 1.多个图形在一个图片上显示
x = [1,2]
y =[2,4]
plt.subplot(2,2,1) # 接下来的产生的图片会分成四个区域 2行2列 第三个参数就是指定在哪个区域画图
plt.plot(x,y,color='darkorange')
plt.subplot(2,2,4)
plt.plot(x,y,color='gold')
plt.subplot(2,2,2)
plt.plot(x,y,color='pink')
plt.subplot(2,2,3)
plt.bar(x,y,color='cyan')
# 2.直方图
t = pd.Series(np.random.randn(100))
plt.title('直方图',fontsize=30,color='lime')
plt.hist(t) # 默认没有间隙
plt.hist(t,rwidth=0.5) # 设置间隙
plt.hist(t,rwidth=0.5,bins=50) # 设置x轴密度 默认10
plt.savefig('直方图')
plt.show()
# 3.博客园小猿取经密码
xiaoyuanqujing@666
# json格式数据
JSON的6种数据类型
上面两种JSON形式内部都是包含value的，那json的value到底有哪些类型，而且上期我们说JSON其实就是从js数据格式中提取了一个子集，那具体有哪几种数据类型呢？
**************************************
string：字符串，必须要用双引号引起来
**************************************
number：数值,与javascript的number一致，整数(不使用小数点或指数计数法) 最多为15位，小数的最大位数是17。
object:JavaScript的array表示方式[value],可嵌套。
array：数组，javascript的array表示方式[value],可嵌套。
true：空值，javascript的null。
接口ARI
你可以简单的认为接口api就是一个个网址
我们可以访问这些网址拿到我们想要的数据
这些数据一般情况下都会是json格式而不是网页的形式
很丑需要自己做后期处理