pandas
#有许多数据结构,比python多
0 .panda的导入 以及df,Series
导入pandas：
import pandas as pd
from pandas import DataFrame,Series
import numpy as np
一.Series
Series是一种类似与一维数组的对象，由下面两个部分组成：
- values：一组数据（ndarray类型）
- index：相关的数据索引标签
a.Series的创建
两种创建方式：
(1) 由列表创建
默认索引为0到N-1的整数型索引
使用列表创建Series
Series(data=[1,2,3])
自带隐形索引
可以通过设置index参数指定索引
s = Series(data=[1,2,3],index=['a','b','c'])
(2) 由numpy数组创建
Series(data=np.random.randint(0,100,size=(3,)))
由numpy数组创建
b.Series的索引和切片
c.Series的基本概念
1查看去重相加
s.head() : 查看前n个
tail() : 查看后n个值
s.unique() : Series元素进行去重
当索引没有对应的值时，可能出现缺失数据显示NaN（not a number）的情况
使得两个Series进行相加
s1 = Series(data=[1,2,3,4],index=['a','b','c','d'])
s2 = Series(data=[1,2,3,4],index=['a','b','e','d'])
s = s1 + s2
2 使用函数检测缺失数据
pd.isnull()，
pd.notnull()，
s.isnull(),
notnull()
s[[True,True,False,False,True]] #如果将布尔值作为Serrise的索引，则只保留True对应的元素值 # 根据这一属性 后面提取符合条件的值 当有判断时, 作业里用到
s[s.notnull()]
3 Series之间的运算
- 在运算中自动对齐不同索引的数据
- 如果索引不对应，则补NaN
二、DataFrame
DataFrame是一个【表格型】的数据结构。DataFrame由按一定顺序排列的多列数据组成。设计初衷是将Series的使用场景从一维拓展到多维。DataFrame既有行索引，也有列索引。
- 行索引：index
- 列索引：columns
- 值：values
a. DataFrame的创建
最常用的方法是传递一个字典来创建。DataFrame以字典的键作为每一【列】的名称，以字典的值（一个数组）作为每一列。
此外，DataFrame会自动加上每一行的索引。
使用字典创建的DataFrame后，则columns参数将不可被使用。
同Series一样，若传入的列与字典的键不匹配，则相应的值为NaN。
1 由numpy数组创建
DataFrame(data=np.random.randint(60,100,size=(3,4)))
多维的
(1) 自定义索引
df = DataFrame(data=np.random.randint(60,100,size=(3,4)),index=['A','B','C'],columns=['a','b','c','d'])
b.DataFrame属性
values、columns、index、shape
values
array([[92, 67, 79, 68],
[84, 66, 61, 66],
[84, 79, 66, 82]])
columns Index(['A', 'B', 'C'], dtype='object')
index Index(['a', 'b', 'c', 'd'], dtype='object')
shape (3, 4)
c.字典格式
dic = {
'张三':[150,150,150,150],
'李四':[0,0,0,0]
}
df = DataFrame(data=dic,index=['语文','数学','英语','理综'])
df
d.DataFrame的索引
1 对列进行索引
- 通过类似字典的方式 df['q']
- 通过属性的方式 df.q
可以将DataFrame的列获取为一个Series。返回的Series拥有原DataFrame相同的索引，且name属性也已经设置好了，就是相应的列名。
df = DataFrame(data=np.random.randint(60,100,size=(3,4)),index=['A','B','C'],columns=['a','b','c','d'])
df
size(3,4) 必须和index 行 columns 列对应
获取前两列
df[['a','c']]
(1) 修改列索引
df.columns = ['a','c','b','d']
df
2 对行进行索引
- 使用.loc[]加index来进行行索引
- 使用.iloc[]加整数来进行行索引
同样返回一个Series，index为原来的columns。
对第一行的索引:
df.iloc[0]
df.loc['A']
对第一二行的索引:
df.loc[['A','B']]
3 对元素索引的方法
- 使用列索引
- 使用行索引(iloc[3,1] or loc['C','q']) 行索引在前，列索引在后
df.iloc[1,2] # 第二行第三列
df.loc[['B','C'],'b'] # 第B到C行,第b列
e.DataFrame的切片：
【注意】 直接用中括号时：
- 索引表示的是列索引
- 切片表示的是行切片
df[0:2] 行
df.iloc[:,0:2] 列
在loc和iloc中使用切片(切列) ： df.loc['B':'C','丙':'丁']
f.总结：
- 索引：
- 取行：df.loc['A']
- 取列：df['a']
- 取元素：df.iloc[1,2]
- 切片：
- 切行：df[0:2]
- 切列：df.iloc[:,0:2]
g.DataFrame的运算
DataFrame之间的运算
同Series一样：
- 在运算中自动对齐不同索引的数据
- 如果索引不对应，则补NaN
z. 小总结:
索引默认是列,所以用行的话,除了索引取值,ddd['语文':'语文'] 用 loc['语文']
切片默认是行 所以用列的话,除了取一列ddd['李四'],取多列,用loc[:,'张三':'李四']
做题
ddd.loc[:,'张三':'刘二']+10
回想
案例分析
1. 收成比开始涨幅3％的股票
2. 今日开比昨日收减幅2％的股票
思路把 昨日收往下下滑一行
shift[1]
然后以日期为标识
riqi = [([open]-[close])/close<3%].index
[riqi][]
3. 从2010年每月第一个开买进1手,每年末的第一个月卖出所有,如果到今天,能赚多少
dic['y'] = ['A'][-1] # 去2019 显示问题还是对的
dic['m'] = ['M'][:-1]['open'].sum * 100 # 每年每月的
dic['L'] = ['M']['-1']['close'] # 每年最后一个月的
dic['L'] * 1200 + dic['']
今日份错误:
size 没有定义
DataFrame(data=np.random.randint(60,100,size(3,4)))
true:
DataFrame(data=np.random.randint(60,100,size=(3,4)))
作业
作业1
1 假设ddd是期中考试成绩，ddd2是期末考试成绩，请自由创建ddd2，并将其与ddd相加，求期中期末平均值。
ddd = DataFrame(data=np.random.randint(100,120,size=(4,4)),index=['语文','数学','英语','理综'],columns=['张三','李四','王五','刘二'])
ddd2 = DataFrame(data=np.random.randint(100,120,size=(4,4)),index=['语文','数学','英语','理综'],columns=['张三','李四','王五','刘二'])
ddd_avg = ddd+ddd2
ddd_avg.mean()
2 假设张三期中考试数学被发现作弊，要记为0分，如何实现？
# ddd[2,1] = 0 # 错误,属于直接加列
ddd.drop(labels=(2,1),axis=1,inplace=True)
ddd.loc['数学',['张三']] = 0
3 李四因为举报张三作弊立功，期中考试所有科目加100分，如何实现？
ddd['李四']+100
4 后来老师发现有一道题出错了，为了安抚学生情绪，给每位学生每个科目都加10分，如何实现？
ddd.loc[:,'张三':'刘二']+10
作业2
1查看一个股盘
2输出该股票所有收盘比开盘上涨3%以上的日期。
3输出该股票所有开盘比前日收盘跌幅超过2%的日期。
4假如我从2010年1月1日开始，每月第一个交易日买入1手股票，每年最后一个交易日卖出所有股票，到今天为止，我的收益如何？
下载tushare 包 : pip3 install tushare
导入数据: 比如 茅台是 600519
1数据的提取处理
#使用tushare包获取某股票的历史行情数据。
import tushare as ts
df = ts.get_k_data(code='600519',start='2000-01-01')# 因为茅台是从2001年左右开始股 get_k_data(code='',start='') 股票号, 开始日期
df.to_csv('./600519.csv') # 转成csv存储到本地
#将date这一列作为源数据的行索引且将数据类型转成时间类型
df = pd.read_csv('./600519.csv',index_col='date',parse_dates=['date'])
#当做第一题,二题时,直接提取index即得到答案 , 还因为日期是惟一的也可以做索引
df.drop(labels='Unnamed: 0',axis=1,inplace=True) # 删除多余的索引列
df # 查看数据是否插入 4000多条
2输出该股票所有收盘比开盘上涨3%以上的日期。
伪代码: (收盘-开盘)/开盘 > 3%
(df['close']-df['open'])/df['open'] > 0.03
#将上述表达式返回的布尔值作为df的行索引：取出了所有符合需求的行数据
df.loc[(df['close']-df['open'])/df['open'] > 0.03]# 如果是正确的的,则loc会采纳得到所有的
加上index就得到了日期 .index
以解析成时间格式的日期为index的数据
得到的日期格式
3输出该股票所有开盘比前日收盘跌幅超过2%的日期。
伪代码: (开盘-前日收盘)/前日收盘 < -2%
用到的知识点
某一列.shift(1) #选中的数据往下面移动1格 就可以对修改后的同行的数据操作open和close了
(df['open'] - df['close'].shift(1) / df['close'].shift(1) < -0.02)
df.loc[(df['open'] - df['close'].shift(1) / df['close'].shift(1) < -0.02)].index
4 赚了多少
假如我从2010年1月1日开始，每月第一个交易日买入1手股票，每年最后一个交易日卖出所有股票，到今天为止，我的收益如何？
从2010年开始 1月1日(只能表示年! 月日怎么表示?)# df['2010-09-10':'2019-09-10']?
df['2010':'2019']
不一定从1月04开始的
# 数据的重新取样
df_monthly = df.resample('M').frist() # 每月第一个交易日买入1手股票 此为1股要*100
df_yearly = df.resample('A').last()[:-1] # 每年最后一个交易日卖出, 最后一年还没过完,没法收盘 所以[:-1]
recv_money = df_monthly['open'].sum()*100 # 求和乘100 #去开盘数据求和
send_money = df_yearly['close'].sum()*1200 # 取收盘数据1年的12个月,
再加上 df['close'][-1]*800 #最后一个月,不是12月了,是8月的 而且只能df['close'] 取值
相减即得股票盈利