# -*- coding: utf-8 -*- # @Date: 2017-08-26 # @Original: import numpy as np stock_cnt = 200 view_days = 504 # 生成序列 stock_day_change = np.random.standard_normal((stock_cnt, view_days)) stock_day_change.shape import pandas as pd 列出前5行数据 pd.DataFrame(stock_day_change).head(5) 4.1.2 索引行列序列 # 从2017-1-1向上时间递进，单位freq='1d'即1天 days = pd.date_range('2017-1-1', periods=stock_day_change.shape[1], freq='1d') # 股票0 -> 股票stock_day_change.shape[0] stock_symbols = ['股票 ' + str(x) for x in range(stock_day_change.shape[0])] # 分别设置index和columns df = pd.DataFrame(stock_day_change, index=stock_symbols, columns=days) # 表4-3所示 df.head(2) df_stock0 = df['股票 0'] print(type(df_stock0)) # 打印出Series的前5行数据, 与DataFrame一致 # <class 'pandas.core.series.Series'> df_stock0.head() 4.2.1 数据整体分析 info()查看数据是否有缺失，及各个子数据的数据类型 tsla_df.info() describe()展示每组数据的统计信息 tsla_df.describe() 4.2.2 索引选取和切片选择 使用loc配合行名称、列名称选取切片示例如下 # 2014-07-23至2014-07-31 开盘价格序列 tsla_df.loc['2014-07-23':'2014-07-31', 'open'] iloc配合行索引数值及列索引数值选取切片 # [1:5]：(1，2，3，4)，[2:6]: (2, 3, 4, 5) tsla_df.iloc[1:5, 2:6] 根据列名混合选择 tsla_df.[['close','high','low']][0:3] 4.2.3 逻辑条件进行数据筛选 # abs为取绝对值 # 涨跌幅大于8%，交易成交量大于统计周期内的平均值的2.5倍 tsla_df[(np.abs(tsla_df.netChangeRatio) > 8) & (tsla_df.volume > 2.5 * tsla_df.volume.mean())] 4.2.4 数据转换与规整 tsla_df.sort_index(by='netChangeRatio')[:5] # 如果一行的数据中存在na就删除这行 tsla_df.dropna() # 通过how控制 如果一行的数据中全部都是na就删除这行 tsla_df.dropna(how='all') # 使用指定值填充na， inplace代表就地操作，即不返回新的序列在原始序列上修改 tsla_df.fillna(tsla_df.mean(), inplace=True).head() # pct_change()对序列从第二项开始向前做减法后再除以前一项，即涨跌幅 tsla_df.close.pct_change()[:3] # 将change_ratio转变成与tsla_df.p_change字段一样的百分百，同样保留两位小数 np.round(change_ratio[-5:] * 100, 2) 4.2.5 数据本地序列化操作 tsla_df.to_csv('../gen/tsla_df.csv', columns=tsla_df.columns, index=True) tsla_df_load = pd.read_csv('../gen/tsla_df.csv', parse_dates=True, index_col=0) tsla_df_load.head()