pandas——read_csv

pandas.read_csv

1.filepath_or_buffer：设置需要访问的文件的有效路径.

2.sep：str, default ','.

指定读取文件的分隔符.支持自定义分隔符.

3.delimiter：str, default None

定界符.备选分隔符（如果指定该参数，则sep参数失效）

4.header：str, default None

指定作为整个数据集列名的行.如果数据集中没有列名，则需要设置header=None.对有表头的数据识别第一行作为header.

5.names ：array-like, default None

在headers=None的前提下，names参数可以为无表头（列名）的数据设置一个列名

6.index_col：int or sequence or False, default None

指定数据集中的某1列作为索引(index_col = 1/2).

7.usecols：array-like, default None

指定只读取文件中的某一列数据.例如：只读取前四列，usecols = [0,1,2,3])

8.squeeze：boolean, default False

如果文件值包含一列，则返回一个Series.

pandas.read_csv

9.dtype : Type name or dict of column -> type, default None

每列数据的数据类型。例如 {‘a’: np.float64, ‘b’: np.int32}

10.skiprows : list-like or integer, default None

需要忽略的行数（从文件开始处算起），或需要跳过的行号列表（从0开始）。

11.nrows : int, default None

需要读取的行数（从文件头开始算起）。

12.na_values: scalar, str, list-like, or dict, default None

一组用于替换NA/NaN的值。如果传参，需要制定特定列的空值。默认'N/A','NA','NULL', 'NaN', 'nan'.

13.keep_default_na : bool, default True

如果指定na_values参数，并且keep_default_na =False，那么默认的NaN将被覆盖，否则添加。

14.na_filter : boolean, default True

是否检查丢失值（空字符串或者是空值）。对于大文件来说数据集中没有空值，设定为False可以提升读取速度。

13.skip_blank_lines : boolean, default True
如果为False，则记为NaN；否跳过。

14.parse_dates : boolean or list of ints or names or list of lists or dict, default False

parse_dates参数：
将csv中的时间字符串转换成日期格式

TestTime.csv文件：
"name","time","date"
'Bob',21:33:30,2019-10-10
'Jerry',21:30:15,2019-10-10
'Tom',21:25:30,2019-10-10
'Vince',21:20:10,2019-10-10
'Hank',21:40:15,2019-10-10


import pandas as pd
(1)、
df=pd.read_csv('./TestTime.csv',parse_dates=[['time','date']])
print(df)
"""
指定parse_dates = [ ['time', 'date'] ]，即将[ ['time', 'date'] ]两列的字符串先合并后解析方可。合并后的新列会以下划线'_'连接原列名命名
本例中解析后的命名为：time_date,解析得到的日期格式列会作为DataFrame的第一列。
在index_col指定表格中的第几列作为Index时需要小心。如本例中，指定参数index_col=0，
则此时会以新生成的time_date列而不是name作为Index。因此保险的方法是指定列名，如index_col = 'name'
结果：
            time_date     name
0 2019-10-10 21:33:30    'Bob'
1 2019-10-10 21:30:15  'Jerry'
2 2019-10-10 21:25:30    'Tom'
3 2019-10-10 21:20:10  'Vince'
4 2019-10-10 21:40:15   'Hank'
"""

(2)、
df=pd.read_csv('./TestTime.csv',parse_dates=['time','date'])
print(df)
"""
如果写成了parse_dates=['time', 'date'] ，pd.read_csv()会分别对'time', 'date'进行字符串转日期，此外还会造成一个小小的麻烦。
由于本例中的Time时间列格式为'HH:MM:SS'，parse_dates默认调用dateutil.parser.parse解析为Datetime格式，在解析time这一列时，会自作主张在前面加上一个当前日期。
结果：
      name                time         date
0    'Bob' 2019-10-17 21:33:30   2019-10-10
1  'Jerry' 2019-10-17 21:30:15   2019-10-10
2    'Tom' 2019-10-17 21:25:30   2019-10-10
3  'Vince' 2019-10-17 21:20:10   2019-10-10
4   'Hank' 2019-10-17 21:40:15   2019-10-10
"""


【注】：read_csv()方法指定parse_dates会使得读取csv文件的时间大大增加


(3)、
df=pd.read_csv('./TestTime.csv',parse_dates=[['time','date']],infer_datetime_format=True)
print(df)
"""
infer_datetime_format=True可显著减少read_csv命令日期解析时间
"""


(4)、
df=pd.read_csv('./TestTime.csv',parse_dates=[['time','date']],infer_datetime_format=True,keep_date_col=True)
print(df)
"""
keep_date_col=True/False参数则是用来指定解析为日期格式的列是否保留下来，True保留，False不保留
本例中=True即原解析的列time和date被保留下来
结果：
            time_date     name      time        date
0 2019-10-10 21:33:30    'Bob'  21:33:30  2019-10-10
1 2019-10-10 21:30:15  'Jerry'  21:30:15  2019-10-10
2 2019-10-10 21:25:30    'Tom'  21:25:30  2019-10-10
3 2019-10-10 21:20:10  'Vince'  21:20:10  2019-10-10
4 2019-10-10 21:40:15   'Hank'  21:40:15  2019-10-10
"""

boolean. True -> 解析索引
[1, 2, 3] -> 解析1,2,3列的值作为独立的日期列；
[[1, 2]] -> 合并1,2列作为一个日期列使用
{'time': [1, 2]} -> 将1,2列合并，并给合并后的列起名为"time"

15.encoding : str, default None
指定字符集类型，通常指定为'utf-8'，支持切换其它格式.

# 一次性读取文件夹中所有CSV数据
import os
import pandas as pd
frame = []
path = (".../COVID-19-master/csse_covid_19_data/csse_covid_19_daily_reports")
for file in os.listdir(path):
    filepath = path + "/" + file
    # print(filepath)
    frame.append(pd.read_csv(filepath,usecols = 
    ["Country/Region","Province/State",
    "Last Update","Confirmed"]))
df = pd.concat(frame,ignore_index = True)
print(df.head(10)