数据分析------数据处理（1）

1、数据导入

 　　数据存在的形式多种多样，如文件有 csv、Excel、txt 格式，数据库有 MySQL、Access、SQL Server 等形式。

1.1 导入 txt 文件

 　　read_table 函数，导入 txt 文件，格式如下：

read_table(file, names=[列名1,列名2,...], spe = "", ...)

　　其中，file 为文件路径与文件名；

　　　　　names 为列名，默认为文件中的第一行作为列名；

　　　　　sep 为分隔符，默认为空。

　　注意：（1）txt 文本文件要保存成 UTF-8 格式才不会报错；

　　　　　（2）查看数据框 df 前 n 项数据使用 df.head(n) ；后 m 项数据用 df.tail(m) 。默认均是 5 项数据。

 1.2 导入 csv 文件

 　　read_csv 函数，导入 csv 文件，格式如下：

read_csv(file, names=[列名1,列名2,...], spe = "", ...)

　　其中，file 为文件路径与文件名；

　　　　　names 为列名，默认为文件中的第一行作为列名；

　　　　　sep 为分隔符，默认为空，表示默认导入为第一列。

 1.3 导入 Excel 文件

　　read_excel 函数，导入 Excel 文件，格式如下：

read_excel (file, sheetname, header = 0)

　　其中，file 为文件路径和文件名；

　　　　　sheetname 为 sheet 的名称，如 sheet1 ；

　　　　　header为列名，默认为 0（只接收布尔型数据 0 和 1），一般以文件的第一行作为列名。

　　注意：（1）header 取 0 和 1 的差别，取 0 表示以文件第一行作为表头显示，取 1 表示把文件第一行丢弃，不作为表头显示。有时可以跳过首行或者读取多个表；

　　　　　（2）sheetname 可以指定为读取几个 sheet ，sheet 数目从 0 开始，如 sheetname=[0,2]，则代表读取第 1 页和第 3 页的 sheet；skiprows=[0] 代表读取时跳过第 1 行。

2、数据导出

2.1 导出 csv 文件

　　to_csv函数,，导出csv文件，其格式如下：

to_csv (file _path, sep=",", index=TRUE, header=TRUE)

　　其中，file_path为文件路径；

　　　　　sep为分隔符，默认是逗号；

　　　　　index表示是否导出行序号，默认是TRUE，导出行序号；

　　　　　header表示是否导出列名，默认是TRUE，导出列名。

2.2 导出 Excel 文件

　　to_excel 函数，导出 Excel 文件，其格式如下：

to_excel (file _path,  index=TRUE, header=TRUE)

　　其中，file_path为文件路径；

　　　　　index表示是否导出行序号，默认是TRUE，导出行序号；

　　　　　header表示是否导出列名，默认是TRUE，导出列名。

3、数据清洗

　　数据处理的主要内容包括数据清洗、数据抽取、数据交换和数据计算等。

　　数据清洗是数据价值链中最为关键的步骤，数据清洗就是处理缺失数据以及清除无意义的信息，如删除原始数据中的无关数据、重复数据等。

3.1 重复值的处理

　　在Pandas模块中去掉重复的数据，步骤如下：

　　（1）利用 DataFrame 中的 duplicated 方法，返回一个布尔型的 Series，显示是否有重复行，没有重复的行显示为 FALSE，有重复的行则从第二行起均显示为 TRUE；

　　（2）再利用 DataFrame 中的 drop_duplicates 方法返回一个移除了重复行的 DataFrame。

　　duplicated 方法如下：

duplicated(self, subset=None, keep='first')

 　　其中，subset 用于识别重复的列标签或列标签序列，默认所有列标签；

　　　　　keep＝ 'fist' 表示除了第一次出现外，其余相同的数据被标记为重复；

　　　　　keep = 'last' 表示除了最后一次出现外，其余相同的数据被标记为重复；　

　　　　　keep＝ False表示所有相同的数据都被标记为重复。

　　如果 duplicated 方法和 drop_ duplicates 方法中没有设置参数，则这两个方法默认判断全部列；如果在这两个方法中加入了指定的属性名（或者称为列名），例如 fame.drop_ dup licates(['state'])，则指定部分列（ state列）进行重复项的判断。

　　drop_ duplicates 方法用于把数据结构中行相同的数据去除（保留其中的一行）。

　　代码示例如下：

In [1]: from pandas import DataFrame
           from pandas import Series
           df = DataFrame(({'age': Series([26,85,64,85,85]),'name': Series(['Ben','John','Jerry",'John','John'])})
           df
Out[1]:
     age   name
0   26     Ben
1   85     John
2   64     Jerry
3   85     John
4   85     John

In [2]: df.duplicated()
Out[2]:
0   False
1   False
2   False
3   True
4   True
dtype: bool

In[3]: df.duplicated('name')
out[3]:
0   False
1   False
2   False
3   True
4   True
dtype: bool

In[4]: df.drop_duplicates('age')
out[4]:
     age   name
0   26     Ben    
1   85     John
2   64     Jerry           

3.2 缺失值处理

　　缺失值的处理包括以下两个步骤：

　　（1）缺失数据的识别

　　Pandas 使用浮点值 NaN 表示浮点和非浮点数组里的缺失数据，并使用 .isnull 和 .notnull 函数来判断缺失情况。

In [1]: from pandas import DataFrame
           from pandas import read_excel
           df = read_excel(r'c:Users	est	est.xisx', sheetname = 'Sheet2')
           df
Out[1]:
         学号       姓名   英语     数分     高代    解几
0    2308024241    成龙    76      40.0    23.0    60
1    2308024244    周怡    66      47.0    47.0    44
2    2308024251    张波    85      NaN     45.0    60
3    2308024249    朱浩    65      72.0    62.0    71
4    2308024219    封印    73      61.0    47.0    46
5    2308024201    退培    60      71.0    76.0    71
6    2308024347    李华    67      61.0    65.0    78
7    2308024307    陈田    76      69.0    NaN     69
8    2308024326    余皓    66      65.0    61.0    71
9    2308024219    封印    73      61.0    47.0    46      

In[2]: df.isnull()
Out[2]:
           学号     姓名      英语       数分       高代      解几
0        False    False     False     False     False     False
1        False    False     False     False     False     False
2        False    False     False     True      False     False
3        False    False     False     False     False     False
4        False    False     False     False     False     False
5        False    False     False     False     False     False
6        False    False     False     False     False     False
7        False    False     False     False     True      False
8        False    False     False     False     False     False
9        False    False     False     False     False     False

In[3]: df.notnull()
Out[3]:
          学号     姓名      英语      数分     高代     解几
0        True    True     True     True     True    True
1        True    True     True     True     True    True
2        True    True     True     False    True    True
3        True    True     True     True     True    True
4        True    True     True     True     True    True
5        True    True     True     True     True    True
6        True    True     True     True     True    True
7        True    True     True     True     False   True
8        True    True     True     True     True    True
9        True    True     True     True     True    True

　　（2）缺失数据的处理

　　对于缺失数据的处理方式有以下几种：

　　① dropna()：去除数据结构中值为空的数据行；

In [4]:newDF = df.dropna()
         newDF
Out[4]:
         学号       姓名   英语     数分     高代    解几
0    2308024241    成龙    76      40.0    23.0    60
1    2308024244    周怡    66      47.0    47.0    44
3    2308024249    朱浩    65      72.0    62.0    71
4    2308024219    封印    73      61.0    47.0    46
5    2308024201    退培    60      71.0    76.0    71
6    2308024347    李华    67      61.0    65.0    78
8    2308024326    余皓    66      65.0    61.0    71
9    2308024219    封印    73      61.0    47.0    46     

　　② df.fillna()：用其他数据值代替 NaN，有事直接删除空数据会影响分析结果，因此可以对数据进行补充；

In [5]: df.fillna('?')
Out[5]:
         学号       姓名   英语     数分     高代    解几
0    2308024241    成龙    76      40.0    23.0    60
1    2308024244    周怡    66      47.0    47.0    44
2    2308024251    张波    85      ?       45.0    60
3    2308024249    朱浩    65      72.0    62.0    71
4    2308024219    封印    73      61.0    47.0    46
5    2308024201    退培    60      71.0    76.0    71
6    2308024347    李华    67      61.0    65.0    78
7    2308024307    陈田    76      69.0    ?       69
8    2308024326    余皓    66      65.0    61.0    71
9    2308024219    封印    73      61.0    47.0    46  

　　③ df.fillna(methon='pad')：用前一个数据值代替 NaN ；

In [6]: df.fillna(method='pad')
Out[6]:
         学号       姓名   英语     数分     高代    解几
0    2308024241    成龙    76      40.0    23.0    60
1    2308024244    周怡    66      47.0    47.0    44
2    2308024251    张波    85      47.0    45.0    60
3    2308024249    朱浩    65      72.0    62.0    71
4    2308024219    封印    73      61.0    47.0    46
5    2308024201    退培    60      71.0    76.0    71
6    2308024347    李华    67      61.0    65.0    78
7    2308024307    陈田    76      69.0    65.0    69
8    2308024326    余皓    66      65.0    61.0    71
9    2308024219    封印    73      61.0    47.0    46  

　　④ df.fillna(method='bfill')：用后一个数据值代替 NaN ；

In [7]: df.fillna(method='bfill')
Out[7]:
         学号       姓名   英语     数分     高代    解几
0    2308024241    成龙    76      40.0    23.0    60
1    2308024244    周怡    66      47.0    47.0    44
2    2308024251    张波    85      72.0    45.0    60
3    2308024249    朱浩    65      72.0    62.0    71
4    2308024219    封印    73      61.0    47.0    46
5    2308024201    退培    60      71.0    76.0    71
6    2308024347    李华    67      61.0    65.0    78
7    2308024307    陈田    76      69.0    61.0    69
8    2308024326    余皓    66      65.0    61.0    71
9    2308024219    封印    73      61.0    47.0    46  

　　⑤ df.fillna(df.mean())：用平均值或者其他描述性统计量来代替 NaN ；

In [8]: df.fillna(df.mean())
Out[8]:
         学号       姓名   英语     数分      高代    解几
0    2308024241    成龙    76      40.0     23.0    60
1    2308024244    周怡    66      47.0     47.0    44
2    2308024251    张波    85      60.778   45.0    60
3    2308024249    朱浩    65      72.0     62.0    71
4    2308024219    封印    73      61.0     47.0    46
5    2308024201    退培    60      71.0     76.0    71
6    2308024347    李华    67      61.0     65.0    78
7    2308024307    陈田    76      69.0     52.556  69
8    2308024326    余皓    66      65.0     61.0    71
9    2308024219    封印    73      61.0     47.0    46  

　　⑥ df.fillna(df.mean()['填补列名':'计算均值的列名'])：可以使用选择列的均值进行缺失值的处理 ； 

In [9]: df.fillna(df.mean()['高代':'解几'])
Out[9]:
         学号       姓名   英语     数分      高代    解几
0    2308024241    成龙    76      40.0     23.0    60
1    2308024244    周怡    66      47.0     47.0    44
2    2308024251    张波    85      NaN      45.0    60
3    2308024249    朱浩    65      72.0     62.0    71
4    2308024219    封印    73      61.0     47.0    46
5    2308024201    退培    60      71.0     76.0    71
6    2308024347    李华    67      61.0     65.0    78
7    2308024307    陈田    76      69.0     52.556  69
8    2308024326    余皓    66      65.0     61.0    71
9    2308024219    封印    73      61.0     47.0    46  

　　⑦ df.fillna({'列名1':值1, '列名2':值2})：可以传入一个字典，对不同的列填充不同的值；

In [10]: df.fillna({'数分':100 , '高代':0 })
Out[10]:
         学号       姓名   英语     数分      高代    解几
0    2308024241    成龙    76      40.0     23.0    60
1    2308024244    周怡    66      47.0     47.0    44
2    2308024251    张波    85      100.0    45.0    60
3    2308024249    朱浩    65      72.0     62.0    71
4    2308024219    封印    73      61.0     47.0    46
5    2308024201    退培    60      71.0     76.0    71
6    2308024347    李华    67      61.0     65.0    78
7    2308024307    陈田    76      69.0     0.0     69
8    2308024326    余皓    66      65.0     61.0    71
9    2308024219    封印    73      61.0     47.0    46  

 　　⑧ strip()：清除字符型数据左右（首尾）指定的字符，默认为空格，中间的不清除。

In [11]: from pandas import DataFrame
           from pandas import Series
           df = DataFrame(({'age': Series([26,85,64,85,85]),'name': Series(['Ben','John','Jerry",'John','John'])})
           df
Out[11]:
     age   name
0   26     Ben
1   85     John
2   64     Jerry
3   85     John
4   85     John

In[12]:df['name'].str.strip()
Out[12]:
0    Ben
1    John
2    Jerry
3    John
4    John
Name: name, dtype: object

 4、数据抽取

4.1 字段抽取

　　抽出某列上指定位置的数据做成新的列，格式如下：

slice (start, stop)

　　其中，start 表示开始位置，stop 表示结束位置。

 4.2 字段拆分

　　按指定的字符 sep ，拆分已有的字符串，格式如下：

split(sep , n , expand = False)

　　其中，sep 表示用于分割字符串的分隔符；n 表示分割后新增的列数； expand 表示是否展开为数据框，默认为 FALSE ，返回 Series，若为 TRUE，返回 DataFrame。

4.3 重置索引

　　指定某列为索引，以便于对其他数据进行操作，格式如下：

df.set_index('列名')

　　示例代码如下：

In [1]: from pandas import DataFrame
           from pandas import Series
           df = DataFrame(({'age': Series([26,85,64,85,85]),'name': Series(['Ben','John','Jerry",'John','John'])})
           df1 = df.set_index('name')
           df1
Out[1]:
name      age   
Ben       26
John      85     
Jerry     64
John      85
John      85

In[2]: df1.ix['John']　　#ix函数是指通过行标签或者行号索引行数据，类似还有 loc、iloc等。
Out[2]:
name      age   
John      85     
John      85
John      85

4.4 记录抽取

　　根据一定条件，对数据进行抽取，格式如下：

df[condition]

　　其中，condition 表示过滤条件，返回值为 DataFrame ，常见的 condition 类型有：比较运算、范围运算、空置运算、字符匹配和逻辑运算等。

4.5 随机抽样

　　随机从数据中按照一定的行数或者比例抽取数据，格式如下：

numpy.random.randint(start , end , num)

　　其中，参数分别表示范围开始值、结束值、抽样个数。返回值为行的索引值序列。

　　代码示例如下：

In[1]: from pandas import read_excel
          df = read_excel(r'C:Users	est	est4.xls)
          df.head()

Out[1]:
       学号           电话
0   2308024241   18922254812
1   2308024244   13522255003
2   2308024251   13422259938
3   2308024249   18822256753
4   2308024219   18922253721

In[2]: r = numpy.random.randint(0,3,2)
Out[2]:
       学号           电话
0   2308024241   18922254812
3   2308024249   18822256753

4.6 通过索引抽取数据

　　（1）使用索引名（标签）选取数据：df.loc[行标签 , 列标签]

　　df.loc 的第一个参数为行标签，第二个参数为列标签（可选，默认所有列标签），两个参数既可以是列表也可以是单个字符，如果两个参数都为列表，则返回 DataFrame ，否则为 Series 。当同时抽取多行时，行的索引必须是列表的形式，而不能简单地用逗号分隔。

　　（2）使用索引号选取数据：df.loc[行索引号，列索引号]

4.7 字典数据抽取

　　值将字典数据抽取为 DataFrame，有如下三种方法：

　　（1）字典的 key 和 value 各作为一列，示例代码如下：

In[1]: import pandas 
         from pandas import DataFrame
         d1 = {'a':'[1,2,3]' , 'b':'[0,1,2]'}
         a1 = pandas.DataFrame.from_dict(d1, orient = 'index')　　#将字典转化为 DataFrame，且key 列做成了 index
         a1.index.name = 'key'　　#将 index 的列名改为 'key'
         b1 = a1.reset_index()　　#重新增加 index，并将原 index 做成了 'key'列
         b1.columns = ['key' , 'value']　　#对列重新命名为 'key' 和 'value'
         b1
Out[1]:
      key     value
0      b     [0,1,2]
1      a     [1,2,3]

　　（2）字典里的每一个元素作为一列（同长），示例代码如下：

In[2]:d2 = {'a':'[1,2,3]' , 'b':'[0,1,2]'}　　#字典的 value 必须长度相等
         a2 = DataFame(d2)
         a2
Out[2]:
      a     b
0     1     4
1     2     5
2     3     6

　　（3）字典里的每一个元素作为一列（不同长），示例代码如下：

In[3]: d = {'one' : pandas.Series([1,2,3]) , 'two' : pandas.Series([1,2,3,4])}　　#字典的 value 必须长度可以不等
          df = pandas.DataFrame(d)
          df
Out[3]:
　　　one 　　two
0 　　1.0 　　1
1 　　2.0 　　2
2 　　3.0 　　3
3 　　NaN 　　4

--------------------------------------------

这里暂时只讲到数据导入、数据导出、数据清洗、数据抽取，后面将会讲到的还有数据处理的其他部分，如：插入记录、修改记录等。