《Python for Data Science》笔记之着手于数据

一、导入数据 

1.1来自内存的数据

将数据上传至内存，读取。

with open("name.txt", 'r') as open_file:
    print('name.txt content:
' + open_file.read())

流化读取

with open("name.txt", 'r') as open_file:
    for observation in open_file:
        print('Reading Data: ' + observation)

采样数据

将部分的数据读取以备使用。

规律性采样：

n = 3
with open("Colors.txt", 'r') as open_file:
    for j, observation in enumerate(open_file):
        if j % n==0:
            print('Reading Line: ' + str(j) + 
            ' Content: ' + observation)

随机采样：

from random import random
sample_size = 0.25
with open("Colors.txt", 'r') as open_file:
    for j, observation in enumerate(open_file):
        if random()<=sample_size:
            print('Reading Line: ' + str(j) + 
            ' Content: ' + observation)

1.2使用pandas读取结构化数据

文本数据：

import pandas as pd
color_table = pd.read_table("Colors.txt")
print(color_table)

CSV数据：

import pandas as pd
titanic = pd.read_csv("Titanic.csv")
X = titanic[['age']]
Y = titanic[['age']].values
print(X)
print(Y)

Excel数据：

import pandas as pd
trig_values = pd.read_excel("Values.xls", 'Sheet1', index_col=None, na_values=None)
print (trig_values)

1.3读取非结构化数据（如图像，skimage）

from skimage.io import imread
from skimage.transform import resize 
from matplotlib import pyplot as plt
import matplotlib.cm as cm

example_file = ("http://upload.wikimedia.org/" +
    "wikipedia/commons/7/7d/Dog_face.png")
image = imread(example_file, as_grey=True)
plt.imshow(image, cmap=cm.gray)

输出图像尺寸：

print("data type: %s, shape: %s" % 
      (type(image), image.shape))

裁剪图像：

image2 = image[5:70,0:70]
plt.imshow(image2, cmap=cm.gray)

压缩图像：

image3 = resize(image2, (30, 30), mode='constant')
plt.imshow(image3, cmap=cm.gray)
print("data type: %s, shape: %s" % 
      (type(image3), image3.shape))

因为图像数据是二维矩阵，扁平化以存储在数据中：

image_row = image3.flatten()
print("data type: %s, shape: %s" % 
      (type(image_row), image_row.shape))

输出结果为：

data type: <class 'numpy.ndarray'>, shape: (900,)

也就是将原先30*30转化成900个元素的数组。

1.4管理来自数据库中的数据

略

1.5网页数据

网页代码如下：

<MyDataset>
    <Record>
        <Number>1</Number>
        <String>First</String>
        <Boolean>True</Boolean>
    </Record>
    <Record>
        <Number>2</Number>
        <String>Second</String>
        <Boolean>False</Boolean>
    </Record>
    <Record>
        <Number>3</Number>
        <String>Third</String>
        <Boolean>True</Boolean>
    </Record>
    <Record>
        <Number>4</Number>
        <String>Fourth</String>
        <Boolean>False</Boolean>
    </Record>
</MyDataset>

解析代码：

from lxml import objectify
import pandas as pd

xml = objectify.parse(open('XMLData.xml'))
root = xml.getroot()
df = pd.DataFrame(columns=('Number', 'String', 'Boolean'))

for i in range(0,4):
    obj = root.getchildren()[i].getchildren()
    row = dict(zip(['Number', 'String', 'Boolean'], 
                   [obj[0].text, obj[1].text, 
                    obj[2].text]))
    row_s = pd.Series(row)
    row_s.name = i
    df = df.append(row_s)
    
print (df)

运行结果：

  Number  String Boolean
0      1   First    True
1      2  Second   False
2      3   Third    True
3      4  Fourth   False

二、整理数据

用numpy（速度快）和pandas工作

2.1了解数据

 去重，使用 pd.DataFrame.duplicated，重复的返回True

from lxml import objectify
import pandas as pd

xml = objectify.parse(open('XMLData2.xml'))
root = xml.getroot()
df = pd.DataFrame(columns=('Number', 'String', 'Boolean'))

for i in range(0,4):
    obj = root.getchildren()[i].getchildren()
    row = dict(zip(['Number', 'String', 'Boolean'], 
                   [obj[0].text, obj[1].text, 
                    obj[2].text]))
    row_s = pd.Series(row)
    row_s.name = i
    df = df.append(row_s)
    
search = pd.DataFrame.duplicated(df)
print (search[search==False])

使用 print (df.drop_duplicates()) 直接打印出去重之后的结果。

---

查看数据中潜在的问题，例如：

• 重复变量
• 数据错误
• 丢失数据
• 变量转换

import pandas as pd

df = pd.DataFrame({'A': [0,0,0,0,0,1,1],
                   'B': [1,2,3,5,4,2,5],
                   'C': [5,3,4,1,1,2,3]})

a_group_desc = df.groupby('A').describe()
print (a_group_desc)

describe用于获取统计信息，可以直接看出数据集中是否有问题，返回结果如下：

unstack()可以用于格式化结果，使其更美观

用loc()指定标签获取元素：

print (unstacked.loc[:,['count','mean']])

2.2 创建分类变量

import pandas as pd

car_colors = pd.Series(['Blue', 'Red', 'Green'], dtype='category')
car_data = pd.Series(
    pd.Categorical(['Yellow', 'Green', 'Red', 'Blue', 'Purple'],
                   categories=car_colors, ordered=False))
find_entries = pd.isnull(car_data)

print (car_colors)
print (car_data)
print (find_entries[find_entries == True]) 

重命名层级：

import pandas as pd

car_colors = pd.Series(['Blue', 'Red', 'Green'], 
                       dtype='category')
car_data = pd.Series(
    pd.Categorical(
        ['Blue', 'Green', 'Red', 'Blue', 'Red'],
        categories=car_colors, ordered=False))


car_colors.cat.categories = ["Purple", "Yellow", "Mauve"]
car_data.cat.categories = car_colors
print (car_data)

结果如下，就是直接根据位置进行替换。

2.3 处理丢失值

isnull()：判断是否为空

fillna()：用一个值填充空值

dropna()：丢弃空值

为丢失数据估值：

import pandas as pd
import numpy as np
from sklearn.preprocessing import Imputer

s = pd.Series([1, 2, 3, np.NaN, 5, 6, None])

imp = Imputer(missing_values='NaN', 
              strategy='mean', axis=0)

imp.fit(np.array([1, 2, 3, 4, 5, 6, 7]).reshape(1,-1))

x = pd.Series(imp.transform(s.values.reshape(1,-1)).tolist()[0])

print (x)

2.4 剪切和变换数据

1.切分，过滤，筛选数据

2.排序和打乱

import pandas as pd
import numpy as np

df = pd.DataFrame({'A': [2,1,2,3,3,5,4],
                   'B': [1,2,3,5,4,2,5],
                   'C': [5,3,4,1,1,2,3]})

df = df.sort_index(by=['A', 'B'], ascending=[True, True])
df = df.reset_index(drop=True)
print (df)

index = df.index.tolist()
np.random.shuffle(index)
df = df.ix[index]
df = df.reset_index(drop=True)

print (df)

sort_index(by=['A', 'B'], ascending=[True, True])排序，以A,B作为索引，升序排列；

调用reset_index(drop=True)显示结果，drop表示是否插入原索引，true表示不插入；

random.shuffle()创建新的索引顺序，然后按照这个新顺序应用于df

结果为：

3.聚合数据

import pandas as pd

df = pd.DataFrame({'Map': [0,0,0,1,1,2,2],
                   'Values': [1,2,3,5,4,2,5]})

df['S'] = df.groupby('Map')['Values'].transform(np.sum)
df['M'] = df.groupby('Map')['Values'].transform(np.mean)
df['V'] = df.groupby('Map')['Values'].transform(np.var)

print (df)

结果为：

 三、数据整形

3.1 使用网页中的数据 

将xml中的数据进行整理，不仅仅是提取内容，还需要规范值的属性。

from lxml import objectify

import pandas as pd
from distutils import util

xml = objectify.parse(open('XMLData.xml'))
root = xml.getroot()
df = pd.DataFrame(columns=('Number', 'Boolean'))

for i in range(0,4):
    obj = root.getchildren()[i].getchildren()
    row = dict(zip(['Number', 'Boolean'], 
                   [obj[0].pyval, 
                    bool(util.strtobool(obj[2].text))]))
    row_s = pd.Series(row)
    row_s.name = obj[1].text
    df = df.append(row_s)
    
print (type(df.ix['First']['Number']))
print (type(df.ix['First']['Boolean']))
print (df)

 输出结果为：

使用XPATH可以更加方便地抽取数据：

from lxml import objectify
import pandas as pd
from distutils import util

xml = objectify.parse(open('XMLData.xml'))
root = xml.getroot()
#zip() 函数用于将可迭代的对象作为参数，将对象中对应的元素打包成一个个元组，然后返回由这些元组组成的列表。
#map()是 Python 内置的高阶函数，它接收一个函数 f 和一个 list，并通过把函数 f 依次作用在 list 的每个元素上，得到一个新的 list 并返回。
data = zip(map(int, root.xpath('Record/Number')), 
           map(bool, map(util.strtobool, 
                map(str, root.xpath('Record/Boolean')))))

df = pd.DataFrame(list(data), 
                  columns=('Number', 'Boolean'), 
                  index=list(map(str, 
                        root.xpath('Record/String'))))

print (df)
print (type(df.ix['First']['Number']))
print (type(df.ix['First']['Boolean']))

注意：DataFrame中的元素不能是迭代的，因此需要转化成list

3.2 使用文本数据

涉及自然语言处理。