Python数据可视化编程实战——导入数据

 1.从csv文件导入数据

原理：with语句打开文件并绑定到对象f。不必担心在操作完资源后去关闭数据文件，with的上下文管理器会帮助处理。然后，csv.reader()方法返回reader对象，通过该对象遍历所读取文件的所有行。

#!/usr/bin/env python

import csv

filename = 'ch02-data.csv'

data = []
try:
    with open(filename) as f:
        reader = csv.reader(f)
        c = 0
        for row in reader:
            if c == 0:
                header = row
            else:
                data.append(row)
            c += 1
except csv.Error as e:
    print "Error reading CSV file at line %s: %s" % (reader.line_num, e)
    sys.exit(-1)

if header:
    print header
    print '=================='

for datarow in data:
    print datarow

实验结果截图：

2.从Excel中导入文件数据

Excel文件可以转换成csv文件，然后通过上述的方法导入，但是如果想自动化地对大量文件进行数据管道处理（作为数据连续处理流程的一部分），那么手动把每个Excel文件转换成CSV文件的做法就行不通了。

原理：使用xlrd模块打开文件的工作簿，然后根据行数（nrows）和列数（ncols）读取单元格的内容，通过调用open_workbook（）方法，返回一个xlrd.book实例。

import xlrd
from xlrd.xldate import XLDateAmbiguous

file = 'ch02-xlsxdata.xlsx'

wb = xlrd.open_workbook(filename=file)

ws = wb.sheet_by_name('Sheet1')

dataset = []

for r in range(ws.nrows):
    col = []
    for c in range(ws.ncols):
        col.append(ws.cell(r, c).value)
        if ws.cell_type(r, c) == xlrd.XL_CELL_DATE:
            try:
                print ws.cell_type(r, c)
                from datetime import datetime
                date_value = xlrd.xldate_as_tuple(ws.cell(r, c).value, wb.datemode)
                print datetime(*date_value)
            except XLDateAmbiguous as e:
                print e
    dataset.append(col)

from pprint import pprint

pprint(dataset)

实验结果：

3.从定宽数据文件导入数据

时间的日志文件和基于时间序列的文件是数据可视化中最常见的数据源。有时候，可以以制表符分隔数据这种CSV方言来读取它们，但有时它们不是通过任何特殊字符分隔的。实际上，这些文件的字段是有固定宽度的，我们能通过格式来匹配并提取数据。

例如（本例子的数据是使用代码生成的）：

处理方法：

1.指定要读取的数据文件。2.定义数据读取的方式。3.逐行读取文件并根据格式把每行解析成单独的数据字段。4.安单独数据字段的形式打印每一行。

 

import struct
import string

mask='9s14s5s'
parse = struct.Struct(mask).unpack_from
print 'formatstring {!r}, record size: {}'.format(
                        mask, struct.calcsize(mask))

datafile = 'ch02-fixed-width-1M.data'

with open(datafile, 'r') as f:
    for line in f:
        fields = parse(line)
        print 'fields: ', [field.strip() for field in fields]

实验结果：

4.从JSON数据源导入数据

操作步骤如下：1.指定GitHub URL来读取JSON格式数据。2.使用requests模块访问指定的URL，并读取内容。3.读取内容并将之转化为JSON格式的对象。4.迭代访问JSON对象，对于其中的每一项，读取每个代码库的URL值。

原理：首先，使用requests模块获取远程资源。Requests模块提供了简单的API来定义HTTP谓词，我们只需要发出get（）方法调用。我们只对Response.json（）方法感兴趣，这个方法可以读取Response.content的内容，把它解析成JSON并加载到JSON对象中。

代码如下：

 

import requests
from pprint import pprint
url = 'https://api.github.com/users/justglowing'
r = requests.get(url)
json_obj = r.json()
pprint(json_obj)

结果：

 

 

结语：上个月在帮别人做毕业设计，用的FLASK，然后这个月还要用JAVA EE来写个商城网站，忙的要死，一直没更新博客，今天周日图书馆看了python数据可视化，走神一大半，唉，还是更博客吧，可惜的是，说好的要做的精品系列呢。。。。。。。