第七章 文件和数据格式化
文件的使用
文件是数据的抽象和集合
- 文件是存储在辅助存储器上的数据序列
- 文件是数据存储的一种形式
- 文件展现形态：文本文件和二进制文件
文本文件
- 由单一特定编码组成的文件，如UTF-8编码
- 由于存在编码，也被看成是存储着的长字符串
- 适用于例如：.txt文件、.py文件等
二进制文件
- 直接由比特0和1组成，没有统一字符编码
- 一般存在二进制0和1的组织结构，即文件格式
- 适用于例如：.png文件、.avi文件等
文件的打开和关闭
文件处理的步骤: 打开-操作-关闭
文件的打开
<变量名> = open(<文件名>, <打开模式>)
打开模式
| 文件的打开模式 | 描述 |
|---|---|
| 'r' | 只读模式，默认值，如果文件不存在，返回FileNotFoundError |
| 'w' | 覆盖写模式，文件不存在则创建，存在则完全覆盖 |
| 'x' | 创建写模式，文件不存在则创建，存在则返回FileExistsError |
| 'a' | 追加写模式，文件不存在则创建，存在则在文件最后追加内容 |
| 'b' | 二进制文件模式 |
| 't' | 文本文件模式，默认值 |
| '+' | 与r/w/x/a一同使用，在原功能基础上增加同时读写功能 |
文件的关闭
<变量名>.close()
文件使用
文本形式打开文件
tf = open("f.txt", "rt")
print(tf.readline())
tf.close()
二进制形式打开文件
bf = open("f.txt", "rb")
print(bf.readline())
bf.close()
文件内容的读取
| 操作方法 | 描述 |
|---|---|
| 读入全部内容，如果给出参数，读入前size长度 | |
| 读入一行内容，如果给出参数，读入该行前size长度 | |
| 读入文件所有行，以每行为元素形成列表 ,如果给出参数，读入前hint行 |
文件的全文本操作
方法一:一次读入，统一处理
fname = input("请输入要打开的文件名称:")
fo = open(fname,"r")
txt = fo.read()
#对全文txt进行处理
fo.close()
方法二：按数量读入，逐步处理
fname = input("请输入要打开的文件名称:")
fo = open(fname,"r")
txt = fo.read(2)
while txt != "":
#对txt进行处理
txt = fo.read(2)
fo.close()
文件的逐行操作
方法一：一次读入，分行处理
fname = input("请输入要打开的文件名称:")
fo = open(fname,"r")
for line in fo.readlines():
print(line)
fo.close()
方法二：分行读入，逐行处理
fname = input("请输入要打开的文件名称:")
fo = open(fname,"r")
for line in fo:
print(line)
fo.close()
数据的文件写入
| 操作方法 | 描述 |
|---|---|
| 向文件写入一个字符串或字节流 | |
| 将一个元素全为字符串的列表写入文件 | |
| 改变当前文件操作指针的位置，offset含义如下：0 – 文件开头； 1 – 当前位置； 2 – 文件结尾 |
e.g.
写入一个字符串列表
fo = open("output.txt","w+")
ls = ["中国","法国","美国"]
fo.writelines(ls)
for line in fo:
print(line)
fo.close()
注：上一个程序没有任何输出
fo = open("output.txt","w+")
ls = ["中国","法国","美国"]
fo.writelines(ls)
fo.seek(0)
for line in fo:
print(line)
fo.close()
注：上一个程序会输出：中国法国美国
fo.seek(0)起到了关键作用
实例11: 自动轨迹绘制
问题分析
自动轨迹绘制
- 需求：根据脚本来绘制图形？
- 不通过写代码而通过写数据绘制轨迹
- 数据脚本是自动化最重要的第一步
基本思路
- 步骤1：定义数据文件格式（接口）
- 步骤2：编写程序，根据文件接口解析参数绘制图形
- 步骤3：编制数据文件
#AutoTraceDraw.py
import turtle as t
t.title('自动轨迹绘制')
t.setup(800, 600, 0, 0)
t.pencolor("red")
t.pensize(5)
#数据读取
datals = []
f = open("data.txt")
for line in f:
line = line.replace("
","")
datals.append(list(map(eval, line.split(","))))
f.close()
#自动绘制
for i in range(len(datals)):
t.pencolor(datals[i][3],datals[i][4],datals[i][5])
t.fd(datals[i][0])
if datals[i][1]:
t.rt(datals[i][2])
else:
t.lt(datals[i][2])
一维数据的格式化和处理
维度：一组数据的组织形式
一维数据的表示
如果数据间有序：使用列表类型
ls = [3.1398, 3.1349, 3.1376]
- 列表类型可以表达一维有序数据
- for循环可以遍历数据，进而对每个数据进行处理
如果数据间无序：使用集合类型
st = {3.1398, 3.1349, 3.1376}
- 集合类型可以表达一维无序数据
- for循环可以遍历数据，进而对每个数据进行处理
一维数据的存储
存储方式一：空格分隔
中国 美国 日本 德国 法国 英国 意大利
- 使用一个或多个空格分隔进行存储，不换行
- 缺点：数据中不能存在空格
存储方式二：逗号分隔
中国,美国,日本,德国,法国,英国,意大利
- 使用英文半角逗号分隔数据进行存储，不换行
- 缺点：数据中不能有英文逗号
存储方式三：其他方式
中国$美国$日本$德国$法国$英国$意大利
- 使用其他符号或符号组合分隔，建议采用特殊符号
- 缺点：需要根据数据特点定义，通用性较差
一维数据的处理
数据的处理：存储 <-> 表示
- 将存储的数据读入程序
- 将程序表示的数据写入文件
一维数据的读入处理
从空格分隔的文件中读入数据
中国 美国 日本 德国 法国 英国 意大利
txt = open(fname).read()
ls = txt.split()
f.close()
>>> ls
['中国', '美国', '日本', '德国', '法国', '英国', '意大利']
从特殊符号分隔的文件中读入数据
中国$美国$日本$德国$法国$英国$意大利
txt = open(fname).read()
ls = txt.split("$")
f.close()
>>> ls
['中国', '美国', '日本', '德国', '法国', '英国', '意大利']
一维数据的写入处理
采用空格分隔方式将数据写入文件
ls = ['中国','美国','日本']
f = open(fname, 'w')
f.write(' '.join(ls))
f.close()
采用特殊分隔方式将数据写入文件
ls = ['中国','美国','日本']
f = open(fname, 'w')
f.write('$'.join(ls))
f.close()
二维数据的格式化和处理
二维数据的表示
使用列表类型
- 列表类型可以表达二维数据
- 使用二维列表
[ [3.1398, 3.1349, 3.1376],
[3.1413, 3.1404, 3.1401] ]
- 使用两层for循环遍历每个元素
- 外层列表中每个元素可以对应一行，也可以对应一列
一二维数据的Python表示
数据维度是数据的组织形式
- 一维数据：列表和集合类型
[3.1398, 3.1349, 3.1376] 数据间有序
{3.1398, 3.1349, 3.1376} 数据间无序 - 二维数据：列表类型
[ [3.1398, 3.1349, 3.1376],
[3.1413, 3.1404, 3.1401] ]
CSV格式与二维数据存储
CSV数据存储格式
CSV: Comma-Separated Values
- 国际通用的一二维数据存储格式，一般.csv扩展名
- 每行一个一维数据，采用逗号分隔，无空行
- Excel和一般编辑软件都可以读入或另存为csv文件
- 如果某个元素缺失，逗号仍要保留
- 二维数据的表头可以作为数据存储，也可以另行存储
- 逗号为英文半角逗号，逗号与数据之间无额外空格
二维数据的存储
按行存？按列存？
- 按行存或者按列存都可以，具体由程序决定
- 一般索引习惯：ls[row][column]，先行后列
- 根据一般习惯，外层列表每个元素是一行，按行存
二维数据的处理
二维数据的读入处理
从CSV格式的文件中读入数据
fo = open(fname)
ls = []
for line in fo:
line = line.replace("
","")
ls.append(line.split(","))
fo.close()
二维数据的写入处理
将数据写入CSV格式的文件
ls = [[], [], []] #二维列表
f = open(fname, 'w')
for item in ls:
f.write(','.join(item) + '
')
f.close()
二维数据的逐一处理
采用二层循环
ls = [[], [], []] #二维列表
for row in ls:
for column in row:
print(ls[row][column])
模块6: wordcloud库的使用
wordcloud库概述
wordcloud是优秀的词云展示第三方库
- 词云以词语为基本单位，更加直观和艺术地展示文本
wordcloud库的安装
(cmd命令行) pip install wordcloud
wordcloud库使用说明
wordcloud库基本使用
wordcloud库把词云当作一个WordCloud对象
- wordcloud.WordCloud()代表一个文本对应的词云
- 可以根据文本中词语出现的频率等参数绘制词云
- 词云的绘制形状、尺寸和颜色都可以设定
wordcloud库常规方法
w = wordcloud.WordCloud()
- 以WordCloud对象为基础
- 配置参数、加载文本、输出文件
| 方法 | 描述 |
|---|---|
| w.generate(txt) | 向WordCloud对象w中加载文本txt >>>w.generate("Python and WordCloud") |
| w.to_file(filename) | 将词云输出为图像文件，.png或.jpg格式 >>>w.to_file("outfile.png") |
import wordcloud
c = wordcloud.WordCloud()
c.generate("wordcloud by Python")
c.to_file("pywordcloud.png")
- 步骤1：配置对象参数
- 步骤2：加载词云文本
- 步骤3：输出词云文件
配置对象参数
w = wordcloud.WordCloud(<参数>)
| 参数 | 描述 |
|---|---|
| width | 指定词云对象生成图片的宽度，默认400像素 |
| height | 指定词云对象生成图片的高度，默认200像素 |
| min_font_size | 指定词云中字体的最小字号，默认4号 |
| max_font_size | 指定词云中字体的最大字号，根据高度自动调节 |
| font_step | 指定词云中字体字号的步进间隔，默认为1 |
| font_path | 指定字体文件的路径，默认None |
| max_words | 指定词云显示的最大单词数量，默认200 |
| stop_words | 指定词云的排除词列表，即不显示的单词列表 |
| mask | 指定词云形状，默认为长方形，需要引用imread()函数 |
| background_color | 指定词云图片的背景颜色，默认为黑色 |
wordcloud应用实例
import wordcloud
txt = "life is short, you need python"
w = wordcloud.WordCloud(
background_color = "white")
w.generate(txt)
w.to_file("pywcloud.png")
实例12: 政府工作报告词云
"政府工作报告词云"问题分析
直观理解政策文件
- 需求：对于政府工作报告等政策文件，如何直观理解？
- 体会直观的价值：生成词云 & 优化词云
政府工作报告等文件 ->有效展示的词云
#GovRptWordCloudv2.py
import jieba
import wordcloud
from scipy.misc import imread
mask = imread("chinamap.jpg")
excludes = { }
f = open("新时代中国特色社会主义.txt", "r", encoding="utf-8")
t = f.read()
f.close()
ls = jieba.lcut(t)
txt = " ".join(ls)
w = wordcloud.WordCloud(
width = 1000, height = 700,
background_color = "white",
font_path = "msyh.ttc", mask = mask
)
w.generate(txt)
w.to_file("grwordcloudm.png")