class 2-3 小项目练习

空气质量分指数计算方法（框架）

def cal_liner(iaqi_lo,iaqi_hi,bp_lo,bp_hi,cp):
    """范围缩放"""
    iaqi =(iaqi_hi - iaqi_lo)*(cp -bp_lo) /(bp_hi - bp_lo) + iaqi_lo
    return iaqi

def cal_pm_iaqi(pm_val):
    if 0 <= pm_val <36:
        pm_iaqi = cal_liner(0,50,0,35,pm_val)
    elif 36 <= pm_val <76:
        pm_iaqi = cal_liner(0,100,35,75,pm_val)
    elif 76 <= pm_val < 116:
        pm_iaqi = cal_liner(0, 150, 75, 115, pm_val)
    else:
        pass

def cal_co_iaqi(co_val):
    if 0 <= co_val <3:
        co_iaqi = cal_liner(0,50,0,3,co_val)
    elif 3 <= co_val <5:
        co_iaqi = cal_liner(0,100,2,4,co_val)
    else:
        pass

def cal_aqi(param_list):
    pm_val = param_list[0]
    co_val = param_list[1]
    pm_iaqi = cal_pm_iaqi(pm_val)
    co_iaqi = cal_pm_iaqi(co_val)
    iaqi_list = []
    iaqi_list.append(pm_iaqi)
    iaqi_list.append(co_iaqi)

    aqi = max(iaqi_list)
    return aqi

def main():
    print('请输入以下信息，使用空格分割')
    input_str = input('(1)PM2.5 (2)CO:')
    str_list = input_str.split(' ')
    pm_val = float(str_list[0])
    co_val = float(str_list[1])
    param_list = []
    param_list.append(pm_val)
    param_list.append(co_val)
    #调用AQI计算函数
    aqi_val = cal_aqi(param_list)
    print('空气质量指数为：{}'.format(aqi_val))

if __name__ ==  '__main__':
    main()

• JSON(javaScript Object Notation)是一种轻量级数据交换格式
• 可以对复杂数据进行表达和存储，易于阅读和理解
• 规则
  • 数据保存在键值对中
  • 键值对之间由逗号分隔
  • 花括号用于保存键值对数据组成的对象
  • 方括号用于保存键值对数据组成的数组
• 采用对象，数组方式组织起来的键值对可以表示任何结构的数据
• JSON格式是互联网上主要使用的复杂数据格式之一
• JSON库是处理JSON格式的python标准库
• 两个过程：
  • 编码，将python数据类型准换成json格式的过程
  • 解码，从json格式中解析数据对应到python数据类型的过程
    • dumps()：将Python数据类型转换为JSON格式的过程
    • loads()：将JSON格式字符串转换为Python数据类型
    • dump()：与dumps()功能一致，输出到文件
    • load()：与loads()功能一致，从文件读入
• 列表排序
  • list.sort(func)
  • func指定排序的方法
  • func可以通过lambda函数实现

    --snip--
        city_list.sort(key= lambda city:city['aqi']) #func:函数为lambda，city为元素
        top5_list = city_list[:5] #切片拿取前5个元素
        f = open('top5_aqi.json',mode='w',encoding='utf-8')
        json.dump('top5_list',f,ensure_ascii=False)   #第二元素为打开文件对象，最后为编码格式，中文false
        f.close

• import json
  
  def process_json_file(filepath):
      f = open(filepath,mode='r',encoding='utf-8')
      json.load(f)
      city_list = json.load(f)
      return city_list
  
  def main():
      filepath = input('请输入json文件名称：')
      city_list = process_json_file(filepath)
      city_list.sort(key= lambda city:city['aqi']) #func:函数为lambda，city为元素
      top5_list = city_list[:5] #切片拿取前5个元素
      f = open('top5_aqi.json',mode='w',encoding='utf-8')
      json.dump('top5_list',f,ensure_ascii=False)   #第二元素为打开文件对象，最后为编码格式，中文false
      f.close
  
  if __name__ ==  '__main__':
      main()

• CSV格式是一种通用的、相对简单的文件格式，在商业和科学领域广泛使用
• 规则
  • 以行为单位
  • 每行表示一条记录
  • 以英文逗号分割每列数据（如果数据为空，逗号也要保留）
  • 列名通常放置在问价第一行
• CSV文件操作
  • import csv
  • csv.writerow(list)将列表中的元素写入文件的一行中
• CSV文件读取
• import csv
• csv.reader()将每行记录作为列表返回
• 使用with语句操作文件对象

  with open('file_name') as somefile:
      for line in somefile:
          print(line)

• 使用with语句，不管在处理文件过程中是否发生发生异常，都能保证with语句执行完毕后关闭文件，不需要close语句

--snip--
lines.append(list(city_list[0].key()))  #使用list拿到city的keys
    for city in city_list:
        lines.append(list(city.values()))
    f = open('aqi.csv','w',encoding='utf-8',newline='')  #newline为空表示末尾不加任何字符，否则默认加空行
    writer = csv.writer(f)
    for line in lines:
        writer.writerow(line)
--snip--

import json
import csv
def process_json_file(filepath):
    f = open(filepath,mode='r',encoding='utf-8')
    city_list = json.load(f)
    return city_list

def main():
    filepath = input('请输入json文件名称：')
    city_list = process_json_file(filepath)
    city_list.sort(key= lambda city:city['aqi']) #func:函数为lambda，city为元素
    lines = []
    lines.append(list(city_list[0].key()))  #使用list拿到city的keys
    for city in city_list:
        lines.append(list(city.values()))
    f = open('aqi.csv','w',encoding='utf-8',newline='')  #newline为空表示末尾不加任何字符，否则默认加空行
    writer = csv.writer(f)
    for line in lines:
        writer.writerow(line)

if __name__ ==  '__main__':
    main()

•  OS模块
  • OS模块提供了与系统、目录操作相关的功能，不受平台限制
  • os.remove()：删除文件
  • os.makedirs()：创建多层目录
  • os.rmdir()：删除单级目录
  • os.rename()：重命名文件
  • os.path.isfile()：判断是否为文件
  • os.path.isdir()：判断是否为目录
  • os.path.join()：链接目录，如path1链接path2为path1/path2
  • os.path.splitext()：将文件分割成文件名与扩展名，如分割tmp.txt为tmp和.txt

    import csv
    import os
    def process_json_file(filepath):   #解码json文件
        # f = open(filepath,mode='r',encoding='utf-8')
        # city_list = json.load(f)
        # return city_list
        with open(filepath,mode='r',encoding='utf-8') as f:    #with语句不需要关闭文件
            city_list =json.load(f)
        print(city_list)
    def process_csv_file(filepath):
        with open('filepath',mode='r',encoding='utf-8',newline='') as f:
            reader = csv.reader(f)
            for row in reader:
                print(','.jion(row))     #通过逗号连接语句，.jion

    import json
    import csv
    import os
    def process_json_file(filepath):   #解码json文件
        # f = open(filepath,mode='r',encoding='utf-8')
        # city_list = json.load(f)
        # return city_list
        with open(filepath,mode='r',encoding='utf-8') as f:    #with语句不需要关闭文件
            city_list =json.load(f)
        print(city_list)
    def process_csv_file(filepath):
        with open('filepath',mode='r',encoding='utf-8',newline='') as f:
            reader = csv.reader(f)
            for row in reader:
                print(','.jion(row))     #通过逗号连接语句，.jion
    
    def main():
        filepath = input('请输入json文件名称：')
        filename,file_ext = os.path.splitext(filepath)
        if file_ext == '.json':
            process_json_file(filepath)
        elif file_ext == '.csv':
            process_csv_file(filepath)
        else:
            print('不支持文件格式!')
    
    if __name__ ==  '__main__':
        main()

 网络爬虫：

• 自动爬去互联网信息程序；利用互联网数据进行分析、开发产品
• 步骤
  • 通过网络链接获取网页内容(字符串)
  • 对获得的网页内容进行处理

requests模块

• requests模块时一个简洁且简单的处理HTTP请求工具，支持丰富的链接访问功能，包括url获取，HTTP会话，Cookie记录等
• requests网页请求
  • get()：对应HTTP的GET方式
  • post()：对应HTTP的POST方式，用于传递用户数据
• requests对象属性
  • status_code：HTTP请求的返回状态，200表示链接成功，400表示失败
  • text：HTTP相应内容的字符串形式，即URL 对应的页面内容
  • 更多方法参考：https://doc.python-requests.org/

import requests

def get_html_text(url):
    """返回url的文本"""
    r = requests.get(url,timeout =30)
    #print(r.status_code)    #显示状态，200为链接ok
    return r.text   #获取文本

def main():
    city_pinyin = input('请输入城市拼音:')
    url = 'http://pm25.in/'+city_pinyin
    url_text = get_html_text(url)
    #print(url_text)      #属性名r.text d调用为url.text

    aqi_div='''<div class="span12 data">
        <div class="span1">
          <div class="value">
             '''      
    #注意复制范围，一直取值到数字的前面，可能会有空格
    index = url_text.find(aqi_div)
    begin_index = index +len(aqi_div)   #从开始索引号'<'加上文本长度
    end_index = begin_index + 2             #再获取2位为AQI值
    aqi_value = url_text[begin_index: end_index]
    print('空气质量为:{}'.format(aqi_value))
    
if __name__ ==  '__main__':
    main()

 网页解析

• 解析器输出的树是由DOM元素和属性节点组成的。DOM的全称为：Document Object Model。它是HTML文档的对象化描述，也是HTML元素与外界（如Javascript）的接口。
      DOM与标签有着几乎一一对应的关系，如下：
      <html>
        <body>
          <p>hello world</p>
          <div><img src="aa.png"/></div>
        </body>
      </html>

  • 
• beautifulSoup解析网站（用于解析HTML或XML）
  • pip install beautifulsoup4
  • import bs4
  • 步骤
    • 创建BeautifulSoup对象
    • 查询节点
      • find, 找到第一个满足条件的节点
      • find_all，找到所有满足条件的节点
• 例：创建BeautifulSoup对象 

  bs = BeautifulSoup(
          url,
          html_parser, 指定解析器    #一般默认lxml
          encoding  指定编码格式（确保和网页编码格式一致）  #如果不一致会出现乱码
          )

•  查找节点
  • <a href='a.html' class='a_link'>next page</a>
  • 可按节点类型、属性或内容访问
  • 按类型查找节点
    • bs.find_all('a')       #查找到所有a标签
  • 按属性查找节点
    • bs.find_all('a',href='a.html')     #查找a标签，到所有符合a.html属性
    • bs.find_all('a',href='a.html',string='next page')
    • bs.find_all('a',class_='a.link')        #注意：是class_
    • 或者bs.find_all('a',{'class':'a_link'})

import requests
from bs4 import BeautifulSoup

def get_city_aqi(city_pinyin):
    url = 'http://pm25.in/'+city_pinyin
    r = requests.get(url,timeout=30)
    bs = BeautifulSoup(r.text,'lxml')
    #bs = BeautifulSoup.find_all('div','span') 
    div_list= bs.find_all('div',{'class':'span1'})   #遗漏
    city_AQI=[]
    for i in range(8):
        div_content = div_list[i]   #对其list进行遍历
        aqi = div_content.find('div',{'class':'value'}).text.strip()
        #AQI = bs.find_all('div','value').text.strip()   #应以键值对出现
        caption = div_content.find('div',{'class':'caption'}).text.strip()
        #city_AQI = city_AQI.append((caption, aqi)) 
        city_AQI.append((caption, aqi))
    return city_AQI

def main():
    city_pinyin = input('请输入城市拼音:')
    city_aqi =get_city_aqi(city_pinyin)
    print(city_aqi)

if __name__ ==  '__main__':
    main()

 遍历城市

import requests
from bs4 import BeautifulSoup

def get_city_aqi(city_pinyin):
    url = 'http://pm25.in/'+city_pinyin
    r = requests.get(url,timeout=30)
    bs = BeautifulSoup(r.text,'lxml')
    div_list= bs.find_all('div',{'class':'span1'})
    city_AQI=[]
    for i in range(8):
        div_content = div_list[i]
        aqi = div_content.find('div',{'class':'value'}).text.strip()
        caption = div_content.find('div',{'class':'caption'}).text.strip()
        city_AQI.append((caption, aqi))
    return city_AQI

def get_all_cities():
    url = 'http://pm25.in/'
    city_list = []
    r = requests.get(url, timeout=30)
    bs = BeautifulSoup(r.text, 'lxml')
    city_all_name = bs.find_all('div', {'class': 'bottom'})[1]
    city_link_list = city_all_name.find_all('a')
    #for i in city_all_name:   此段只要一个bottom元素，将无法输出
    for city_link in city_link_list:
        city_name = city_link.text
        city_pinyin = city_link['href'][1:]
        #r = city_all_name[1]
        #city_name = r.find('div',{'href':'city_link'}).text.strip()
        #city_link = r.find('div',{'href':'city_link'})[1:]
        city_list.append((city_name,city_pinyin))
    return city_list

def main():
    city_list = get_all_cities()
    for city in city_list:
        city_name =city[0]
        city_pinyin = city[1]
        city_aqi =get_city_aqi(city_pinyin)
        print(city,city_aqi)

if __name__ ==  '__main__':
    main()

--snip--

def get_all_cities():
    url = 'http://pm25.in/'
    city_list = []
    r = requests.get(url, timeout=30)
    bs = BeautifulSoup(r.text, 'lxml')
    city_all_name = bs.find_all('div', {'class': 'bottom'})[1]
    city_link_list = city_all_name.find_all('a')    #寻找所有bottom下的a标签

    for city_link in city_link_list:
        city_name = city_link.text          #取city_link文本
        city_pinyin = city_link['href'][1:]    #取其‘/’后的数字
        city_list.append((city_name,city_pinyin))
    return city_list

def main():
    city_list = get_all_cities()   
    for city in city_list:       #对获取列表进行遍历输出
        city_name =city[0]
        city_pinyin = city[1]
        city_aqi =get_city_aqi(city_pinyin)
        print(city,city_aqi)   #注意为city，city_list将重复报错

if __name__ ==  '__main__':
    main()

 字符串加列表 ‘abc’+[1,2,3]转换为['abc']+[1,2,3] 

存入转换为CSV格式

import requests
from bs4 import BeautifulSoup
import csv

def get_city_aqi(city_pinyin):
    url = 'http://pm25.in/'+city_pinyin
    r = requests.get(url,timeout=30)
    bs = BeautifulSoup(r.text,'lxml')
    div_list= bs.find_all('div',{'class':'span1'})
    city_AQI=[]
    for i in range(8):
        div_content = div_list[i]
        aqi = div_content.find('div',{'class':'value'}).text.strip()
        caption = div_content.find('div',{'class':'caption'}).text.strip()
        city_AQI.append(aqi)
    return city_AQI

def get_all_cities():
    url = 'http://pm25.in/'
    city_list = []
    r = requests.get(url, timeout=30)
    bs = BeautifulSoup(r.text, 'lxml')
    city_all_name = bs.find_all('div', {'class': 'bottom'})[1]
    city_link_list = city_all_name.find_all('a')
    for city_link in city_link_list:
        city_name = city_link.text
        city_pinyin = city_link['href'][1:]
        city_list.append((city_name,city_pinyin))
    return city_list

def main():
    city_list = get_all_cities()
    header = ['City','AQI','PM2.5/1H','PM10/H','CO/H','NO2/H','O3/1H','O3/8H','SO2/H',] #指定列名
    with open('china_city_AQI.csv','w',encoding='utf-8',newline='') as f:
        writer = csv.writer(f)
        writer.writerow(header)
        for i,city in enumerate(city_list):   #enumerate科学计数法
            if (i+1)%10 ==0:   #实时查看处理进度
                print('已处理{}条记录，共{}记录'.format(i+1,len(city_list)))
            city_name = city[0]
            city_pinyin = city[1]
            city_aqi = get_city_aqi(city_pinyin)
            row= [city_name]+city_aqi    #字符串转换为列表格式[]
            writer.writerow(row)

if __name__ ==  '__main__':
    main()

--snip--
def main():
    city_list = get_all_cities()
    header = ['city','AQI','PM2.5/1H','PM10/H','CO/H','NO2/H','O3/1H','O3/8H','SO2/H'] #指定列名
    with open('china_city_AQI.csv','w',encoding='utf-8',newline='') as f:
        writer = csv.writer(f)
        writer.writerow(header)
        for i,city in enumerate(city_list):   #enumerate科学计数法
            if (i+1)%10 ==0:
                print('已处理{}条记录，共{}记录'.format(i+1,len(city_list)))
            city_name = city[0]
            city_pinyin = city[1]
            city_aqi = get_city_aqi(city_pinyin)
            row= [city_name]+city_aqi
            writer.writerow(row)

if __name__ ==  '__main__':
    main()

Pandas库：

• • 是一个结构化数据的工具集　　
  • 基础为Numpy，提供了高性能的矩阵运算
  • 应用，数据挖掘，数据分析
    • 学生成绩分析、股票数据分析　　
  • 提供数据清洗功能　　
• Pandas的数据结构（Series）
  • 类似一维数组的对象　　
  • 通过list构建Series
    • ser_obj = pd.Series(range(10))　　
    • 例：
  • 由数据和索引组成
    • 索引在左，数据在右
    • 索引是自动创建的　　
  • 获取数据和索引
    • ser_obj.index，ser_obj.values　　
    • 
  • 预览数据
    • ser_obj.head(n) #输出数据前几条数据　　
    • wer_obj.tail(n)  #数据数据后几条数据　　
    • 例：
  • 通过索引获取数据
    • ser_obj[idx]　　
  • 索引与数据的对应关系仍保持在数组的运算的结果中国　　
  • 通过dict构建Series　　
  • name属性
    • ser_obj.name, ser_obj.index.name　　
• DataFrame
  • 类似多维数组、表格数据（如，Excel，R中的data.frame
  • 每列数据可以是不同类型，what about ndarray？　　
  • 索引包括列索引和行索引
    • 
  • 通过ndarray构建DataFrame　　
  • 通过dict构建DataFrame　　
  • 通过索引获取列数据（Series类型）
    • df_obj[col_idx]或df_obj.col_idx　　
  • 增加列数据，类似dict添加key-value
    • df_obj[new_col_idx] = data　　
  • 删除列
    • del df_obj[col_idx]
•  索引操作
  • DataFrame索引
    • 列索引
      
      • df_obj[ 'label' ]   #label为标签名。。。
    • 不连续索引
      • df_obj[[ 'label1', 'label2' ]]  #中间的[]表示传进去的的为列表

        import pandas as pd
        
        def main():
            aqi_data = pd.read_csv('china_city_AQI.csv')
            #print(aqi_data.head(5))
            #print(aqi_data['AQI'])
            print(aqi_data[['city','AQI']]) #中间的中括号为列表
        
        if __name__ ==  '__main__':
            main()

• 排序
  • sort_index,索引排序
    • 对DataFrame操作时注意轴方向
  • 按值排序
    • sort_values(by = 'label')    #label为标签名 AQI。。。
• 常用统计计算
  • sum，mean，max，min.....
  • axis=0按列统计，axis=1 按行统计
  • skipna排除缺失值，默认为True
  • idmax，idmin，cumsum
• 统计描述
  • describe产生多个统计数据
  • 常用统计计算和描述
    • count：非NA值得数量
    • describe：针对series或各DataFrame列计算汇总统计
    • min，max：计算最小值，最大值
    • argmin，argmax：计算能够获取到最小值和最大值的索引位置（整数）
    • idxmin，idxmax：计算能够获取到最小值和最大值的索引值
    • quantile：计算样本的分数位（0到1）
    • sum：值得总和
    • mean：值得平均数
    • median：值的算术中位数（50%分位数）
    • mad：根据平均值计算平均绝对离差
    • var：样本值的方差
    • std：样本值的标准差

import pandas as pd

def main():
    aqi_data = pd.read_csv('china_city_AQI.csv')
    print('基本信息：')
    print(aqi_data.info())
    print('数据预览：')
    print(aqi_data.head())

    #基本统计
    print('AQI最大值：', aqi_data['AQI'].max())
    print('AQI最大值：', aqi_data['AQI'].min())
    print('AQI最大值：', aqi_data['AQI'].mean())

    #top10
    top10_cities= aqi_data.sort_values(by=['AQI']).head(10)
    print('空气质量最好的10个城市：',top10_cities)
    #bottom10
    #bottom10_cities = aqi_data.sort_values(by=['AQI']).tail(10)
    bottom10_cities = aqi_data.sort_values(by=['AQI'],ascending= False).head(10)   #同理上述写法，降序排列
    print('空气质量最差的10个城市：', bottom10_cities)

    #保存csv文件
    top10_cities.to_csv('top10_aqi.csv',index = False)   #index为不需要序列号
    bottom10_cities.to_csv('top10_aqi.csv',index = False)

if __name__ ==  '__main__':
    main()

Pandas数据清洗

• 处理缺失数据
  • dropna()丢弃缺失数据
  • fillna()填充缺失数据
• 数据过滤
  • df[filter_condition]根据filter_condition对数据进行过滤

import pandas as pd

def main():
    aqi_data = pd.read_csv('china_city_AQI.csv')
    print('基本信息：')
    print(aqi_data.info())
    print('数据预览：')
    print(aqi_data.head())

    #数据清洗，只保留AQI>0的数据
    # filter_condition = aqi_data['AQI'] > 0
    # clean_data = aqi_data[filter_condition]或者
    clean_aqi_data = aqi_data[aqi_data['AQI'] > 0]

    #基本统计
    print('AQI最大值：', aqi_data['AQI'].max())
    print('AQI最大值：', aqi_data['AQI'].min())
    print('AQI最大值：', aqi_data['AQI'].mean())

    #top10
    top10_cities= clean_aqi_data.sort_values(by=['AQI']).head(10)
    print('空气质量最好的10个城市：',top10_cities)
    #bottom10_cities = clean_aqi_data.sort_values(by=['AQI']).tail(10)或者
    bottom10_cities = clean_aqi_data.sort_values(by=['AQI'],ascending= False).head(10)   #同理上述写法，降序排列
    print('空气质量最差的10个城市：', bottom10_cities)

if __name__ ==  '__main__':
    main()

--snip--

    #数据清洗，只保留AQI>0的数据
    # filter_condition = aqi_data['AQI'] > 0
    # clean_data = aqi_data[filter_condition]或者
    clean_aqi_data = aqi_data[aqi_data['AQI'] > 0]

--snip--

Pandas数据可视化

• pandas提供了内建的绘图功能（基于matplotlib）
• plot(kind，x，y，title，figsize)    #kind可以是’line’, ‘bar’, ‘barh’, ‘kde’
  • x，y横纵坐标对应的数据列
  • title：图像名
  • figsize：图像尺寸
  • 参照：https://blog.csdn.net/hustqb/article/details/54410670
• 保存图片：plt.savefig()
• 更多例子：http://pandas.pydata.org/pandas-docs/stable/visualization.html

import pandas as pd

def main():
    aqi_data = pd.read_csv('china_city_AQI.csv')
    print('基本信息：')
    print(aqi_data.info())
    print('数据预览：')
    print(aqi_data.head())

    #基本统计
    print('AQI最大值：', aqi_data['AQI'].max())

    #top10
    top10_cities= aqi_data.sort_values(by=['AQI']).head(10)
    print('空气质量最好的10个城市：',top10_cities)
    #bottom10
    #bottom10_cities = aqi_data.sort_values(by=['AQI']).tail(10)
    bottom10_cities = aqi_data.sort_values(by=['AQI'],ascending= False).head(10)   #同理上述写法，降序排列
    print('空气质量最差的10个城市：', bottom10_cities)

    #保存csv文件
    top10_cities.to_csv('top10_aqi.csv',index = False)   #index为不需要序列号
    bottom10_cities.to_csv('bottom10_aqi.csv',index = False)

if __name__ ==  '__main__':
    main()