数据存储之文件存储

• 文件存储

  • TXT文件存储

    # 爬取知乎上的热门话题，获取话题的问题、作者、答案，然后保存在TXT文本中

  • import requests
    from pyquery import PyQuery
    
    url = 'https://www.zhihu.com/explore'
    headers = {
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_3) AppleWebKit/537.36 (KHTML, like Gecko) '
                      'Chrome/58.0.3029.110 Safari/537.36'
    }
    html = requests.get(url, headers=headers).text
    doc = PyQuery(html)
    
    # 选择class="explore-tab"的内部class="feed-item"的所有节点，再遍历每一个元素（每个元素就是一个热门话题）
    items = doc('.explore-tab .feed-item').items()
    
    for item in items:
        # 找到'h2'节点，获取知乎上热门话题的问题
        question = item.find('h2').text()
    
        # 选择class="author-link-line"的所有节点，获取文本值
        author = item.find('.author-link-line').text()
    
        # 找到属性值为content的节点，获取其内部文本值，再通过PyQuery()方法初始化获取文本信息
        answer = PyQuery(item.find('.content').html()).text()
    
        file = open('explore.txt', 'a', encoding='utf-8')
        file.write('
    '.join([question, author, answer]))
        file.write('
    ' + '=' * 50 + '
    ')
        file.close()

    运行结果生成一个TXT文件

    其中涉及open()方法，具体查看open()官方文档

  • JSON文件存储

    • 读取JSON

      # 调用JSON库的loads()方法将JSON文本字符串转为JSON对象

      import json
      
      string = '''
      [
          {
              "name": "Lee Hua", 
              "gender": "male", 
              "birthday": "1997-10-25"
          }, 
          {
              "name": "Li Hua", 
              "gender": "female", 
              "birthday": "1998-10-25"
          }
      ]
      '''
      
      print(type(string), string, sep='
      ')
      
      data = json.loads(string)
      print(type(data), data, sep='
      ')
      
      
      # 输出：
      <class 'str'>
      
      [
          {
              "name": "Lee Hua", 
              "gender": "male", 
              "birthday": "1997-10-25"
          }, 
          {
              "name": "Li Hua", 
              "gender": "female", 
              "birthday": "1998-10-25"
          }
      ]
      
      <class 'list'>
      [{'name': 'Lee Hua', 'gender': 'male', 'birthday': '1997-10-25'}, {'name': 'Li Hua', 'gender': 'female', 'birthday': '1998-10-25'}]

      # JSON数据需要用双引号来包围，不能用单引号。

    • 输出JSON

      # 通过dumps()方法将JSON对象转为文本字符串。

      import json
      
      data = [
          {
              "name": "Lee Hua", 
              "gender": "male", 
              "birthday": "1997-10-25"
          }, 
          {
              "name": "李 华",
              "gender": "男",
              "birthday": "1998-10-25"
          }
      ]
      
      
      with open('data.json', 'w') as file:
          file.write(json.dumps(data, indent=2))
      
      
      # 如果不存在data.json文件，运行结果则生成一个名为data.json的文件
      
      # data.json文件内写入的内容:
      [
        {
          "name": "Lee Hua",
          "gender": "male",
          "birthday": "1997-10-25"
        },
        {
          "name": "u674e u534e",
          "gender": "u7537",
          "birthday": "1998-10-25"
        }
      ]
      
      
      # file.write(json.dumps(data, indent=2))中， indent参数代表缩进字符个数。
      # 如果想要再写入的data.json文件中显示写入的中文，那么file.write(json.dumps(data, indent=2, ensure_ascii=False))即可

  • CSV文件存储

    import csv
    
    with open('data.csv', 'w') as csvfile:
        writer = csv.writer(csvfile)
        writer.writerow(['id', 'name', 'age'])
        writer.writerow(['10001', 'Li Hua', '18'])
        writer.writerow(['10002', 'Lee Hua', '19'])
        writer.writerow(['10003', 'liyihua', '20'])
    # 上面的内容也可以这样写入
    #    writer = csv.writer(csvfile)
    #    writer.writerow(['id', 'name', 'age'])
    #    writer.writerow(
    #        [
    #            ['10001', 'Li Hua', '18'],
    #            ['10002', 'Lee Hua', '19'],
    #            ['10003', 'liyihua', '20']
    #        ]
    #    )
    
    # 上面内容还可以这样写入
    #    field_names = ['id', 'name', 'age']
    #    writer = csv.DictWriter(csvfile, fieldnames=field_names)
    #    writer.writerow({'id': '10001', 'name': 'Li Hua', 'age': '18'})
    #    writer.writerow({'id': '10002', 'name': 'Lee Hua', 'age': '19'})
    #    writer.writerow({'id': '10003', 'name': 'liyihua', 'age': '20'})
    
    
    
    # 运行结果：生成一个data.csv文件，文件内容如下
    id,name,age
    10001,Li Hua,18
    10002,Lee Hua,19
    10003,liyihua,20
    # 想修改行与列之间的分隔符，可以传入参数delimiter参数，writer = csv.writer(csvfile, delimiter='分隔符')

    # 如果想要追加写入的话，可以修改文件的打开模式，即将open()函数的第二个参数改成a。如：open('file', 'a')
    # 写入时有时候会遇到编码错误问题，此时只要给open()函数指定编码形式就可以了。如：open('file', 'r', encoding='utf-8')