爬虫数据保存

一、文本保存：

　　1、文件保存方式：

　　　　

 二、保存为json格式：

　　1、读取json:

　　　　.loads() 方法 ：读取字符串，然后返回json对象。

　　　　但需注意：json数据的字符串需要使用双引号来包含，不能使用单引号。

　　2、json文件读取：

　　　　

with open('json','r') as file:
    str=file.read()
js=json.loads(str)

　　3、json文件保存：

　　　　

with open('test.json','w') as file:
    file.write(json.dumps(js，indent=2,ensure_ascii=False))

 

三、保存为csv文件：

　　1、写入：

　　　　

with open('data.csv', 'w') as csvfile:
    fieldnames = ['id', 'name', 'age']
    writer = csv.DictWriter(csvfile, fieldnames=fieldnames)
    writer.writeheader()
    writer.writerow({'id': '10001', 'name': 'Mike', 'age': 20})
    writer.writerow({'id': '10002', 'name': 'Bob', 'age': 22})
    writer.writerow({'id': '10003', 'name': 'Jordan', 'age': 21})

　　2、读出：

　　　　

with open('data.csv','r',encoding='utf-8') as file:
    reader=csv.reader(file)
    for i in reader:
        print(i)

四、mongodb学习：

　　1、连接MongoDB：

　　　　

import pymongo
#端口号可以指定，不指定默认为27017
mongo=pymongo.MongoClient(host='localhost')

　　2、指定数据库和集合（相当于关系型数据库的表）：

　　

#指定数据库
db=mongo.test
collection=db.students

　　3、插入数据：

　　

student = {
    'id': '20170101',
    'name': 'Jordan',
    'age': 20,
    'gender': 'male'
}
#插入一条数据
result=collection.insert_one(student)
#插入多条数据
result=collection.insert_many([student,student])
print(result.inserted_id)

　　4、数据查询：

　　插入数据后我们可以利用 find_one() 或 find() 方法进行查询，find_one() 查询得到是单个结果，find() 则返回一个生成器对象。

　　

#查询
result=collection.find({'name':'Jordan'})
print(result.count())

　　

　　5、计数：

　　

 　6、排序：

　　　

　　7、偏移：

　　

　　8、更新：

　　需要指定更新的条件和更新后的数据：

　　

　　9、删除：

　　

五、Redis存储：

　　1、连接：

　　　　

from redis import StrictRedis


redis=StrictRedis(host='localhost',port=6379,db=0)
redis.set('name','bog')
redis.set('age',20)
print(redis.get('name'))

　　2、key操作：

　　

　　4、string操作：