爬虫4

mongodb:非关系型数据、在硬盘上

数据库操作：
    -创建
        -use 数据库名字 （有则进入，无则创建，如果没有数据，show dbs是看不到的）
    -删除
        -use config #先切换到要删的库下
        -db.dropDatabase() #删除当前库

集合操作（表操作）
    -创建
        -在表中插入一条数据，就自动创建了
            -db在哪个库中，db就是谁
            -db.table1.insert({"name":"lqz","age":18})# k可写可不写引号！
            -db.table1.insert({"name":"lqz","age":18,"sex":"男"})
        -show dbs  这个数据库就能看到了# 可以不省略写为show databases
        -show tables 这个表就能看到了
    -删除
        -db.table2.drop()

数据行，文档操作
    -新增
        -db.table1.insert({"name":"lqz","age":18})
        -先定义出一个对象（字典），db.table1.insert（字典名）
        -插入多条
            -db.table1.insertMany([user1,user2,user3,user4,user5])# 每一个user都是在上方定义好的，现在没写
    -查询
        注意，自动生成的id是objectid包括4个部分组成，并不是简单的数字1,2,3
        db.table1.find()
        -1、select * from db1.user where name = "egon";
            db.table1.find({name:"egon"})
        -select * from db1.user where name != "alex";
            db.table1.find({name:{"$ne":"egon"}})
        -不等于，大于，小于，大于等于，小于等于
            -$ne  $gt   $lt   $gte      $lte
        -db.table1.find({"_id":{"$gte":2,}})
        -db.table1.find({'_id':{"$mod":[2,1]}})
        db.table.find({'_id':{"$not":{"$mod":[2,1]}}})
        -db.table1.find({"age":{"$in":[20,30,31]}})
        -db.table.find({'name':/^j.*?(g|n)$/i})
        -db.table.find({'_id':3},{'_id':0,'name':0,'age':1})
        -db.table1.find({"hobbies.3":'tea'})
        -db.table1.find({"hobbies.0":'music'})
        -db.table1.find({},{'hobbies':{"$slice":-2},"age":1,"_id":0,"name":0,"addr":0})

        -db.table1.find({},{'hobbies':{"$slice":-2}})
    -db.table1.find({},{'hobbies':{"$slice":[1,2]},})
        -db.user.find().sort({"_id":1,})
        -db.user.find().sort({'_id':1}).limit(2).skip(4)
        -db.table1.find({'age':{"$gt":30}}).count()
        12   34  45

修改
    -db.user.update({'age':20},{"name":"Wxx","hobbies_count":3})  覆盖式的
    -db.table1.update({'_id':2},{"$set":{"name":"WXX",}})   不覆盖
    -db.table1.update({'_id':6},{"$set":{"name":"egon","age":18}},{"upsert":true})
    -db.table1.update({},
    {
        "$inc":{"age":-5}
    },
    {
        "multi":true
    }
    )


    select avg(salary) as avg_salary,post from db1.emp where id > 3 group by post having avg_salary > 10000;
'''

用python操作mongodb

#用python操作mongodb
from pymongo import MongoClient

#1、链接
# client=MongoClient('mongodb://root:123@localhost:27017/')
client = MongoClient('localhost', 27017)

#2、use 数据库
db=client['db2'] #等同于：client.db1
# db=client.test

#3、查看库下所有的集合
# print(db.collection_names(include_system_collections=False))#4、创建集合
# table_user=db['table1'] #等同于：db.user
table_user=db.table1
# # #5、插入文档
# import datetime
# user0={
#     "_id":1,
#     "name":"egon",
#     "birth":datetime.datetime.now(),
#     "age":10,
#     'hobbies':['music','read','dancing'],
#     'addr':{
#         'country':'China',
#         'city':'BJ'
#     }
# }

# user1={
#     "_id":2,
#     "name":"alex",
#     "birth":datetime.datetime.now(),
#     "age":10,
#     'hobbies':['music','read','dancing'],
#     'addr':{
#         'country':'China',
#         'city':'weifang'
#     }
# }
# res=table_user.insert_many([user0,user1])
# res=table_user.insert_many
# print(res)
# print(table_user.count())

#6、查找

from pprint import pprint#格式化细
# pprint(table_user.find_one())
# for item in table_user.find():
#     pprint(item)

# print(table_user.find_one({"_id":{"$gte":1},"name":'egon'}))
# table_user.find()

#7、更新.注意上下两个的区别！
# table_user.update({'_id':1},{'name':'EGON'})

#8、传入新的文档替换旧的文档
table_user.save(
    {
        "_id":2,
        "name":'egon_xxx'
    }
)

scrapy

-scrapy
	-安装
		-pip3 install scrapy
			-先装Twisted
			-装pywin32
	-新建项目
		-scrapy startproject 项目名字
	-新建爬虫
		-scrapy genspider 爬虫名 爬取的域名
	-项目目录介绍
		-spiders
			-所有的爬虫程序
		-items.py
			-类似于django的model类
		-middlewares.py
			-中间件
		-pipelines.py
			-持久化相关
		-settings.py
			-配置文件
		-scrapy.cfg
			-部署相关
	-运行爬虫
		-scrapy crawl cnblogs --nolog（--nolog不打印日志。settings中的robotstxt=False代表不遵守爬虫协议）
		
	-爬取数据
	
	//*[@id="post_list"]/div[1]页面下右键复制

运行爬虫：

注意：两点

代码：
scrapy crawl cnblogs --nolog

robotstxt=False  # settings中的robotstxt=False代表不遵守爬虫协议）

右键启动（更目录下新建main.py文件）

from scrapy.cmdline import execute
# execute(['scrapy', 'crawl', 'cnblogs','--nolog'])
execute(['scrapy', 'crawl', 'cnblogs'])

# 注意一定要打印日志，因为他是异步任务，如果程序出错，通过try是不能捕捉的（只能捕捉当前线程）

scrapy内置的数据查找（****）

div_list=response.css('.post_item')  #取出class为post_item的所有


# 获取a标签的href属性：a::attr(href)
next_url=response.css('.pager a:last-child::attr(href)').extract_first()
# 获取列表的第一个
url=div.css('.post_item_body a::attr(href)').extract_first()

获取页面的xpath方法：

右键复制即可！，直接可以粘贴过来使用

遇到一个小小的问题：

放css查找代码书写正确，但是部分链接的图片没拿到，可能是网页又刷新了，而我浏览器的网页没有跟进！！！坑点！！