商业爬虫

Day1

　　图书推荐

　　　　图解HTTP，日本人写的　　

　　爬虫用处

　　　　诸葛

　　　　工商大数据

　　分类

　　　　通用爬虫　　

　　　　聚焦爬虫

　　https://www.jd.com/robots.txt

Day2

　　User-Agent池

　　Ip代理池

Day4

　　一个用户在不同的地方，不同的浏览器不停的登录，很有可能被封。面试遇到过。

　　解决方法：多个账号。多个IP统一并发

Day5

　　proxies

　　ssl

import requests


headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:69.0) Gecko/20100101 Firefox/69.0',
}

#1 代理IP 字典形式
#2 SSL认证
#HTTPS，是有第三方CA证书认证，但是12306 ，虽然是http是，但他不是CA证书，他是自己颁发的证书，解决方法是
#告诉web忽略证书访问，用到的参数是verify
#3 GET请求 传参 query POST请求传参 formdata
free_proxy = {'HTTP':'222.189.246.94:9999'}
login_url = 'https://www.12306.cn/index/'

r = requests.get(url=login_url,headers=headers,verify=False,proxies=free_proxy)
f = open('day5_1.html','w',encoding='ISO-8859-1')
f.write(r.text)
f.close()

day 6

　　正则

　　　　re.S  re.I

　　xpath

　　　　知道这几点就够用了

'''
/ 根节点
// 跨节点
定位精确的标签  //a[@属性='属性值']
获取标签包裹的内容  /text()
获取标签的属性值 /a[@id='xx']/@href

xpath返回的是列表

'''

'''
    //li[5]  li 是平级标签 ok
    //a[3]   如果a 不是平级标签，那下标取值的方法不好使
'''

'''
http://bbs.talkop.com/
抓取海贼王论坛

收获（都很牛逼）
    1 发现用类写爬虫 比用函数写爬虫爽一些，有些参数不用一直传，都在__init__中，在这里就是self.data_list。
    2 json 终于意识到json的价值了，把列表类型转换成json类型，保存在文件中，可以从文件中copy出来，有转化json类型的网站，直接转化下，就可以看到其中的数据了
    3 etree的使用，参数是bytes类型
'''

import requests
import json
from lxml import etree


class TalkopSpider(object):
    def __init__(self):
        self.url = 'http://bbs.talkop.com/forum-fenxi-{}.html'
        self.headers = {
                'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:69.0) Gecko/20100101 Firefox/69.0',
            }
        self.data_list = []

    def get_response(self,url):
        '''
        发请求，获取网页内容
        :param url:
        :return:
        '''
        response = requests.get(url=url,headers=self.headers)
        return response.content

    def parse_data(self,data):
        '''
        接收bytes类型页面值，解析之，获取需要提取的数据，
        :param data:
        :return:
        '''
        # data是bytes类型
        # 转类型
        x_data = etree.HTML(data)
        titles = x_data.xpath("//a[@class='s xst']/text()")
        urls = x_data.xpath("//a[@class='s xst']/@href")
        # 用这种方法，实现title，url一一对应。
        for index,title in enumerate(titles):
            news = {}
            news[title] = urls[index]
            self.data_list.append(news)


    def save_data(self):
        '''
        将列表类型转换为json类型
        :param data:
        :return:
        '''
        j_data = json.dumps(self.data_list)
        with open('day6.json','w') as f:
            f.write(j_data)

    def run(self):
        for i in range(1,10):
            url = self.url.format(i)
            data = self.get_response(url)
            self.parse_data(data)
        self.save_data()
TalkopSpider().run()

day7

　　模糊匹配

　　　　

//div[contain(@class,'xx')]

　　beautifulsoup的使用

soup.find_all(name='a',class_='xx')

soup.find_all(name='a',attrs={'class':'xx'})

上面两个等价的

import requests
from bs4 import BeautifulSoup
from lxml import etree
import json


class BtcSpider(object):
    def __init__(self):
        self.url = 'http://8btc.com/forum-61-{}.html'
        self.headers = {
            "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36"}

        # 保存列表页的数据
        self.data_list = []

        self.data_detail = []

    # 1.发请求
    def get_response(self, url):
        response = requests.get(url, headers=self.headers)
        data = response.content
        return data

    # 2.解析数据list
    def parse_list_data(self, data):

        # 1.转类型 BeautifulSoup可以接收bytes类型！！！！！！！！！！
        soup = BeautifulSoup(data, 'lxml')
        # 2.解析内容 取出 所有的类选择器的 A
        #这里拿到一直tag，就可以把tag包含的文本值，和tag对应的href一并取到！！！！！！！！！！
        title_list = soup.select('.xst')
        for title in title_list:
            list_dict_data = {}
            list_dict_data['title'] = title.get_text()
            list_dict_data['detail_url'] = title.get('href')
            self.data_list.append(list_dict_data)

    # 3.解析数据详情页
    def parse_detail_data(self, data):
        html_data = BeautifulSoup(data, 'lxml')

        # 取出问题--list[1][0]
        question = html_data.select('#thread_subject')[0].get_text()
        print(question)
        answer_list = html_data.select('.t_f')
        for answer in answer_list:
            answer_list = []
            answer_list.append(answer.get_text())

        detail_data = {
            "question": question,
            "answer": answer_list
        }

        self.data_detail.append(detail_data)

    # 3.保存数据，多写了一个参数，作为文件名！！！！！更灵活
    def save_data(self, data, file_path):
        data_str = json.dumps(data)
        with open(file_path, 'w') as f:
            f.write(data_str)

    def start(self):
        # 列表页的请求
        for i in range(1, 2):
            url = self.url.format(1)
            data = self.get_response(url)
            self.parse_list_data(data)
        self.save_data(self.data_list, "04list.json")

        # 发送详情页的请求
        for data in self.data_list:
            detail_url = data['detail_url']
            detail_data = self.get_response(detail_url)

            # 解析详情页的数据
            self.parse_detail_data(detail_data)

        self.save_data(self.data_detail, 'detail.json')


BtcSpider().start()

"""
html_data = etree.HTML(data)

        result_list = html_data.xpath('//div[contains(@id,"stickthread")]')
        result_list = html_data.xpath('//head/following-sibling::*[1]')
        print(len(result_list))
        print(result_list)
"""

day8

　　json dumps/dump/loads/load

　　在涉及到文件写入，读取，dump load 特别方便，省了中间一步。

　　

import json

data_list = [{'name':'左国梁','age':'23'},{'name':'张先','age':'32'}]

# 方法 1 ，涉及文件读写，多了一步 转类型，把列表转换为json类型 ，比较繁琐

# j_data = json.dumps(data_list)
#
# with open('a.josn','w') as f:
#     f.write(j_data)

# 方法 2  不需要单独把data_list，转为json

json.dump(data_list,open('b.json','w'))

　　跨节点的使用

　　　　可以这样用，获取h2标签下所有的文本值

//h2[@class='niubi']//text()

day9

　　mongodb的安装使用--增删改查

　　https://www.cnblogs.com/linhaifeng/articles/8273498.html

　　增 insert

　　删 delete

　　改update $set

　　查 find()