Python爬取豆瓣电子书信息

　　最近写了个爬取豆瓣电子书信息的爬虫（常来豆瓣看书评和影评。。），爬取的站点是https://read.douban.com/kind/100?start=%s&sort=hot&promotion_only=False&min_price=None&max_price=None&works_type=None

使用的是requests库来获得html（超级好用有木有！自带的urllib相比之下还比较麻烦。。）

网站结构清晰，使用xpath（lxml库）解析，感觉和BeautifulSoup用起来差不多，但BS是基于DOM的，它会载入整个文档，解析整个

DOM树，内存和时间开销会比xpath大很多，并且BS是python编写的，lxml是用c编写的。大家都说BS更好用，但我觉得易用性差不多

啊， 所以果断数据量稍微大点我就用xpath了。

xpath教程在这里：http://www.w3school.com.cn/xpath/index.asp

数据库使用mysql，数据库驱动是mysql-connector。

　　我将代码分为两部分：数据的获取与数据的存储，分别用两个类表示。

数据获取：

class ParsePageThread(threading.Thread):
    '''用于解析每个页面的线程，每个页面包含20项'''
    def __init__(self, url, queue=connector_queue, headers=None, host="https://read.douban.com"):
        super(ParsePageThread, self).__init__()
        self.url = url
        self.headers = headers
        self.host = host
        self.queue = queue
        self.res = [] 

    def run(self):
        self.getBookContent()
        print(self.res)
        self.queue.put(self.res)

    def __getHTMLText(self,url):
        try:
            r = requests.get(url, self.headers)
            r.raise_for_status()
            return r.text
        except:
            return ''

    def getBookContent(self):
        text = self.__getHTMLText(self.url)
        html = etree.HTML(text)
        book_urls = html.xpath('//li[@class="item store-item"]/div[@class="info"]/div[@class="title"]/a/@href')
        for book_url in book_urls: 
            url = self.host + book_url
            text = self.__getHTMLText(url)
            html = etree.HTML(text)
            name = html.xpath('//h1[@class="article-title"]/text()')
            if not name:
                name = html.xpath('//h1[@itemprop="name"]/text()')
            author = html.xpath('//a[@class="author-item"]/text()')
            price = html.xpath('//span[@class="current-price-count"]/text()')
            if not price:
                price = html.xpath('//span[@class="discount-price current-price-count"]/text()')
            press = html.xpath('//a[@itemprop="provider"]/text()')
            if not press:
                press = html.xpath('//div[@class="provider"]/a/text()')
            words = html.xpath('//span[@class="labeled-text"]/text()')
            if not words:
                words = ['unknown']
            word = words[1] if len(words) > 1 else words[0]
            try:
                self.res.append([str(name[0]), str(author[0]), 
                        str(price[0]), str(press[0]), str(word)])
            except:
                pass

这里使用了多线程解析每个页面。

数据存储使用mysql，因为要频繁操作数据库，这里使用数据库连接池以减小连接数据库的开销。

class MySQLPool(object):
    '''MySql连接池类以减小用于请求连接、创建连接和关闭连接的开销'''
    def __init__(self, host='localhost', port='3306', user='root', password='password',
            database='test', pool_name='douban', pool_size=5):
        res = {}
        # self._content = content
        self._host = host
        self._port = port
        self._user = user
        self._password = password
        self.database = database
        res['host'] = self._host
        res['port'] = self._port
        res['user'] = self._user
        res['password'] = self._password
        res['database'] = self.database
        self.dbconfig = res
        self.pool = self.create_pool(pool_name=pool_name, pool_size=pool_size)

    def insert(self, content):
        if not content :
            return
        #若有重复的id(书名)，直接忽略
        sql_ = "insert ignore into douban (id, author, price, press, words) 
            values (%s, %s, %s, %s, %s)"
        for item in content:
            print("insert operating...
")
            self.execute(sql_, args=tuple(item))

    def create_pool(self, pool_name='douban', pool_size=5):
        pool = mysql.connector.pooling.MySQLConnectionPool(
                pool_name=pool_name,
                pool_size=pool_size,
                pool_reset_session=True,
                **self.dbconfig
                )
        return pool

    def close(self, conn, cursor):
        cursor.close()
        conn.close()

    def execute(self, sql, args=None, commit=True):
        conn = self.pool.get_connection()
        cursor = conn.cursor()
        if args:
            cursor.execute(sql, args)
        else:
            cursor.execute(sql)
        if commit:
            conn.commit()
            self.close(conn, cursor)
            return None
        else:
            res = cursor.fetchall()
            self.close(conn, cursor)
            return res

细心的朋友应该看到了这里使用了queue用于在数据的获取和存储之间架起桥梁，因为queue自带锁，

可保证线程间公共数据的安全，不过目前数据存储方面还没使用多线程。

爬虫终于跑起来了，不过我预料之中的事也发生了：在爬取3000+数据的时候，连接断开了，大概是

被豆瓣发现了？发现才是正常的。。

我已经加入了user-agent和referer，后面考虑使用ip代理吧。如果不行就试试selenium，但那样又会

降低爬取速度，加上我这龟速的网，想想都可怕。

试完之后再来更新罢了。就酱，睡觉(～﹃～)~zZ