使用Selenium&PhantomJS的方式爬取代理

前面已经爬取了代理，今天我们使用Selenium&PhantomJS的方式爬取快代理 ：快代理 - 高速http代理ip每天更新。

首先分析一下快代理，如下

使用谷歌浏览器，检查，发现每个代理信息都在tr里面，每个tr里面包含多个td，就是IP的信息。

这个结构我们可以通过多种方法抓取，例如bs4、xpath、selenium等

这里我们演示selenium方法。具体解释在下面代码中都有的。

from selenium import webdriver

class Item(object):
    '''
    模拟scrapy框架
    写item类
    用以表示每个代理
    '''
    ip = None #IP地址
    port = None  #端口
    anonymous = None #是否匿名
    type = None #http 或者https
    local = None #物理地址
    speed = None #速度

class GetProxy(object):
    def __init__(self):
        self.starturl = 'http://www.kuaidaili.com/free/inha/'
        self.urls = self.get_urls()
        self.proxylist = self.get_proxy_list(self.urls)
        self.filename = 'proxy.txt'
        self.saveFile(self.filename,self.proxylist)


    def get_urls(self):
        '''
        :return: 返回代理url列表
        '''
        urls = []
        for i in range(1,3):
            url = self.starturl + str(i)
            urls.append(url)
        return urls

    def get_proxy_list(self,urls):
        '''
        爬取代理列表
        :param urls:
        :return:
        '''
        browser = webdriver.PhantomJS()
        proxy_list = []

        for url in urls:
            browser.get(url) # 通过get方法打开
            browser.implicitly_wait(3)
            elements = browser.find_elements_by_xpath('//tbody/tr') #找到每个代理的位置
            for element in elements:
                item = Item()
                item.ip = element.find_element_by_xpath('./td[1]').text
                item.port = element.find_element_by_xpath('./td[2]').text
                item.anonymous = element.find_element_by_xpath('./td[3]').text
                item.local = element.find_element_by_xpath('./td[4]').text
                item.speed = element.find_element_by_xpath('./td[5]').text
                print(item.ip)
                proxy_list.append(item)

        browser.quit()
        return proxy_list

    def saveFile(self,filename,proxy_list):
        '''
        将爬取的信息保存到本地
        :param filename:
        :param proxy_list:
        :return:
        '''
        with open(filename,'w') as f:
            for item in proxy_list:
                f.write(item.ip + '	')
                f.write(item.port + '	')
                f.write(item.anonymous + '	')
                f.write(item.local + '	')
                f.write(item.speed + '

')

if __name__ == '__main__':
    Get = GetProxy()

下面我们展示一下爬取的结果

如果用到代理的话，还需要对这些IP进行测试一下。