程序媛计划——python爬虫

#用selenium打开百度首页

#第一次运行代码时应该在safari开发者选项中设置'allow remote automation'

from selenium import webdriver
browser=webdriver.Safari()
browser.get('http://www.baidu.com/')

#远程打开百度首页，并搜索关键词并打印搜索关键词后的源代码

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
driver = webdriver.Safari()
driver.get('http://www.baidu.com/')

#获取web中名字为wd的标签
elem = driver.find_element_by_name("wd")
#搜索cxy61
elem.send_keys("cxy61")
elem.send_keys(Keys.RETURN)

print driver.page_source

分析网页源代码

#safari偏好设置中点击在菜单中显示'开发者’选项

#在开发中点击显示网页检查器（command+option+i)

打印我们筛选后真正需要的爬下来的数据

#coding:utf-8
from selenium import webdriver
from selenium.webdriver.common.keys import Keys

dr = webdriver.Safari()
dr.get('https://www.qiushibaike.com')
#在控制台中发现糗事百科左边都是内容，右边是广告，而左边标签id都是content-left
#获取id为content-left的[标签]
main_content = dr.find_element_by_id('content-left')
content = main_content.find_elements_by_class_name('content')
i=1
for want2see in content:
    print str(i)+want2see.text+'
'
    i+=1

#退出我们打开的浏览器
dr.quit()

用类封装实现爬虫

#coding:utf-8
from selenium import webdriver
class Qiubai(object):
    def __init__(self):
        #这步干嘛
        self.dir=webdriver.Safari()
        #所以在初始化实例时还能进行打开网页的操作
        self.dir.get('https://www.qiushibaike.com')

    def print_content(self):
        #相比较于没有用类实现的爬虫,dir放在__init__方法中定义
        #下面两行代码中的element和elements的区别？
        main_content=self.dir.find_element_by_id('content-left')
        self.content = main_content.find_elements_by_class_name('content')
        i=1
        for con in self.content:
            print str(i)+con.text+'
'
            i+=1
        #还可以在类的方法中调用该类中定义的另一个方法
        self.quit()

    def quit(self):
        self.dir.quit()
#这里Qiubai()是Qiubai的一个实例，只是没有设置一个变量指向这个实例而已
Qiubai().print_content()

效果：