zoukankan      html  css  js  c++  java

  • Python爬虫(一)

    参考文章: http://python.jobbole.com/81332/

    1. 一次完整的HTTP事务的过程

      域名解析–>发起TCP的3次握手–>建立TCP连接后发起http请求–>服务器响应http请求，浏览器得到html代码–>浏览器解析html代码，并请求html代码中的资源(js，css，images)–>浏览器对页面进行渲染呈现给用户
      DNS: 域名系统，将域名和IP地址相互映射的一个分布式数据库，DNS使用TCP和UDP端口53。
      TCP的三次握手: 拿到域名对应的ip地址之后，User-Agent(一般指浏览器)会以一个随机端口(1024<端口<65535)向服务器的web程序80端口发起TCP的连接请求。 两个计算机通信是靠协议(目前流行的TCP/IP)来实现，三次握手就相当于试探对方是否遵循TCP/IP协议。

    2. URL的概念以及组成

      URL:统一资源定位符，由三部分组成:

      1. 协议(http.https,ftp)
      2. 主机IP地址(包括端口号)
      3. 资源地址

    3. urllib，urllib2

      1. import urllib
      2. import urllib2
      4. # response = urllib2.urlopen("http://www.baidu.com")
      7. # response = urllib2.urlopen(url,data,timeout)
      9. values = {"username":"1016903103@qq.com","password":"xxxxxxx"}
      11. # 将key-value键值对转化成符合要求的字符串
      13. data = urllib.urlencode(values)
      14. url = "https://passport.csdn.net/account/login?from=http://my.csdn.net/my/mycsdn"
      16. # 构造request
      19. # post方式
      21. request = urllib2.Request(url,data)
      23. # get方式
      26. # geturl = url+"?"+data
      29. # request = urllib2.Request(geturl)
      32. # 构造response
      34. response = urllib2.urlopen(request)
      35. print response.read()

    4. Headers

      1. import  urllib
      2. import  urllib2
      5. values = {"username":"1016903103@qq.com","password":"xxxxxxx"}
      7. # 将key-value键值对转化成符合要求的字符串
      9. data = urllib.urlencode(values)
      10. url = "https://passport.csdn.net/account/login?from=http://my.csdn.net/my/mycsdn"
      12. # User_Agent: 请求的身份(浏览器)
      15. # Referer: 对付“反盗链”
      17. headers = { 
      18. 'User-Agent' : 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)' ,
      19. 'Referer':'http://www.zhihu.com/articles' }
      21. # post方式
      23. request = urllib2.Request(url,data,headers)
      24. response = urllib2.urlopen(request)
      25. print response.read()

    5. Proxy(代理)

      1.  import  urllib
      2.  import  urllib2
      5.  # Proxy（代理）的设置
      6. enable_proxy = True
      7. proxy_handler = urllib2.ProxyHandler({"http" : 'http://some-proxy.com:8080'})
      8. null_proxy_handler = urllib2.ProxyHandler({})
      9. if enable_proxy:
      10.     opener = urllib2.build_opener(proxy_handler)
      11. else:
      12.     opener = urllib2.build_opener(null_proxy_handler)
      13. urllib2.install_opener(opener)

    6. URLError异常

      1. URLError

      • 网络无连接

      • 连接不到特定的服务器

      • 服务器不存在

      1. HTTPError

      HTTRError是URLError的子类，在利用urlopen()发出请求时，服务器都会response，其中包括状态码。

      2. #URLError异常处理
      4. request = urllib2.Request('http://blog.csdn.net/cqcre')
      5. try:
      6.     urllib2.urlopen(request)
      7. except urllib2.URLError,e:
      8.     if hasattr(e,"code"):
      9.         print e.code
      10.     if hasattr(e,"reason"):
      11.         print e.reason
      12. else:
      13.     print "OK"

    7. Cookie

      cookie: 指某些网站为了辨别用户身份，进行session跟踪而储存在用户本地终端上的数据(通过经过加密)。

      1. opener

      2. cookielib: 提供可存储的cookie对象，以便于与urllib2模块配合使用来访问internet资源。利用本模块的CookieJar类的对象来捕获cookie并在后续连接请求时重新发送，比如模拟登陆。改模块主要的对象:
        CookieJar–派生–FileCookieJar–派生–MozillaCookieJar和LWPCookieJar

        • 首先利用CookieJar对象获取cookie保存到变量

        • 使用FileCookieJar的子类MozillaCookieJar来实现Cookie保存到变量的过程

          2. #coding=utf-8
          5. import  urllib2
          6. import  cookielib
          9. # 设置保存cookie的文件，同级目录下的cookie.txt
          11. filename = 'cookie.txt'
          13. # 声明一个MozillaCookieJar对象实例来保存cookie，之后写入文件
          15. cookie = cookielib.MozillaCookieJar(filename)
          17. # 声明一个CookJar对象实例来保存cookie
          20. #cookie = cookielib.CookieJar()
          23. # 利用urllib2库的HTTPCookieProcessor对象来创建cookie处理器
          25. handler = urllib2.HTTPCookieProcessor(cookie)
          27. # 通过handler来构建opener
          29. opener = urllib2.build_opener(handler)
          30. response = opener.open('http://www.baidu.com')
          32. # 保存cookie到文件
          35. # ignore_discard: 即使cookie将被丢弃也要保存；
          38. # ignore_expires: 如果该文件cookie已经存在，则覆盖原文件写入
          40. cookie.save(ignore_discard = True,ignore_expires = True)

        • 从文件中获取并使用Cookie

          2. #coding=utf-8
          5. import  urllib2
          6. import  cookielib
          9. # 创建MozillaCookJar实例对象
          11. cookie = cookielib.MozillaCookieJar()
          13. # 从文件中读取Cookie内容到变量
          15. cookie.load('cookie.txt',ignore_expires=True,ignore_discard=True)
          17. # 创建请求的request
          19. req = urllib2.Request('http://www.baidu.com')
          21. # 利用urllib2的build_opener方法创建一个opener
          23. opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie))
          24. rsp = opener.open(req)
          25. print rsp.read()

        • 利用Cookie模拟网站登录

          2. #coding=utf-8
          5. import  urllib
          6. import  urllib2
          7. import  cookielib
          9. filename = 'cookie.txt'
          11. # 声明一个MozillaCookieJar对象实例来保存cookie，之后写入文件
          13. cook = cookielib.MozillaCookieJar(filename)
          14. opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cook))
          15. postdata = urllib.urlencode({
          16.     'stuid':'2011',
          17.     'pwd':'1234'
          18.     })
          19. url = 'http://jwxt.sdu.edu.cn:7890/pls/wwwbks/bks_login2.login'
          21. # 模拟登陆，并把cookie保存到变量
          23. result = opener.open(url,postdata)
          24. cook.save(ignore_discard=True,ignore_expires=True)
          26. # 读取写入的cookie访问其他网址
          28. url2 = 'http://jwxt.sdu.edu.cn:7890/pls/wwwbks/bkscjcx.curscopre'
          29. result = opener.open(url2)
          30. print  result.read()

    8. 正则表达式

      正则表达式快速入门

      正则表达式语法规则

      1. re.match(pattern,string[,flags])

        这个方法将会从string的开头开始，尝试匹配pattern，一直向后匹配，如果遇到无法匹配的字符，立即返回NULL,如果匹配未结束已经达到string的末尾，也会返回NULL。
        常用的方法:

        • group([group1,…]): 获得一个或多个分组解截获的字符串，编号0代表整个字符串。
        • start([group]): 返回指定的组截获的字符串的起始索引
        • end([group]): 返回指定的组截获的字符串的结束索引
        • span([group]): 返回(start(group),end(group))

      2. re.search(pattern,string[,falgs])

        search与match方法极其类似，区别在于match函数检测re是不是在string的开始位置匹配，search会扫描整个string查找匹配。

        2. #coding=utf-8
        5. import  re
        8. # 将正则表达式编译成Pattern对象
        10. pattern = re.compile(r'world')
        12. # 使用search()查找匹配的字符串，匹配
        14. match = re.search(pattern,'hello world!')
        16. # 使用match()查找匹配的字符串，不匹配返回None
        19. #match = re.search(pattern,'hello world!')
        21. if match:
        22.     print  match.group()

      3. re.split(pattern,string[,falgs]): 按照匹配的字符串将string分割后返回列表

      4. re.findall(pattern,string[,falgs]): 以列表形式返回全部能匹配的字符串
      5. re.sub(pattern,string[,falgs]): 使用repl替换string中每一个匹配的字符串返回替换后的字符串

    9. Beautiful Soup

      1. 安装
        pip install beautifulsoup4
        pip install virtualenv

        注: Beautiful Soup支持Python标准库中的HTML解析器，还支持第三方解析器，lxml解析器更加强大，速度更快。

      2. 创建对象

        2. #coding=utf-8
        5. from  bs4 import BeautifulSoup
        6. html = """
        7. <html><head><title>The Dormouse's story</title></head>
        8. <body>
        9. <p class="title" name="dromouse"><b>The Dormouse's story</b></p>
        10. <p class="story">Once upon a time there were three little sisters; and their names were
        11. <a href="http://example.com/elsie" class="sister" id="link1"><!-- Elsie --></a>,
        12. <a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
        13. <a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
        14. and they lived at the bottom of a well.</p>
        15. <p class="story">...</p>
        16. """
        17. soup = BeautifulSoup(html)
        19. # prettify格式化输出对象
        21. print soup.prettify()

      3. 四大对象

        1. Tag
          <title> The Document's story </title>
          print soup.name
          print soup.p.attrs
        2. NavigableString
          print soup.title.string # 获得标签内部的文字
        3. BeautifulSoup
          BeautifulSoup对象表示的是文档的全部内容。
        4. Comment
          特殊类型的NavigableString对象，输出内容仍然不包括注释符号。

      4. 遍历文档树

        • contents
          tag的.contents属性可以将tag的子节点以列表的方式输出。
          print soup.head.contents[0]

        • children

          1. for child in soup.body.children:
          2.     print child
        • .parent(s)
        • .next_sibling(s).previous_sibling(s)
        • .next_element(s).previous_element(s)

      5. 搜索文档树

        • find_all(name,attrs,recursive,text,**kwargs)

      6. CSS选择器

        • 通过标签名查找
        • 通过类名查找
        • 通过ID查找

      注: BeautifulSoup知识点太多，后续实战再慢慢学习巩固。
  • 相关阅读:
    Windows Phone 播放音频之MediaPlayer
    （转）系统架构师学习笔记_第四章（下）
    （转）系统架构师学习笔记_第二章
    （转）系统架构师学习笔记_第四章（上）
    读取properties配置文件信息
    （转）系统架构师学习笔记_第五章（上）
    （转）系统架构师学习笔记_第三章
    Struts2实现文件上传
    Struts2手工编写代码实现对Action中所有方法输入校验
    （转）系统架构师学习笔记_第五章（下）
  • 原文地址：https://www.cnblogs.com/aniudcs/p/f71ca37c823a2d6bbfa68cad9f32ca8d.html
Copyright © 2011-2022 走看看