zoukankan      html  css  js  c++  java
  • python urllib下载网页

    上次写了一个关于python下载网页的教程,今天想和大家聊另外一个的库:python urllib
    很多网页处理都可以用urllib这个标准库来处理,下面我分享下平时用到的关于urllib方面的内容:

    1如果你要在url请求里面放入中文,对相应的中文进行编码的话,可以用:
    urllib.quote('要编码的字符串')

    2如果你请求对方的网页,确不想被封IP的话,这个时候就要用到代理了,其实用urllib代理还是比较简单的:

    proxies = {'http': '代理ip'}
    opener = urllib.FancyURLopener(proxies)
    f = opener.open("http://www.python.org")
    f.read()

    3 如果在GET需要一些参数的话,那我们需要对传入的参数进行编码。

    params = urllib.urlencode({'spam': 1, 'eggs': 2, 'bacon': 0})
    f = urllib.urlopen("http://www.xx.com/query?%s" % params)
    print f.read()

    想了解更多关于urllib方面的知识,可以多用用help命令来查看。

    文章链接:http://www.cnpythoner.com/post/pythonurllib.html 转载请保留,谢谢!

  • 相关阅读:
    c#剪切板操作
    eclipse mvn build error tips
    Redis Tips
    IntilliJ Idea 使用中的问题与解决方案
    mongo
    python
    SQL Relative
    sybase update
    run current vim file
    git
  • 原文地址:https://www.cnblogs.com/wanpython/p/2794452.html
Copyright © 2011-2022 走看看