zoukankan      html  css  js  c++  java
  • 17.3.12---urlparse模块的URL下载

    1---urlparse模块是一个解析与泛解析Web网址URL字符串的一个工具

          urlparse模块会将一个普通的url解析为6个部分,返回的数据类型都是元祖,同时,他还可以将已经分解后的url在组合成url地址

                    返回六个部分,分别是:scheme(机制),,netloc(网络配置),path(路径),params(路径段参数)

                     query(查询),fragment(片段)

    2-----urlparse函数讲解

        1 )、 urlparse.urlparse(url),分解url返回元组,可以得到很多关于这个url的数据,网络协议、目录层次等。
        2 )、 urlparse.urlunparse(parts),它接收一个元组类型,将元组内对应元素重新组后为一个url网址,与上面功                      能正好相反。
        3 )、 urlparse.urlsplit(url),作用与urlparse非常相似,它不会分解url参数,对于遵循RFC2396的URL很有用                             处。
        4 )、 urlparse.urljoin(base, url ) 功能是基于一个base url和另一个url构造一个绝对URL

    3------urlparse模块知识总结

              Python的一大强项就是它在网络抓取方面的功能,像编写一个爬虫抓取网络上面的资源,往往就需要先对网址url做一        个处理,这离不开urlparse模块,自己编写处理url地址的代码费时费力,不如直接找找标准库中的urlparse。

  • 相关阅读:
    【hdu2825-Wireless Password】AC自动机+DP
    kuangbin专题十二 HDU1029 Ignatius and the Princess IV (水题)
    Codeforces Round #501 (Div. 3) 1015D Walking Between Houses
    Codeforces Round #501 (Div. 3) 1015A Points in Segments (前缀和)
    POJ2503 Babelfish
    POJ2531 Network Saboteur
    POJ3278 Catch That Cow
    POJ2488 A Knight's Journey
    POJ2456 Aggressive cows
    HDU1425 A Chess Game
  • 原文地址:https://www.cnblogs.com/xiaoyoucai/p/6538647.html
Copyright © 2011-2022 走看看