zoukankan      html  css  js  c++  java
  • 关于爬虫urllib.request模块、urllib.parse模块的基础使用

    #构建get参数
    data={
        "start":(page-1)*number ,
        "limit": number
    }
    #将字典转化为 query_string
    query_string = urllib.parse.urlencode(data)
    
    #构建完整的请求url
    movie_url+=query_string
    #爬取肯德基餐厅 查询某个地区的餐厅信息
    #实则是通过构造post传参 捕获肯德基的查询地址端口
    import  urllib.request
    import  urllib.parse
    
    post_url = "http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=keyword"
    
    #form_data 生成字典来拼接生成url
    city= input("请输入你要查询的城市:")
    page = input("请输入要查询的页数:")
    size = input("请输入要查询多少个:")
    
    #关于post参数
    form_data = {
        'cname': '',
        'pid':'',
        'keyword': city,
        'pageIndex': page,
        'pageSize': size
    }
    
    #构建请求头
    headers={
       'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:71.0) Gecko/20100101 Firefox/71.0'
    }
    
    #发送请求
    request = urllib.request.Request(url=post_url,headers=headers)
    #post数据需要加这一句编码
    form_data =urllib.parse.urlencode(form_data).encode()
    
    #获取响应
    response = urllib.request.urlopen(request,data=form_data)
    
    print(response.read().decode())

    作者:求知鱼

    -------------------------------------------

    个性签名:你有一个苹果,我有一个苹果,我们交换一下,一人还是只有一个苹果;你有一种思想,我有一种思想,我们交换一下,一个人就有两种思想。

    如果觉得这篇文章对你有小小的帮助的话,记得在右下角点个“推荐”哦,博主在此感谢!

    独学而无友,则孤陋而寡闻,开源、分享、白嫖!

  • 相关阅读:
    Classview配置与访问
    MongoDB(NoSQL) 非关系型数据库
    服务器出现500错误的时候,让PHP显示错误信息
    Linux_目录介绍
    各类ip地址范围和私有地址范围
    Raid_磁盘冗余阵列
    Python_文件操作_读
    Git操作命令
    记录关于校园网登录不了腾讯的软件得问题解决
    关于科研方面分享的一些经验
  • 原文地址:https://www.cnblogs.com/Qiuzhiyu/p/12182729.html
Copyright © 2011-2022 走看看