zoukankan      html  css  js  c++  java
  • python爬虫入门笔记--知乎发现(爬取失败了)

    import urllib.request
    import urllib.parse
    #401 Unauthorized客户试图未经授权访问受密码保护的页面 所以爬取失败了
    url = 'https://www.zhihu.com/api/v3/feed/topstory/recommend?session_token=5ad2f1226d859b5abf6d7d214140e78f&desktop=true&page_number=4&limit=6&action=down&after_id=17 '
    page = int(input('请输入你要查找的页数:'))
    
    # page  5    2
    # page  11   3
    # page  17   4
    # page  23   5
    
    
    form_data={
        'session_token': '5ad2f1226d859b5abf6d7d214140e78f',
        'desktop': 'true',
        'page_number': page+1,
        'limit': '6',
        'action': 'down',
        'after_id': (page*6)-1,
    }
    headers={
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Safari/537.36',
    
    }
    
    request = urllib.request.Request(url = url,headers = headers)
    form_data = urllib.parse.urlencode(form_data).encode()
    response = urllib.request.urlopen(request,data=form_data)
    print(response.read().decode())
    # with open('北京大学微博.html','wb')as fp:
    #     fp.write(response.read())
  • 相关阅读:
    进制
    变量
    cmd命令和快捷键
    面向对象和面向过程
    iterations 快捷键
    SQL语句分类和语法
    MySQL语法规范
    Web-Scale-IT 到底是啥?
    安全的应用程序开发和应用程序安全防御
    如何像后端一样写前端代码?
  • 原文地址:https://www.cnblogs.com/zhahu/p/11931417.html
Copyright © 2011-2022 走看看