zoukankan      html  css  js  c++  java
  • requests-html的安装与使用

    使用requests-html单一库完成简书首页获取(包含请求、解析、JavaScript渲染功能)

    一:安装

    sudo pip install requests-html

    # -*- coding: utf-8 -*-
    import requests_html
    
    
     
    text_url = 'https://music.line.me/album/mb00000000012ac6c9' 
    user_agent = requests_html.user_agent()
    print("User-Agent:",user_agent) 
    session = requests_html.HTMLSession()
    headers = {
        "User-Agent":user_agent
    } 
    r = session.get(text_url,headers=headers) 
    r.html.render(sleep=1)
    print(r.html.html)  

    r.html.render() 在初次使用该功能的时候会自动下载支持包:Chromium,但是由于国内网网络的原因,异常慢,基本失败,需要改写下载源,找到python3里的Pyppeteer的chromium_downloader.py里的下载路径,在http://npm.taobao.org/mirrors/chromium-browser-snapshots/Linux_x64/上面找最新的路劲写上,shell界面输入pyppeteer-install进行安装。

    二、使用

    更多使用以后在记录,本次着重把它跑通即可。

    requeests_html报错pyppeteer.errors.BrowserError: Browser closed unexpectedly:解决办法

    这个一般是环境问题,ubuntu运行以下代码试下

    sudo apt-get install  gconf-service libasound2 libatk1.0-0 libatk-bridge2.0-0 libc6 libcairo2 libcups2 libdbus-1-3 libexpat1 libfontconfig1 libgcc1 libgconf-2-4 libgdk-pixbuf2.0-0 libglib2.0-0 libgtk-3-0 libnspr4 libpango-1.0-0 libpangocairo-1.0-0 libstdc++6 libx11-6 libx11-xcb1 libxcb1 libxcomposite1 libxcursor1 libxdamage1 libxext6 libxfixes3 libxi6 libxrandr2 libxrender1 libxss1 libxtst6 ca-certificates fonts-liberation libappindicator1 libnss3 lsb-release xdg-utils wget
    

      

  • 相关阅读:
    BZOJ 4408: [Fjoi 2016]神秘数
    51Nod 1317 相似字符串对
    51Nod 1561 另一种括号序列
    BZOJ 4556: [Tjoi2016&Heoi2016]字符串
    51Nod 1048 整数分解为2的幂 V2
    BZOJ 4698: Sdoi2008 Sandy的卡片
    BZOJ 3571: [Hnoi2014]画框
    BZOJ 2752: [HAOI2012]高速公路(road)
    BZOJ 1095: [ZJOI2007]Hide 捉迷藏
    BZOJ 4537: [Hnoi2016]最小公倍数
  • 原文地址:https://www.cnblogs.com/lingwang3/p/13188582.html
Copyright © 2011-2022 走看看