zoukankan      html  css  js  c++  java
  • selenium登录12306,requests抓取数据

      selenium登录12306,requests抓取数据:

    import selenium
    import selenium.webdriver
    import selenium.webdriver.common.keys
    from  selenium.webdriver.common.action_chains import ActionChains
    import requests
    import lxml
    import lxml.etree
    import time
    #登录12306需要点击验证码  ,会话前时间长一点
    driver = selenium.webdriver.Firefox()
    driver.get("https://kyfw.12306.cn/otn/resources/login.html")
    time.sleep(3)
    #切换到账户登录
    elem=driver.find_element_by_xpath("/html/body/div[2]/div[2]/ul/li[2]/a") #点到账户登录
    time.sleep(3)
    elem.click()   #点击一下
    
    user=driver.find_element_by_id("J-userName")
    time.sleep(2)
    password=driver.find_element_by_id("J-password")
    #login=driver.find_element_by_id("J-login")
    user.clear()  #清理user  因为已经有了,再写会出现问题
    password.clear()#清理user  password
    time.sleep(2)
    user.send_keys("用户名")
    time.sleep(2)
    password.send_keys("密码")
    time.sleep(15)   #手动点击验证码
    #btn=driver.find_element_by_class_name("btn btn-primary ok").click() #点击确定
    #login.click()  #点击一下  登录
    time.sleep(30)  # 等待页面加载  时间太短cookie会加载不出来
    
    print("开始会话")
    req=requests.session()  #会话   打开一个网页,直到关闭浏览器之前 都是会话
    cookies=driver.get_cookies()  #抓取全部的cookie
    for cookie in cookies:   #把cookie加载到自定义的网页中
        req.cookies.set(cookie['name'],cookie['value'])   #把cookie加载到req中
    req.headers.clear()  #清空头
    newpage=req.get("https://kyfw.12306.cn/otn/view/information.html",verify=False)  #个人信息网址
    time.sleep(5)
    #btn=driver.find_element_by_class_name("btn btn-primary ok").click() #点击确定
    print("会话完成")
    time.sleep(5)
    print(newpage.text)  #页面
    
    time.sleep(20)
  • 相关阅读:
    rCore-Tutorial-Book-v3学习笔记(五)
    rCore-Tutorial-Book-v3学习笔记(四)
    rCore-Tutorial-Book-v3学习笔记(三)
    rCore-Tutorial-Book-v3学习笔记(二)
    rCore-Tutorial-Book-v3学习笔记(一)
    OpenStack 命令行速查表(转载)
    mysql数据库总结笔记
    Owncloud迁移上云案例
    Python
    高等数学(微积分)
  • 原文地址:https://www.cnblogs.com/my-global/p/12484148.html
Copyright © 2011-2022 走看看