zoukankan      html  css  js  c++  java
  • python爬虫

    简单的介绍

    1、get  post请求

    import request

    form  bs4 import Beautifulsoup  

    response=request.get(url="******")

    print(response.text)

    soup=beautifusoup(respon.text,'html.parser')

    news_list=soup.find_all(name='div',class='****')

    print(new_list)

    2、post请求

    form_data={

      'phone':'asdsa',

      'password':'adsad',

      'onemonth':1

    }

     #这一部分需要看浏览器的网络请求

    response=request.post(

    url='*********',

    data=form_data

    )

    print(response.text)

    3、request.request(

    method='post'

    method='get'

    url='https://www.sogo.com/web',

    params={'query':'fkkk','q':'b'},           #"query=fkkk&q=b"

    data={'user':'alex','pwd':'asdsa'}  #"user=alex;pwd=asdsa"

     

    4、headers{

    'Referer':'https://www.zhihu.com',

    'User-Agent':'*******'

    }

    #Referer 是浏览器上一次访问的地址。其实就是你要访问页面的首页

    #User-Agent 是你上面设备访问的浏览器地址

    这个主要是,在用request请求时,访问网站时,没有返回任何的内容,可能就是这两个地方需要配置

    )

    5、import requests

    response=requests.get(

    url='https://i.cnblogs.com/EditPosts.aspx',

    cookies={'.CNBlogsCookie':'************'}          

    )

    print(response.text)

    request模块

    1、基本参数: method,url,params,json,headers,cookies

    2、其他参数:files,auth,proxies。。。。。。  

    实现一个自动登录抽屉,对莫文章点赞

    r1=requesrs.get('http://dig.chouti.com/',headers={},cookies{}) 这个带的就是请求头,和请求cookies

    r1.content

    r1.encoding=utf-8

    r1.headers  获取返回头

    r1.cookies.get_dict()

    获取到所有cookies但是未生效

    c1=r1.cookies.get_dict()  

    2、用户登录 post

    form_data{

    }                                 

    r2=requests.post("http://dig.chouti.com/",data=form_data,cookies=c1)

    c2=updta(c2)

    3、点赞

    c1.updata(c2)

    requests.post{

    url="http://dig.chouti.com/link/vote?linksid=8589523"

    data={'linksid':'8589523'}

    cookies=c1 

    }

    注意;有些网站在没有登录时是不返回cookiesi。有些网站时访问时就给你cookies 但是未生效。跟现在的情况一样;

     方法二使用session方式

    import session

    session=request.session()

    li=session.get(url="http://dig.chouti.com/help/servvice")

    li2=session.post{

    url="http://dig.chouti.com/login"

    data={

    'phone':"12312323123"

    'password':"asdasdas"

    'oneMonth':" "

    }

    }

    l3=session.post{

    'url':"http://dig.chouti.com/link/vote?linksid=123232"

    }

    print(i3.text)         

  • 相关阅读:
    Linux学习笔记六----------文件传输
    Linux学习笔记五----------文本编辑
    Linux学习笔记四----------远程连接和SSH
    Linux学习笔记三----------Linux进阶知识和命令
    Linux学习笔记二----------Linux基础知识和命令
    ArcGIS API for JavaScript3.16 使用中遇到的问题,及解决方法
    ArcGIS API for JavaScript学习
    echarts容器动态变化高度
    好用的流程图js插件
    jeecg-boot + ant-design-vue开发,希望点击菜单打开新窗口页签
  • 原文地址:https://www.cnblogs.com/fkkk/p/7808940.html
Copyright © 2011-2022 走看看