zoukankan      html  css  js  c++  java
  • 2.Python爬虫入门_requests

     1 #2019-11-23
     2 #requests的api使用非常简单
     3 import requests
     4 import time
     5 
     6 if __name__=='__main__':
     7     # get请求
     8     url_get='http://www.httpbin.org/get'  #测试网站
     9     response_get=requests.get(url=url_get)
    10     #1.response.text 返回的是Unicode型的数据,适合得到文本
    11     #2.response.content 返回的是bytes型的数据,适合得到图片,视频(网络编程中,服务器和浏览器只认bytes类型数据)
    12     #2.response.headers 报文头
    13     print('get_text
    ',response_get.text)
    14     print('get_content
    ',response_get.content)
    15     print('get_header
    ',response_get.headers)
    16     print('
    
    
    ')
    17 
    18     # post请求(可以传递参数)
    19     url_post='http://www.httpbin.org/post'  #测试网站 
    20     response_post=requests.get(url=url_post,data={'name':'softpo','id':'pie'}) #以字典方式传递参数
    21     #对于真实网站,如果参数不对,可能根本无法获取返回
    22     #1.response_post.text
    23     #2.response_post.content
    24     #3.response_post.headers
    25     print('post_text
    ',response_post.text)
    26     print('post_content
    ',response_post.content)
    27     print('post_headers
    ',response_post.headers)
    28     
    29     #图片练习
    30     url_picture='http://c.hiphotos.baidu.com/image/pic/item/6c224f4a20a44623c3f7f2649722720e0cf3d7f3.jpg'
    31     response_picture=requests.get(url=url_picture)
    32     #创建一个.jpg文件,以二进制的方式进行写入
    33     with open('picture.jpg','wb') as fp: 
    34         content=response_picture.content
    35         fp.write(content)
    36         print('picture保存成功!')
    37         
    38         
    39     #百度贴吧   贴吧url尾号第一页0,第二页50,第三页100....
    40     url_tieba='http://tieba.baidu.com/f?kw=%E6%9D%AD%E5%B7%9E%E7%94%B5%E5%AD%90%E7%A7%91%E6%8A%80%E5%A4%A7%E5%AD%A6&ie=utf-8&pn='
    41     for i in range(10):
    42         print(url_tieba+str(i*50))
    43         response_tieba=requests.get(url_tieba)
    44         html=response_tieba.text
    45         with open('./TieBa/%d.html'%(i+1),mode='w',encoding='utf-8') as fp: #自己设定文件目录
    46             fp.write(html)
    47             print('贴吧第%d页保存成功!'%(i+1))
    48         time.sleep(2) #如果对方有防护措施,可以使用time.sleep(n)进行休眠一段时间(n秒)        

     详解链接:https://blog.csdn.net/shanzhizi/article/details/50903748

  • 相关阅读:
    java日常问题和技巧1(BigDecimal与int相互转换、判断某元素是否在数组中、求两个List并集、int[]转Integer[])
    窗口小部件基础编写V1.0----没有Service
    使用MyBatis遇到的问题及解决方法(一)(持续更新)
    java工具类集合(一)
    idea部分操作(一)----持续更新
    单向链表(篇九)
    结构体(篇八)
    指针与字符串(篇七)
    数组字符串(篇六)
    循环与函数(篇五)
  • 原文地址:https://www.cnblogs.com/NiBosS/p/11918716.html
Copyright © 2011-2022 走看看