zoukankan      html  css  js  c++  java
  • python 爬虫的使用(1)

    1.这是一个简单的进入目标网站并且得到数据的步骤

    首先第一步:导入 urllib 模块                  

    import urllib.request

    第二步:设置URL 地址

    url = 'http://45.32.164.128/ip.php'

    第三步:#打开网址  并接受回应

    response = urllib.request.urlopen(url)    

    第四步:但是接受到的回应 需要转码读取后才可以

    html = response.read()

    第五步:打印获取到的数据

    print(html)

    2.如果网站需要的是UTF-8的数据则需要 编码

    data = {}
    #目标网站需要的数据
    data['type'] = 'AUTO'
    data['i'] = content
    data['doctype'] = 'json'
    data['version'] = 2.1
    data['keyfrom'] = 'fanyi.web'
    data['smartresult'] = 'dict'
    data['client'] = 'fanyideskweb'
    data['salt'] = '15831654231717'
    data['sign'] = '791ac18e417f96ac327e66aacbc77bf2'
    data['ts'] = '1583165423171'
    data['bv'] = '0ed2e07b89acaa1301d499442c9fdf79'
    data['action'] = 'FY_BY_REALTlME'

    #进行文字转码
    data = urllib.parse.urlencode(data).encode('utf-8')

    3.如果网站禁止ip则需要代理IP

    需要三个步骤

    4.一般最好加上user_agent

  • 相关阅读:
    UVA10302 【Summation of Polynomials】
    小Z 系列 解题报告
    Dsu on tree
    轻重链剖分
    二分图匹配
    题解 P2455 【[SDOI2006]线性方程组】
    闫氏DP分析法
    扩展域并查集
    bindColumn、bindParam与bindValue的区别
    如何获取二维数组的列数
  • 原文地址:https://www.cnblogs.com/Alex0001/p/12409947.html
Copyright © 2011-2022 走看看