zoukankan      html  css  js  c++  java
  • python网络爬虫day1

    python爬虫真的很方便,自己不能忽视的问题就是字符编码的问题,一直想腾出时间来看,一直没有时间。明天开始看吧。

    今天是学习python爬虫的第一天,从B站上搜到的,可惜可惜。

    import  requests
    
    def getHtmlText(url):
        try:
            r=requests.get(url,timeout=30)
            r.raise_for_status()
            r.encoding=r.apparent_encoding
            return  r.text
        except:
            return "产生异常"
    
    
    url="http://baidu.com"
    print(getHtmlText(url))

    一开始的代码很简单,就是爬取百度的内容。百度做了反爬虫的处理,哈哈哈哈。

    import requests
    kv={'user-agent':"Mozilla/5.0"}
    r=requests.get("https://www.amazon.cn/gp/product/B01M8L5Z3Y",headers=kv)
    print(r.status_code)
    print(r.text)

    爬亚马逊,亚马逊对爬虫做了限制处理,直接爬取会出错,令爬虫模拟浏览器。

    r=requests.get("https://www.amazon.cn/gp/product/B01M8L5Z3Y",headers=kv)
    import requests
    kv={"wd":'python'}
    r=requests.get("https://www.baidu.com/s",params=kv)
    print(r.status_code)
    print(r.request.url)

    爬取百度关键字的搜素内容,难度不大,使用params参数就行了。

     

  • 相关阅读:
    JVM基础
    JVM基础
    python相关
    charles 的配置与使用
    大型缓存架构实战
    redis环境搭建
    多线程与并发 | 线程池
    JVM | 内存溢出和解决方案
    读书笔记 | Mysql是怎样运行的
    读书笔记 | Java并发编程实战
  • 原文地址:https://www.cnblogs.com/bianzhuo/p/9886209.html
Copyright © 2011-2022 走看看