zoukankan      html  css  js  c++  java
  • 吴裕雄--天生自然PYTHON爬虫:使用BeautifulSoup解析中国旅游网页数据

    import requests
    from bs4 import BeautifulSoup
    
    url = "http://www.cntour.cn/"
    strhtml = requests.get(url)
    soup = BeautifulSoup(strhtml.text,"lxml")
    #下面的参数由网站开发者模式中Copy->copy selector复制而来
    data = soup.select("#main > div > div.mtop.firstMod.clearfix > div.centerBox > ul.newsList > li:nth-child(1) > a")
    print(data)

    import requests
    from bs4 import BeautifulSoup
    
    url = "http://www.cntour.cn/"
    strhtml = requests.get(url)
    soup = BeautifulSoup(strhtml.text,"lxml")
    #下面的参数由网站开发者模式中Copy->copy selector复制而来,获取该网站所有超链接内容,删掉::nth-child(1),如下:
    data = soup.select("#main > div > div.mtop.firstMod.clearfix > div.centerBox > ul.newsList > li > a")
    print(data)

    #清洗和组织爬取到的数据
    import requests
    from bs4 import BeautifulSoup
    
    url = "http://www.cntour.cn/"
    strhtml = requests.get(url)
    soup = BeautifulSoup(strhtml.text,"lxml")
    #下面的参数由网站开发者模式中Copy->copy selector复制而来,获取该网站所有超链接内容,删掉::nth-child(1),如下:
    data = soup.select("#main > div > div.mtop.firstMod.clearfix > div.centerBox > ul.newsList > li > a")
    for item in data:
        result={
            "title":item.get_text(),
            "link":item.get("href")
        }
        print(result)

    #清洗和组织爬取到的数据,获取每个链接后面的ID
    import re
    import requests
    from bs4 import BeautifulSoup
    
    url = "http://www.cntour.cn/"
    strhtml = requests.get(url)
    soup = BeautifulSoup(strhtml.text,"lxml")
    #下面的参数由网站开发者模式中Copy->copy selector复制而来,获取该网站所有超链接内容,删掉::nth-child(1),如下:
    data = soup.select("#main > div > div.mtop.firstMod.clearfix > div.centerBox > ul.newsList > li > a")
    for item in data:
        result={
            "title":item.get_text(),
            "link":item.get("href"),
            "ID":re.findall("d+",item.get("href"))
        }
        print(result)

  • 相关阅读:
    编程语言的精髓
    进销存-库存表-算法
    JAVA 将JSON数组转化成JAVA数组
    使input文本框不可编辑的3种方法
    如何让一个DIV固定在另一个DIV的底部
    错误笔记既 onclick()事件写方法传jstl表达式作为变量
    错误笔记
    SQL查询语句左连接
    查已有表的建表语句
    使用(文件上传域)MultipartFile接受文件时的判空方式
  • 原文地址:https://www.cnblogs.com/tszr/p/12185145.html
Copyright © 2011-2022 走看看