zoukankan      html  css  js  c++  java
  • Python爬虫:爬取福州链家的不同区域的二手房成交信息

     1 from selenium import webdriver#导入库
     2 from bs4 import BeautifulSoup
     3 import  urllib,pymysql
     4 db = pymysql.connect(host='*****', user='*****', password='*****', port=*****,
     5 db='*****')
     6 cursor = db.cursor()
     7 table = '福州链家'
     8 cursor.execute('create table 福州链家(区域 varchar(255)'
     9                ',单价 varchar(255)'
    10                ',总价 varchar(255)'
    11                ',房屋户型 varchar(255)'
    12                ',所在楼层 varchar(255)'
    13                ',建筑面积 varchar(255)'
    14                ',户型结构 varchar(255)'
    15                ',套内面积 varchar(255)'
    16                ',建筑类型 varchar(255)'
    17                ',房屋朝向 varchar(255)'
    18                ',建成年代 varchar(255)'
    19                ',装修情况 varchar(255)'
    20                ',建筑结构 varchar(255)'
    21                ',供暖方式 varchar(255)'
    22                ',梯户比例 varchar(255)'
    23                ',配备电梯 varchar(255)'
    24                ',链家编号 varchar(255)'
    25                ',交易权属 varchar(255)'
    26                ',挂牌时间 varchar(255)'
    27                ',房屋用途 varchar(255)'
    28                ',房屋年限 varchar(255)'
    29                ',房权所属 varchar(255))')
    30 
    31 browser = webdriver.Chrome()#声明浏览器
    32 url = 'https://fz.lianjia.com/chengjiao/'
    33 browser.get(url)#打开浏览器预设网址
    34 source = browser.page_source#打印网页源代码
    35 soup = BeautifulSoup(source, 'lxml')
    36 ul_list = soup.select('div.content')[0]
    37 position = {}
    38 for li in ul_list.select('li'):
    39     if(li.select('a.img')):
    40         websites =li.select('a.img')[0].get('href')
    41         browser.get(websites)
    42         soup = BeautifulSoup(browser.page_source, 'lxml')
    43 
    44         outlist = list()
    45         quyu = browser.find_element_by_xpath("/html/body/div[4]/div").text
    46         outlist = quyu.split()
    47         position['区域'] = outlist[0]
    48         position['单价'] = browser.find_element_by_xpath("/html/body/section[1]/div[2]/div[2]/div[1]/b").text
    49         position['总价'] = browser.find_element_by_xpath("/html/body/section[1]/div[2]/div[2]/div[1]/span/i").text
    50 
    51         baseC = soup.select('div.introContent')[0].select('div.base')[0].select('div.content')[0]
    52         for ba in baseC.select('li'):
    53             keys = ba.text[:4]
    54             position[keys] = ba.text[4:].strip()
    55         #基本信息
    56         other = soup.select('div.introContent')[0].select('div.transaction')[0].select('div.content')[0]
    57         for ot in other.select('li'):
    58             keys = ot.text[:4]
    59             position[keys] = ot.text[4:].strip()
    60         #其他信息
    61         print(position)
    62 
    63 
    64         keys = ', '.join(position.keys())
    65         values = ', '.join(['%s'] * len(position))
    66         sql = 'INSERT INTO {table}({keys}) VALUES ({values})'.format(table=table,
    67                                                                      keys=keys, values=values)
    68         print(sql)
    69         try:
    70             cursor.execute(sql, tuple(position.values()))
    71             db.commit()
    72         except Exception as e:
    73             print('错误信息为', e)
    74             db.rollback()
    75             db.close()
  • 相关阅读:
    第一章:Android系统的编译和移植实例读书笔记
    第二章:Android系统与嵌入式开发读书笔记
    第三章:Android移植平台工具介绍读书笔记
    第十章 嵌入式Linux的调试技术
    第九章 硬件抽象层:HAL
    第八章 让开发板发出声音:蜂鸣器驱动
    第七章 LED将为我闪烁:控制发光二极管
    第六章 第一个Linux驱动程序:统计单词个数
    第五章 搭建S3C6410开发板的测试环境
    第四章 源代码的下载和编译
  • 原文地址:https://www.cnblogs.com/Zoeun/p/13966518.html
Copyright © 2011-2022 走看看