zoukankan      html  css  js  c++  java
  • Python爬虫:爬取福州链家的不同区域的二手房成交信息

     1 from selenium import webdriver#导入库
     2 from bs4 import BeautifulSoup
     3 import  urllib,pymysql
     4 db = pymysql.connect(host='*****', user='*****', password='*****', port=*****,
     5 db='*****')
     6 cursor = db.cursor()
     7 table = '福州链家'
     8 cursor.execute('create table 福州链家(区域 varchar(255)'
     9                ',单价 varchar(255)'
    10                ',总价 varchar(255)'
    11                ',房屋户型 varchar(255)'
    12                ',所在楼层 varchar(255)'
    13                ',建筑面积 varchar(255)'
    14                ',户型结构 varchar(255)'
    15                ',套内面积 varchar(255)'
    16                ',建筑类型 varchar(255)'
    17                ',房屋朝向 varchar(255)'
    18                ',建成年代 varchar(255)'
    19                ',装修情况 varchar(255)'
    20                ',建筑结构 varchar(255)'
    21                ',供暖方式 varchar(255)'
    22                ',梯户比例 varchar(255)'
    23                ',配备电梯 varchar(255)'
    24                ',链家编号 varchar(255)'
    25                ',交易权属 varchar(255)'
    26                ',挂牌时间 varchar(255)'
    27                ',房屋用途 varchar(255)'
    28                ',房屋年限 varchar(255)'
    29                ',房权所属 varchar(255))')
    30 
    31 browser = webdriver.Chrome()#声明浏览器
    32 url = 'https://fz.lianjia.com/chengjiao/'
    33 browser.get(url)#打开浏览器预设网址
    34 source = browser.page_source#打印网页源代码
    35 soup = BeautifulSoup(source, 'lxml')
    36 ul_list = soup.select('div.content')[0]
    37 position = {}
    38 for li in ul_list.select('li'):
    39     if(li.select('a.img')):
    40         websites =li.select('a.img')[0].get('href')
    41         browser.get(websites)
    42         soup = BeautifulSoup(browser.page_source, 'lxml')
    43 
    44         outlist = list()
    45         quyu = browser.find_element_by_xpath("/html/body/div[4]/div").text
    46         outlist = quyu.split()
    47         position['区域'] = outlist[0]
    48         position['单价'] = browser.find_element_by_xpath("/html/body/section[1]/div[2]/div[2]/div[1]/b").text
    49         position['总价'] = browser.find_element_by_xpath("/html/body/section[1]/div[2]/div[2]/div[1]/span/i").text
    50 
    51         baseC = soup.select('div.introContent')[0].select('div.base')[0].select('div.content')[0]
    52         for ba in baseC.select('li'):
    53             keys = ba.text[:4]
    54             position[keys] = ba.text[4:].strip()
    55         #基本信息
    56         other = soup.select('div.introContent')[0].select('div.transaction')[0].select('div.content')[0]
    57         for ot in other.select('li'):
    58             keys = ot.text[:4]
    59             position[keys] = ot.text[4:].strip()
    60         #其他信息
    61         print(position)
    62 
    63 
    64         keys = ', '.join(position.keys())
    65         values = ', '.join(['%s'] * len(position))
    66         sql = 'INSERT INTO {table}({keys}) VALUES ({values})'.format(table=table,
    67                                                                      keys=keys, values=values)
    68         print(sql)
    69         try:
    70             cursor.execute(sql, tuple(position.values()))
    71             db.commit()
    72         except Exception as e:
    73             print('错误信息为', e)
    74             db.rollback()
    75             db.close()
  • 相关阅读:
    sql优化-使用exists代替distinct
    count(*),count(1),count(c_bh)效率问题
    nulls last和null first
    连表更新
    postgresql-删除重复数据保留一条
    postgresql批量插入
    pg中join,left join的使用,将条件放到on和where后面的区别问题
    pg关于not in和not exists的使用
    postgresql关于in和exists使用
    postgresql无序uuid性能测试
  • 原文地址:https://www.cnblogs.com/Zoeun/p/13966518.html
Copyright © 2011-2022 走看看