zoukankan      html  css  js  c++  java
  • Python爬虫:爬取福州链家的不同区域的二手房成交信息

     1 from selenium import webdriver#导入库
     2 from bs4 import BeautifulSoup
     3 import  urllib,pymysql
     4 db = pymysql.connect(host='*****', user='*****', password='*****', port=*****,
     5 db='*****')
     6 cursor = db.cursor()
     7 table = '福州链家'
     8 cursor.execute('create table 福州链家(区域 varchar(255)'
     9                ',单价 varchar(255)'
    10                ',总价 varchar(255)'
    11                ',房屋户型 varchar(255)'
    12                ',所在楼层 varchar(255)'
    13                ',建筑面积 varchar(255)'
    14                ',户型结构 varchar(255)'
    15                ',套内面积 varchar(255)'
    16                ',建筑类型 varchar(255)'
    17                ',房屋朝向 varchar(255)'
    18                ',建成年代 varchar(255)'
    19                ',装修情况 varchar(255)'
    20                ',建筑结构 varchar(255)'
    21                ',供暖方式 varchar(255)'
    22                ',梯户比例 varchar(255)'
    23                ',配备电梯 varchar(255)'
    24                ',链家编号 varchar(255)'
    25                ',交易权属 varchar(255)'
    26                ',挂牌时间 varchar(255)'
    27                ',房屋用途 varchar(255)'
    28                ',房屋年限 varchar(255)'
    29                ',房权所属 varchar(255))')
    30 
    31 browser = webdriver.Chrome()#声明浏览器
    32 url = 'https://fz.lianjia.com/chengjiao/'
    33 browser.get(url)#打开浏览器预设网址
    34 source = browser.page_source#打印网页源代码
    35 soup = BeautifulSoup(source, 'lxml')
    36 ul_list = soup.select('div.content')[0]
    37 position = {}
    38 for li in ul_list.select('li'):
    39     if(li.select('a.img')):
    40         websites =li.select('a.img')[0].get('href')
    41         browser.get(websites)
    42         soup = BeautifulSoup(browser.page_source, 'lxml')
    43 
    44         outlist = list()
    45         quyu = browser.find_element_by_xpath("/html/body/div[4]/div").text
    46         outlist = quyu.split()
    47         position['区域'] = outlist[0]
    48         position['单价'] = browser.find_element_by_xpath("/html/body/section[1]/div[2]/div[2]/div[1]/b").text
    49         position['总价'] = browser.find_element_by_xpath("/html/body/section[1]/div[2]/div[2]/div[1]/span/i").text
    50 
    51         baseC = soup.select('div.introContent')[0].select('div.base')[0].select('div.content')[0]
    52         for ba in baseC.select('li'):
    53             keys = ba.text[:4]
    54             position[keys] = ba.text[4:].strip()
    55         #基本信息
    56         other = soup.select('div.introContent')[0].select('div.transaction')[0].select('div.content')[0]
    57         for ot in other.select('li'):
    58             keys = ot.text[:4]
    59             position[keys] = ot.text[4:].strip()
    60         #其他信息
    61         print(position)
    62 
    63 
    64         keys = ', '.join(position.keys())
    65         values = ', '.join(['%s'] * len(position))
    66         sql = 'INSERT INTO {table}({keys}) VALUES ({values})'.format(table=table,
    67                                                                      keys=keys, values=values)
    68         print(sql)
    69         try:
    70             cursor.execute(sql, tuple(position.values()))
    71             db.commit()
    72         except Exception as e:
    73             print('错误信息为', e)
    74             db.rollback()
    75             db.close()
  • 相关阅读:
    (15)如何使用Cocos2d-x 3.0制作基于tilemap的游戏:第三部分(完)
    (14)如何使用Cocos2d-x 3.0制作基于tilemap的游戏:第二部分
    (13)如何使用Cocos2d-x 3.0制作基于tilemap的游戏:第一部分
    (12)瓦片地图
    (11)粒子系统
    (10)场景转换(Transitions)
    (9)SpriteFrameCache和TextureCache
    LeetCode:数组中的第K个最大元素【215】
    LeetCode:累加数【306】
    LeetCode:组合总数III【216】
  • 原文地址:https://www.cnblogs.com/Zoeun/p/13966518.html
Copyright © 2011-2022 走看看