zoukankan      html  css  js  c++  java
  • Python爬虫:爬取福州链家的不同区域的二手房成交信息

     1 from selenium import webdriver#导入库
     2 from bs4 import BeautifulSoup
     3 import  urllib,pymysql
     4 db = pymysql.connect(host='*****', user='*****', password='*****', port=*****,
     5 db='*****')
     6 cursor = db.cursor()
     7 table = '福州链家'
     8 cursor.execute('create table 福州链家(区域 varchar(255)'
     9                ',单价 varchar(255)'
    10                ',总价 varchar(255)'
    11                ',房屋户型 varchar(255)'
    12                ',所在楼层 varchar(255)'
    13                ',建筑面积 varchar(255)'
    14                ',户型结构 varchar(255)'
    15                ',套内面积 varchar(255)'
    16                ',建筑类型 varchar(255)'
    17                ',房屋朝向 varchar(255)'
    18                ',建成年代 varchar(255)'
    19                ',装修情况 varchar(255)'
    20                ',建筑结构 varchar(255)'
    21                ',供暖方式 varchar(255)'
    22                ',梯户比例 varchar(255)'
    23                ',配备电梯 varchar(255)'
    24                ',链家编号 varchar(255)'
    25                ',交易权属 varchar(255)'
    26                ',挂牌时间 varchar(255)'
    27                ',房屋用途 varchar(255)'
    28                ',房屋年限 varchar(255)'
    29                ',房权所属 varchar(255))')
    30 
    31 browser = webdriver.Chrome()#声明浏览器
    32 url = 'https://fz.lianjia.com/chengjiao/'
    33 browser.get(url)#打开浏览器预设网址
    34 source = browser.page_source#打印网页源代码
    35 soup = BeautifulSoup(source, 'lxml')
    36 ul_list = soup.select('div.content')[0]
    37 position = {}
    38 for li in ul_list.select('li'):
    39     if(li.select('a.img')):
    40         websites =li.select('a.img')[0].get('href')
    41         browser.get(websites)
    42         soup = BeautifulSoup(browser.page_source, 'lxml')
    43 
    44         outlist = list()
    45         quyu = browser.find_element_by_xpath("/html/body/div[4]/div").text
    46         outlist = quyu.split()
    47         position['区域'] = outlist[0]
    48         position['单价'] = browser.find_element_by_xpath("/html/body/section[1]/div[2]/div[2]/div[1]/b").text
    49         position['总价'] = browser.find_element_by_xpath("/html/body/section[1]/div[2]/div[2]/div[1]/span/i").text
    50 
    51         baseC = soup.select('div.introContent')[0].select('div.base')[0].select('div.content')[0]
    52         for ba in baseC.select('li'):
    53             keys = ba.text[:4]
    54             position[keys] = ba.text[4:].strip()
    55         #基本信息
    56         other = soup.select('div.introContent')[0].select('div.transaction')[0].select('div.content')[0]
    57         for ot in other.select('li'):
    58             keys = ot.text[:4]
    59             position[keys] = ot.text[4:].strip()
    60         #其他信息
    61         print(position)
    62 
    63 
    64         keys = ', '.join(position.keys())
    65         values = ', '.join(['%s'] * len(position))
    66         sql = 'INSERT INTO {table}({keys}) VALUES ({values})'.format(table=table,
    67                                                                      keys=keys, values=values)
    68         print(sql)
    69         try:
    70             cursor.execute(sql, tuple(position.values()))
    71             db.commit()
    72         except Exception as e:
    73             print('错误信息为', e)
    74             db.rollback()
    75             db.close()
  • 相关阅读:
    CentOS7源码安装Nginx
    CentOS7 源码安装PHP
    Linux系统终端命令提示符设置
    蓝绿发布方案
    datatable 列名重新排序
    C#后台解析 json 动态解析 通用(Dictionary)
    调用webservice 的时候没法输入参数
    soapui 调用wsdl 步骤以及出现的问题
    多文件压缩
    老毛桃+360急救箱结合(转)
  • 原文地址:https://www.cnblogs.com/Zoeun/p/13966518.html
Copyright © 2011-2022 走看看