zoukankan      html  css  js  c++  java
  • 正则爬取二手房数据

    以下代码是二手房的数据,代码仅供参考,很简单,超级简单

    #encoding:utf8
    import requests
    import re
    调用网址
    def spider(url):
    html = requests.get(url).content.decode('utf8')
    数据的正则,如果你感觉你用正则匹配不出来,那么你就分开匹配,然后在把所要的正则拼合在一起。我就是这么搞得。
    title = re.compile('<h2><a href=".*?" target="_blank">(.*?)</a></h2>.*?<li>.*?<a target="_blank" href=".*?">(.*?)</a>.*?<a target="_blank" href=".*?">(.*?)</a>.*?</li>.*?<li class="font-balck"><span>(.*?)</span><span>(.*?)</span><span>(.*?)</span><span>(.*?)</span></li>.*?<div class="list-info-r">.*?<h3>(.*?)</h3>.*?<p>(.*?)</p>.*?<!-- <span class="btn-contrast">.*?<input name="" type="checkbox" value="" />.*?</span> -->.*?</div>',re.S)
    title_zheng = title.findall(html)
    循环所要的数据
    for a1,a2,a3,a4,a5,a6,a7,aa8,a9 in title_zheng:
    用repalce替换数据中的垃圾字母为空
    a8=aa8.replace('<em>','').replace('</em>','')
    然后插入数据库
    sql = "insert into wojia(a1,a2,a3,a4,a5,a6,a7,a8,a9)VALUES('"+a1+"','"+a2+"','"+a3+"','"+a4+"','"+a5+"','"+a6+"','"+a7+"','"+a8+"','"+a9+"')"
    print(sql)
    下面是循环的网址,1-7是循环的7页
    for p in range(1,7):
    url = "http://bj.5i5j.com/exchange/n"+str(p)+""
    spider(url)


    就这么简单,分分钟完事
  • 相关阅读:
    node03- FS内置模块
    node03- CommonJS
    删除当前目录下的所有文件夹和文件
    解决 idea 项目中Error:java: 无效的标记
    Raid0,Raid1,Raid5,Raid10 总结
    Tcpdump命令
    ClassNotFoundException 和 NoClassDefFoundError 区别
    Dart-List里面常用的属性和方法
    CSS实现等分布局的4种方式
    iOS项目添加CocoaPods
  • 原文地址:https://www.cnblogs.com/lianghongrui/p/7111805.html
Copyright © 2011-2022 走看看