56平住房卖2万，新房价变白菜价？爬取全国315个城市的房价信息

前言

今天来使用爬虫技术，爬取全国315个城市的房价信息。

大家都知道 房价信息是非常有价值的，敏感的，对于一些人来说是投资赚钱的一种重要渠道。能够及时的获取房价涨跌信息，甚至用大数据分析市场行情，这对于投资是非常有利的。

PS：如有需要Python学习资料的小伙伴可以加下方的群去找免费管理员领取

 

可以免费领取源码、项目实战视频、PDF文件等

 

所以，这种信息爬取的难度也是较大的。

我一开始使用requests库，发现反爬机制比较厉害，而且网页的数据结构容易变化。然后我用selenium 爬取，配置好参数，使用本地浏览器，依次爬取32页数据，共630条房价信息。

我贴出部分代码供参考：

def parse():
    global start,end
    try:
        for i in range(start,end):
            name = driver.find_element_by_xpath('//*[@id="px"]/tbody/tr[%s]/th[2]/a'%(i)).text
            price = driver.find_element_by_xpath('//*[@id="px"]/tbody/tr[%s]/th[3]'%(i)).text
            row = [name,price]
            print(row)
            sheet.append(row)
    except:
        print("到底了!")

最后的结果通过代码自动发送到QQ邮箱，效果如下：

 

共315个城市，想要获取数据的朋友可以联系我，提供实时的房价信息。

得到表格，进行数据分析，用excel，进行数据的处理，绘制成统计图：

 

我们可以看到，全国房价的前三名分别是：

深圳：北京，上海。

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。

作者：弄堂里的一只汪