Python爬虫学习(三) ——————爬取外卖信息

 距离上一次写博客已经差不多有半年了，深表惭愧.....  废话不多说，说说今天的任务，今天我们的目的爬取外卖信息，选择的平台是饿了吗。

第一步：饿了吗官网进去，定位中南海

第二步：随笔点进去一个商家

我们需要爬取的是每一种食品的名称、月销售量、评分、评论数

第三步：查看源代码发现根本找不到我们需要的元素，很显然这是一个动态页面，那我们可以通过抓包来查看请求过程，F12+F5,

很显然在这里找到了我们需要的东西，找到了入口之后直接上代码：

# -*- coding: utf-8 -*-
# @Time    : 2017/12/10 13:43
# @Author  : Ricky
# @FileName: elm.py
# @Software: New_start
# @Blog    ：http://www.cnblogs.com/Beyond-Ricky/

import requests
import json
restaurant_url = 'https://www.ele.me/restapi/shopping/v2/menu?restaurant_id=147207648'
web_data = requests.get(restaurant_url)
content = web_data.text
json_obj = json.loads(content)
for item in json_obj:
    for food in item.get('foods'):
        print(food.get('name'))
        print(food.get('tips'))
        print(food.get('rating'))

4.我们的目的是爬取中南海附近所有的外卖信息，这样一个个爬取肯定是浪费时间的，返回到上一页，我们再随便打开几个店铺，发现几个url只有后面一串数字不同，观察之后发现这就是店铺的id，因此我们只需要获取所有店铺的id就可以获取所有店铺的外卖信息了。爬取id的过程其实和上一个页面差不多，都是通过抓包完成的，这里不多做解释。直接上完整代码

# -*- coding: utf-8 -*-
# @Time    : 2017/12/10 15:35
# @Author  : Ricky
# @FileName: final_version.py
# @Software: New_start
# @Blog    ：http://www.cnblogs.com/Beyond-Ricky/

import requests
import json
import time
from bs4 import BeautifulSoup
import lxml
id_list = []#店铺的id列表
name_list = []#店铺的名称列表
address_list = []#店铺的地址列表

def get_all_id():
    for offset in range(0,985,24):
        url='https://www.ele.me/restapi/shopping/restaurants?extras%5B%5D=activities&geohash=wx4g06hu38n&latitude=39.91406&limit=24&longitude=116.38477&offset={}&terminal=web'.format(offset)
        web_data = requests.get(url)
        soup=BeautifulSoup(web_data.text,'lxml')
        content = soup.text
        json_obj = json.loads(content)
        for item in json_obj:
            restaurant_address = item.get('address')
            address_list.append(restaurant_address)
            restaurant_name = item.get('name')
            name_list.append(restaurant_name)
            restaurant_id = item.get('id')
            id_list.append(restaurant_id)
    return name_list,address_list,id_list
get_all_id()
m=0#用来计数，第几个店铺
n=0#用来记录数据，第几条数据
for id in id_list:
    m=m+1
    restaurant_url = 'https://mainsite-restapi.ele.me/shopping/v2/menu?restaurant_id='+str(id)
    print('*************************这里是店铺分界线******第{}个店铺*********************************************'.format(m))

    print(name_list[m])
    print(address_list[m])
    headers = {'User-agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36'}

    web_data = requests.get(restaurant_url,headers=headers)
    #time.sleep(3)
    content = web_data.text
    json_obj = json.loads(content)
    try:
        for item in json_obj:
            for food in item.get('foods'):

                n +=1
                print('第%d条数据:' % n)
                print(food.get('name'),food.get('tips'),'评分',food.get('rating'))
    except AttributeError as e :
        pass
    except IndexError as e1:
        pass

至此我们的任务就完成了！写得不好的地方欢迎指正！后面还会有爬虫系列的文章，谢谢大家！