如何获得网页中的json数据

在python抓取图片的时候，有时候却找不到对应的网址，可能存在json中，所以如何用python解析json数据，小白看了几个论坛后自己总结一些以便加深印象。

1.requests.get(url,params) 获得请求数据

import requests

def get_many_pages(keyword, page):
  params = []#收集不同页面的json数据
  for i in range(30, 30*page, 30):#动态加载，每页30个
    params.append({
        'tn': 'resultjson_com',
        'ipn': 'rj',
        'ct': 201326592,
        'is': '',
        'fp': 'result',
        'queryWord': keyword,
        'cl': 2,
        'lm': -1,
        'ie': 'utf-8',
        'oe': 'utf-8',
        'adpicid': '',
        'st': -1,
        'z': '',
        'ic': '',
        'word': keyword,
        's': '',
        'se': '',
        'tab': '',
        'width': '',
        'height': '',
        'face': 0,
        'istype': 2,
        'qc': '',
        'nc': '' ,
        'fr': '',
        'pn': i,
        'rn': 30,
        'gsm': '1e',
        '1517048369666': ''
        }) #json的Query String paramters 是动态的
 
  json_url = 'https://image.baidu.com/search/acjson'#json的init地址
  json_datas = []#用于收集所有页面的json数据
  for param in params:#分别取出每个动态的参数，是一个字典形式
    res = requests.get(json_url, params = param)#获取json地址
    res.encoding = 'utf-8'#转化为utf-8格式
    json_data = res.json().get('data')#解析json数据成字典，通过get方法找出data中的值
    json_datas.append(json_data)#把所有页的json数据取回

  return json_datas



def get_url():
  json_datas = datalist#获取所有页的json数据
  #print(json_datas)
  for each_data in json_datas:#解开列表嵌套
    for each_dict in each_data:#解开列嵌套直到出现字典
      each_url = each_dict.get('thumbURL')#获取字典中的地址
      print(each_url)
  
  
datalist = get_many_pages('暴漫表情包',3) 
get_url()   

1. urllib.request + json 获得请求数据

# -*- coding: utf-8 -*-
''' Created on Sat Jan 27 22:39:15 2018 @author: zhuxueming'''
import urllib.request
import json
def get_many_pages(page):
  json_datas = []
  for i in range(30,30*page,30):#这里由于网址中有多个%所以采用.format不能用%来格式化，根据json的地址发现，只有1517056200441=后面的数字变化在不同的页面中，所以单独改这一个就可以
    json_url = 'http://image.baidu.com/search/acjson?tn=resultjson_com&ipn=rj&ct=201326592&is=&fp=result&queryWord=%E6%9A%B4%E6%BC%AB%E8%A1%A8%E6%83%85%E5%8C%85&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=&z=&ic=&word=%E6%9A%B4%E6%BC%AB%E8%A1%A8%E6%83%85%E5%8C%85&s=&se=&tab=&width=&height=&face=&istype=&qc=&nc=&fr=&pn={0}&rn=30&gsm=3c&1517056200441='.format(i)
    res = urllib.request.urlopen(json_url)#获得网址数据
    html = res.read().decode('utf-8')#读取数据并转化为utf-8
    json_data = json.loads(html).get('data')#用json转化为字典获取data里的数据
    json_datas.append(json_data)#合并不同页面的数据
  return json_datas


def get_url():
  json_datas = datalist#获取所有页的json数据
  #print(json_datas)
  for each_data in json_datas:#解开列表嵌套
    for each_dict in each_data:#解开列嵌套直到出现字典
      each_url = each_dict.get('thumbURL')#获取字典中的地址
      print(each_url)
   
datalist = get_many_pages(3) 
get_url()   

综上两个方式都可以使用，只是第二种不能直接关键词搜索，但不同关键次需要修改json参数，所以也无妨，主要就是找到这个动态的json数据包比较困难，一般在js下货XHR下面。