zoukankan      html  css  js  c++  java
  • 图书信息库完整解决方案(二)方案设计

    面临的第一个问题是图书数据源从哪来,调研了一圈大概是以下几种方式:

    1、当当或京东的官方图书api(查了一圈一无所获,收费或免费的都没找到)

    2、豆瓣图书  https://developers.douban.com/wiki/?title=book_v2

      豆瓣的主要问题一个是访问次数有限制,另一个是信息不全,部分图书或者新书在豆瓣无记录。

    3、聚合 https://www.juhe.cn

      聚合的接口整理的比较好,但一个是要收费,另一个是图书信息也不是最完整的。

    综上所述,最后不得已考虑的方案是:

    1、按照当当的分类爬取每个子分类下的所有图书数据。当当图书分类如下:

      http://category.dangdang.com/?ref=www-0-C

      实际上这里每个分类下最多能爬取到100页数据,应该是当当做了限制,但一般来说也够用了。

    2、综合豆瓣数据

      当当爬取到的信息与豆瓣做比对,综合豆瓣有用的信息然后入库。

    3、由于当当和豆瓣的限制,即使完成了所有的数据抓取,仍有部分数据是缺失的。 这里的弥补办法是:

      如果按照ISBN查询图书接口的时候失败, 则出发图书搜索接口,从当当的页面搜索这本图书,然后解析页面得到图书详细信息。

    按照上述的技术方案,基本可以满足项目需求,并且确实做到了图书库的建立和不断完善。

    接下来讲一下具体实现。

  • 相关阅读:
    JavaScript数组升降序排列、最大值、最小值等
    css3箭头
    隐藏显示
    最后一个 last-of-type
    jquery函数封装
    为什么要使用rem
    Git的使用--如何将本地项目上传到Github
    jQuery判断是否选中
    数组索引赋值
    HTML中input和button设置同样高度却不能等高的原因
  • 原文地址:https://www.cnblogs.com/mazhiyong/p/9282856.html
Copyright © 2011-2022 走看看