zoukankan      html  css  js  c++  java
  • 使用NodeJS+AngularJS+MongoDB实现一个Web数据扒取-分析-展示的系统

    说到Web爬虫,Python占了半壁江山。但是Web页面不是Python的强项了,如果需要扒取Web数据,再Mashup出来一个自己的系统,全端JS是个不错的解决方案(其实不用Python扒数据是因为我只能熟练掌握Python的HelloWorld编写)。

    那么开始做了。

    00.要做一只麻雀

    想做一个五脏俱全的系统先设计一下结构吧。思路是要扒数据先要配置怎么扒,然后去把扒来的数据处理成想要的东西,再然后存起来慢慢蹂躏。来张UML活动图压压惊。数据CRUD和如何展现不在设计图中,这部分打算做一个类似于数据库可视化工具的东西,可配置好操作的Web页面。

    01.来一桶万金油

    JS函数也是对象,而且惊讶的发现MongoDB也可以存Function,这让我觉得把所有的逻辑抽象成配置是有可能实现的。设想一下,数据分析的逻辑如果存到数据库里,执行的时候一把抓出来,call或者apply一下,结果就出来了,岂不是很酷炫?然而鄙人对JS才疏学浅,只是设想,至于怎么做,慢慢来吧。

    10.先夯地基

    核心是数据,数据的灵活存储和展示是基础。见过的框架都是把ORM不是写在xml里就是写在代码里,但是如果存到DB里面会怎么样?如果存到DB作为元数据,对于不同的需求完全可以加一条元数据就OK,这个元数据标识这个数据结构的组成,展现方式,可在数据集上进行的操作等等,理论上可以满足任何CRUD的需求,可以实现无后端页面,新来一个需求,配一个元数据就好了。这部分打算先做,目前已经封好了一些数据接口,等做出这一部分再总结一下吧,到时候也敢把git地址放出来了。对于NodeJS实现无后端有志同道合的工程师欢迎来一起讨论,持续更新ing

  • 相关阅读:
    重写gallery 的 BaseAdapter
    excel数据导入DB
    更换 字体
    Android Activity跳转 Intent
    mpax5.0比mapx4.51多了些什么功能?
    [转载]INET控件的几点使用
    [转载]GIS基本概念集锦
    [转载]Microsoft.XMLHTTP对象
    等值线的绘制
    [转载]关于webbrowser,innet,xmlhttp获取网页源码的比较!
  • 原文地址:https://www.cnblogs.com/code2life/p/5020658.html
Copyright © 2011-2022 走看看