zoukankan      html  css  js  c++  java
  • 团队博客作业Week3 --- 项目选择&&需求疑问

    项目选择


      经过团队内所有成员一致探讨,我们团队选择完善和改进之学霸系统的第二个子模块,即:网站内容结构定义和数据处理具体的要求如下:(摘自Xueba系统项目需求)

     

    网站内容结构定义和数据处理(Content schema definition & Content Pipeline

    • 定义在线教学问答网站需要的内容结构, 并从爬到的内容中抽取元数据 (meta data),  并支持标签, 翻译等功能。
    • 定义在线问答网站的内容结构,找出其中涉及的实体及它们之间的关系;
    • 支持增量式的将输入的新数据,按照定义好的内容结构合并到已有的内容中(重复内容怎么处理,更新内容怎么处理,用户上传内容怎么处理);
    • 支持标签;
    • 支持关键词翻译;
    • 制作一个界面来跟踪和报告数据处理的进度。

      从第一步收集到的网页中, 抽取关键词, 作中英翻译等, 把数据和元数据存入数据库中 (目前用SQL 数据库存储,如需采用其他的数据库,需要跟爬虫和在线系统团队协商)

     

    需求疑问


    在细化项目需求的时候有如下的几个问题:

    1. 对于“网站内容结构的定义”具体是指哪一个方面,这个概念比较模糊,而且在Teacher的问题描述中谈到的是“定义在线问答网站的内容结构,找出其中涉及的实体及它们之间的关系”,这是指网页的前端的设计还是指网站路由的设计?
    2. 由于我们是要采用第一个模块的成果,包括他们团队爬取到的数据,然而他们爬取到的数据是各种各样的(网页、论文、讲演稿、技术文档、视频、问答等等),我们的工作是针对诸如论文,演讲稿等文本类元数据进行数据处理?还是需要比如将视频资料也进行定义,比如:关键词提取,标签等?
    3. Teacher要求要有一个界面来跟踪和报告数据处理的进度,然而这可能会有两种考虑,其一、可能需要预先将爬取的数据分类、提取关键词、贴标签、然后存到数据库中,这样感觉进度报告可能不是服务于用户的,而只是服务于系统管理员来进行数据处理进度的追踪和度量。其二,另外一个考虑是用户直接交互,在数据库中最新提取到的数据可能没有来得及进行相关处理,在用户查询相关内容时候不能立刻呈现给用户,需要即时的进行数据处理,然而此时的界面反映给用户来知悉数据处理进度的,希望Teacher能对于这一问题给予进一步细化。
  • 相关阅读:
    hdu 1240:Asteroids!(三维BFS搜索)
    hdu 2199:Can you solve this equation?(二分搜索)
    hdu 1195:Open the Lock(暴力BFS广搜)
    【ACM
    hrbustoj 1161:Leyni(树状数组练习)
    时间作为横轴的图表(morris.js)超越昨天的自己系列(8)
    Bean实例化(Spring源码阅读)-我们到底能走多远系列(33)
    Sharded实现学习-我们到底能走多远系列(32)
    初始化IoC容器(Spring源码阅读)-我们到底能走多远系列(31)
    一致性哈希算法 应用场景(转)
  • 原文地址:https://www.cnblogs.com/cheneygroup/p/4894723.html
Copyright © 2011-2022 走看看