大数据分析处理基本流程

大数据分析处理基本流程

• 数据准备
  • 数据获取（爬虫，统计）
  • 数据清洗（获得想要的数据，去除无用的相关数据）
• 特征工程
  • 特征提取
    • 比如我爬下网页，网页中有图片，视频，文本信息，url等等之类的特征消息
  • 特征选择
    • 网页保存这学生的信息，我想要计算每个学生的BMI（身体质量指数），而这类信息是在网页中的文本信息中的名字，身高和体重就行了，除此之外的学习成绩，寝室号就不重要了。
• 建模分析
  • 模型选择
  • 模型训练
  • 模型评测
• 数据可视化和分析报告