摘要
作为一个本科主修统计学的学渣,毕业时为了图一时安逸,选择了入职本省的某制造业企业。本以为在这根本没我半点容身之处,却意外赶上了公司的大数据项目。转眼参加项目开发及后期运维有10个月了,本帖就是回顾一下我在项目中接触到的方方面面,整理成文,加深自己对这个项目的认识。
项目架构
本次项目是由乙方公司进行实施,借鉴他们之前的成熟的架构,搭建我们自己的大数据平台。目前就我接触到的东西罗列一下:
一、开发工具
- 报表工具:永洪
- ETL工具:kettle
- 数据仓库:Hive、Impala
- 代码版本控制:SVN
二、平台组件
- 调度平台
- 补录平台
- 用户权限管理平台
- 数据质量平台
- 元数据管理平台