目录
- 大数据特性
- 大数据带来的问题和解决方案
- 大数据都能做什么
- 大数据相关组件
大数据特性
- 数据量大
一切皆数据，所能看到的一切基本都可以转化为数据。海量数据呈指数级别上升。 - 数据多样
视频、图片、语音、文本、格式化数据、xml、各式各样数据…. - 数据告诉传播
2g、3g、4g、5g每秒几GB的传输速度，使得数据交互越来越快 - 数据中的价值
大量的价值潜在在数据当中，比如常见的广告推荐、用户画像、行为检测等
大数据带来的问题和解决方案
-
海量的数据如何存储
分布式存储多台机器，如：HDFS、ODPS、AWS -
海量的数据如何计算
分布式计算MapReduce -
在极其脏乱的数据中挖掘有价值的数据
机器学习、深度学习算法
大数据都能做什么
大数据相关组件
协同过滤
- 协同过滤概念
协同过滤由：相似性和过滤掉点击过或评价过的物品组成 - 显示评分矩阵
1.用户直接对物品的喜爱程度，如：豆瓣评分，
2.用户间接的对物品的喜好程度，如：需要你通过提前设定的分数来判断
收藏：20，转发：10，评论：5， 点赞：3， 点击： 1， 曝光未点击： -1，dislike：-20 - 隐士矩阵
通过某种方式不能体现用户喜欢的程度，如：通过点击不能具体体现喜欢程度，只有0或1 - 协同分为：用户协同过滤和物品协同过滤
- 用户协同过滤
- 物品协同过滤
- 用户协同过滤