2015年提出基于在线实时和离线计算的云计算在线直播系统
ArcSoft介绍:你们没听过这家公司,但是你们肯定用过他的服务。(三星、小米、vivo oppo 还有最著名的苹果第一个提出人脸识别 face id 只要用到手机摄像头、需要美颜的都有他的存在)
1.什么是大数据
2.大数据的组件运用
需求点:基于在线实时和离线计算的云计算在线直播系统
目前主流技术:
Flume+Kafka+Spark Streaming实现大数据实时流式数据采集
阿里提供服务插件:
阿里的odps-maxCompute
1.实时nosql比较
Hbase : https://www.cnblogs.com/jay-wu/p/12559467.html
2.new sql =>tidb数据库
3.大数据一般企业用在哪些业务上?
pay 简单日志数据分析 ELK 统计:支付国家、地区、币种、百分比
同盾risk风控(国内标杆):按用户统计行为,一个月交易次数、交易国家、命中策略,打分策略,决策树(打篮球=》温度、湿度、天气=》决定你今天是否打球因子)
VISA CyberSource系统(国际标杆):支付次数、黑名单、device id、购物国家、国籍、地址、merchantId、打分策略
jollchic大数据: 标签、推送类型、行为特征
数梦工场、袋鼠云:FlinkX、数据抽取(Msql、Oracle、Hbase、txt)、聚合。给BI提供可视化界面
--下期阿里集成组件nacos 、阿里Spring Cloud Alibaba框架 、以及蚂蚁金服 sofa框架