黑马大数据分析课程---1、大数据分析介绍

黑马大数据分析课程---1、大数据分析介绍

一、总结

一句话总结：

大数据为机器学习、人工智能等提供了数据依据

1、数据清洗包括哪些方面？

去掉脏数据

使数据格式化

2、数据挖掘是什么？

高级的数据分析方法：数据挖掘是一种高级的数据分析方法，侧重解决四类数据分析问题：分类、聚类、关联和预测

寻找有价值信息：数据分析和数据挖掘的本质是一样的，都是从数据里面发现关于业务的知识。

3、常用的分布式方案有哪些？

分布式应用和服务：【将应用和服务进行分层和切割】，然后分别部署：比如分布式服务框架 Dubbo

分布式静态资源：【静态资源】：比如CDN

分布式数据和存储：【单台计算机内存空间不足】：比如Apache Hadoop HDFFS

分布式计算：【计算】：比如Apache Hadoop MapReduce

4、分布式和集群的区别？

分布式：多台不同的服务器，【部署不同的服务模块】

集群：多台不同的服务器，【部署相同的应用或服务模块】

5、facebook是社交网站，那么评估机构评估facebook的时候，主要评估的是其哪方面的价值？

是其社交网络上的数据

6、云计算是什么？

硬件资源虚拟化

7、数据分析是什么？

发掘数据中的价值，发掘数据中的规律

8、如何采集用户浏览网站的数据？

js埋点：用js对用户的行为(比如点击啊，跳转啊)进行采集，不影响用户的正常操作，

存储的话可以用Nginx的自定义数据格式

9、采集到的用户的浏览数据，如何跨域发送到后台？

让数据伪装成图片：【比如京东就是这样干的】：/log.gif?a=111&b=222

返回数据的时候，伪装成一个1*1像素的gif图片

10、如何结合 Google Analytic 搭建一个自定义日志采集系统？

前端：确定要采集的数据，以及采集的页面，以及埋点的js

后端：收集、设计、编写数据

11、采集的用户的访问数据例子及注意事项有哪些？

比如用户ip，用户所在的位置，用户访问时间，用户的url等的

服务器参数获取：有些能够通过服务器直接获取到：比如用户的访问时间，ip等

js获取：有些不能通过服务器获取到：可以考虑js，cookie等等，就是想办法拿全用户的数据

二、内容在总结中