机器学习_深度学习_入门经典(博主永久免费教学视频系列)
https://study.163.com/course/courseMain.htm?courseId=1006390023&share=2&shareId=400000000398149
微信扫二维码,免费学习更多python资源
转载https://www.jianshu.com/p/bdcf0407979a
统计概率思维-描述统计分析
1# 为什么要学统计学?
- 人工智能的基础知识
- 投资领域的必备知识
- 时代的入口
2# 描述统计分析
2.1 描述统计学定义
● 将复杂的数据集简化,总结出可以起到高度概括、有代表性、能够起到描述作用的数字。
2.2 描述统计常用指标
平均值
● 例子:A,B,C,D收入分别为10,11,12,13万元,人均收入为(10+11+12+13)/4=11.5万元
但是也有缺点,就是当数据中有异常值(极大或者极小)则用平均值结果来描述数据集是不准确的,如把D的收入替换成10亿元,那么人均收入约等于29000万元,虽然说这样的描述没有错误,但是不能正确体现数据集的特征(A,B,C的收入没有那么高)。
中位数
![](http://upload-images.jianshu.io/upload_images/2352533-bacfdb03d372efda.png?imageMogr2/auto-orient/strip|imageView2/2/w/836/format/webp)
● 中位数计算方法:
- 按从小到大顺序排列数据
- 计算中间位置(假设有N个数,如果N是奇数则是中间数值,如果N是偶数则是中间两个数的平均值)
● 例子:找出5,7,3,8的中位数
- 从大到小排列3,5,7,8
- 计算中间位置,因为N=4,则其中位数是(5+7)/2=6
四分位数
![](http://upload-images.jianshu.io/upload_images/2352533-e4cb90ca92af88c4.png?imageMogr2/auto-orient/strip|imageView2/2/w/858/format/webp)
● 四分位数的计算方法:
- 找到中位数(叫做Q2)
- 求出中位数左边部分的中位数(叫做Q1,成为下四分位数)
- 求出中位数右边部分的中位数(叫做Q3,成为上四分位数)
● 可视化例子(箱线图):
![](http://upload-images.jianshu.io/upload_images/2352533-cb3db70f513b5293.png?imageMogr2/auto-orient/strip|imageView2/2/w/864/format/webp)
● 可视化例子2(比较不同类型数据集的数据分布情况)
![](http://upload-images.jianshu.io/upload_images/2352533-16e1c4f964633c2f.png?imageMogr2/auto-orient/strip|imageView2/2/w/858/format/webp)
横轴x是对数据分析师需求top6的城市,纵轴y是薪资情况。
结论:深圳的工资水平较高,行业顶薪也是位居六大城市之首。
![](http://upload-images.jianshu.io/upload_images/2352533-6adfc21593e3bd07.png?imageMogr2/auto-orient/strip|imageView2/2/w/862/format/webp)
横轴x是对数据分析师参与工作年数,纵轴y是薪资情况。
结论:数据分析师的薪资水平随着工作年限增长,在3-5年阶段增长、跨度尤为明显。
● 识别异常值(极大或者极小的值)
处理方法:
- 对错误数据进行修正
- 对错误数据删除
- 确认出异常值符合现实以后,选择保留
● Turkey‘s test
- 最小估计值:Q1-k(Q3-Q1)
- 最大估计值:Q3+k(Q3-Q1)
-
如果K=1.5 中度异常;K=3 极度异常
案例(识别出温度中的异常值):
![](http://upload-images.jianshu.io/upload_images/2352533-99b16d384c40a7ab.png?imageMogr2/auto-orient/strip|imageView2/2/w/690/format/webp)
● 总结箱线图(四分位数)优点:避免受到异常值的影响;通过turkey test识别异常值
● 总结箱线图(四分位数)的局限:无法告诉数据集的波动
标准差
● 概念打通
标准差就是计算出数据相对于平均值的波动大小,也就是衡量出一组数据的离散程度(波动大小)
离散程度=变异性=波动大小
● 标准差计算方法
方差算法:
u等于一组数据的平均值
![](http://upload-images.jianshu.io/upload_images/2352533-0a7ca4cd9575f548.png?imageMogr2/auto-orient/strip|imageView2/2/w/720/format/webp)
也可以是下面的式子:
![](http://upload-images.jianshu.io/upload_images/2352533-4029408ae0a18a24.png?imageMogr2/auto-orient/strip|imageView2/2/w/294/format/webp)
Ps:这里用平方的原因是有时候数字和平均数的偏离是反向偏离(负数),如果不进行平方可能就和正向偏离抵消。
标准差算法:
![](http://upload-images.jianshu.io/upload_images/2352533-af65fd5faf00ddcb.png?imageMogr2/auto-orient/strip|imageView2/2/w/520/format/webp)
● 案例分析(哪个nba球员更加稳定):
![](http://upload-images.jianshu.io/upload_images/2352533-fa648e8681689255.png?imageMogr2/auto-orient/strip|imageView2/2/w/914/format/webp)
![](http://upload-images.jianshu.io/upload_images/2352533-2fe163f2012c0b95.png?imageMogr2/auto-orient/strip|imageView2/2/w/966/format/webp)
可以推到出结论:球员1加内特的发挥更加稳定,球员2库里的发挥波动比较大
● 标准差需要注意的两个问题
- 标准差的单位
和前面引入数据的单位是相同的 - 标准差是大一点好还是小一点好
要看具体的数据,如生产零件那么标准差小好;公司的工资分布应该要是比较大的标准差好
标准分
● 标准分的定义
选定值和平均值相差多少个的标准差
![](http://upload-images.jianshu.io/upload_images/2352533-db8b6407c24c9044.png?imageMogr2/auto-orient/strip|imageView2/2/w/970/format/webp)
如果标准分=0,那就就是=平均值,标准分>0则是>平均值
● 计算方法
使用平均值u和标准差σ计算出来
![](http://upload-images.jianshu.io/upload_images/2352533-c8cd5761ea02db11.png?imageMogr2/auto-orient/strip|imageView2/2/w/704/format/webp)
● 案例(摩托罗拉6σ管理)
距离平均值6个标准差σ,相当于6个标准差就是每百万件抽样中,有3.4个不合格
总结
![](http://upload-images.jianshu.io/upload_images/2352533-dfa45f5d2bd92c9c.png?imageMogr2/auto-orient/strip|imageView2/2/w/962/format/webp)