zoukankan      html  css  js  c++  java
  • 如何培养数据分析的能力?

    如何培养数据分析的能力?

    在这个大数据时代,我们如何培养数据分析能力,下面就介绍一下数据分析师是如何培养的?

    第一步:数据准备:(70%时间)

     

    获取数据(爬虫,数据仓库)
    验证数据
    数据清理(缺失值、孤立点、垃圾信息、规范化、重复记录、特殊值、合并数据集)
    使用python进行文件读取csv或者txt便于操作数据文件(I/O和文件串的处理,逗号分隔)
    抽样(大数据时。关键是随机)
    存储和归档
    第二步:数据观察(发现规律和隐藏的关联)
    单一变量:点图、抖动图;直方图、核密度估计;累计分布函数
    两个变量:散点图、LOESS平滑、残差分析、对数图、倾斜
    多个变量:假色图、马赛克图、平行左边图
    第三步:数据建模
    推算和估算(均衡可行性和成本消耗)
    缩放参数模型(缩放维度优化问题)
    建立概率模型(二项、高斯、幂律、几何、泊松分布与已知模型对比)
    第四步:数据挖掘
    选择合适的机器学习算法(蒙特卡洛模拟,相似度计算,主成分分析)
    大数据考虑用Map/Reduce
    得出结论,绘制最后图表
    循环到第二步到第四步,进行数据分析,根据图表得出结论完成文章。
    结合实际业务来做数据分析
    “无尺度网络模型”的作者艾伯特-拉斯洛·巴拉巴西认为——人类93%的行为是可以预测的。数据作为人类活动的痕迹,就像金矿等待发掘。但是首先你得明确自己的业务需求,数据才可能为你所用。
    1. 数据为王,业务是核心
    了解整个产业链的结构
    制定好业务的发展规划
    衡量的核心指标有哪些
    有了数据必须和业务结合才有效果。首先你需要摸清楚所在产业链的整个结构,对行业的上游和下游的经营情况有大致的了解。然后根据业务当前的需要,指 定发展计划,从而归类出需要整理的数据。最后一步详细的列出数据核心指标(KPI),并且对几个核心指标进行更细致的拆解,当然具体结合你的业务属性来处 理,找出那些对指标影响幅度较大的影响因子。前期资料的收集以及业务现况的全面掌握非常关键。
    2. 思考指标现状,发现多维规律
    熟悉产品框架,全面定义每个指标的运营现状
    对比同行业指标,挖掘隐藏的提升空间
    拆解关键指标,合理设置运营方法来观察效果
    争对核心用户,单独进行产品用研与需求挖掘
    发现规律不一定需要很高深的编程方法,或者复杂的统计公式,更重要的是培养一种感觉和意识。不能用你的感觉去揣测用户的感觉,因为每个人的教育背景、生活环境都不一样。很多数据元素之间的关系没有明显的显示,需要使用直觉与观察(数据可视化技术来呈现)。cda数据分析师培训
    3. 规律验证,经验总结http://www.cda.cn/view/603.html
    发现了规律之后不能立刻上线,需要在测试机上对模型进行验证。
  • 相关阅读:
    POJ 1659 Frogs' Neighborhood
    zoj 2913 Bus Pass(BFS)
    ZOJ 1008 Gnome Tetravex(DFS)
    POJ 1562 Oil Deposits (DFS)
    zoj 2165 Red and Black (DFs)poj 1979
    hdu 3954 Level up
    sgu 249 Matrix
    hdu 4417 Super Mario
    SPOJ (BNUOJ) LCM Sum
    hdu 2665 Kth number 划分树
  • 原文地址:https://www.cnblogs.com/amengduo/p/9587694.html
Copyright © 2011-2022 走看看