zoukankan      html  css  js  c++  java
  • 大数据

    最近几年IT技术的发展真的是日新月异,什么云计算、大数据、机器学习、AI等等名词层出不穷。多数程序员内心其实是恐慌的,我也时常会感到危机感。每每看到“xx培训,大数据就业,钱景好”我嘴上说不要,身体还是很诚实的。

    大数据已经深入我们的生活当中,今天呢我们也不聊4个V(Volume 规模大、Varity 多样性、Velocity 高速性、Value 价值大)也不谈数据挖掘,机器学习。就单纯的用大白话聊聊大数据。

    从哪里开始说呢,我们先马后炮一句,可以说“大数据的出现是顺应了潮流”。为什么这么讲,我们回想一下。我们从PC时代进入了移动互联网时代,现在又重提物联网。联网的设备越来越多,人们对于网络的依赖时间越来越长,自然产生的数据就越来越大,种类也越来越多。在技术上呢我们发展出了分布式和云计算,分布式技术和云计算高速发展,进而推进了大数据发展的进程。自此大数据拥有了3个V,,天时地利。而最重要的是大量的数据里面存在着大量的价值,以致于各大互联网企业想在大数据时代去获得红利(比如Google利用人们的搜索记录挖掘数据二次利用的价值,Amazon利用用户的购买和浏览记录进行商品的针对性推荐等)。这就是最后一个V也就是人和。所以大数据技术也在飞速发展,发展成从采集、处理、存储、计算到应用这么一个完整的体系。

    看到这估计有很多大佬会说“这游戏真好玩,我要充钱!”。那么我们如何入门大数据呢。相信每个人都有自己的学习方法,我自己的经验呢是首先要有大局观,然后再深入实践,最后补充基础。因为计算机技术涉及到的知识非常广,想把底子打好再学习相关技术是一件非常困难的事情,不是因为你底子打不好,而是你底子打好了技术也更新换代了。所以我们先从大局入手,对整个技术和行业有一个大的认识,再选择某一块进行具体的学习作为切入点,最终对整个行业有一个自己的认识。

    概览

    图片描述

    上面这张图呢就是我自己根据大数据技术的特性进行分类,包含存储、计算、常用工具、应用四大部分。每个分类下有常用的技术和开源项目等。我们先上图,看看各个模块都包含哪些技术。

    存储

    图片描述

    我这里把存储分为两类,一类是分布式文件存储,一类是分布式数据库。上面列出了常用的开源项目,比如HDFS,Hadoop的一大核心。Ceph 为OpenStack提供支持,HBase、Cassandra、MongoDB、Redis我们在工作中经常使用到。这么一看,大数据其实也不难对吧。

    计算

    图片描述

    这张图就是对于大数据的处理和计算部分了,有Hadoop的另一大核心MapReduce,我们熟知的分布式计算引擎Spark和Flink,数据仓库Hive,数据分析引擎Presto、Impala和Drill以及机器学习相关的模块比如TensorFlow等等。这些都是我们接触大数据之后经常用到的技术和工具。

    常用工具

    图片描述

    这张图里面很多工具是早于大数据技术已经发展起来的,比如Solr、ES,还有很多是通用的工具比如可视化的工具superset。他们有一个共同的特点就是,好用。可以帮助我们解决很多问题,在大数据的场景也不例外,都是需要我们熟悉和了解的。

    对于应用部分呢我不是太熟悉就不多介绍了。通过上面这几张图片呢我们可以先对大数据有一个大局观。要想学好大数据技术,首先你要知道大数据如何存储吧,要知道大数据如何处理和计算吧,要知道我们在大数据应用中常用的工具吧。这些了解之后我们可以深入的去了解某个技术使用方法,优缺点,适用场景,实现原理,体系架构,优化技巧等等。当我们对于行业内常用的技术都有了一个大致的了解之后,面对客户的需求,不同行业的特性就可以提出针对性的解决方案,而不是空谈大数据的规模大、多样性、高速性和价值高了。

    所以,你到现在有大局观了吗?快和我一起学习大数据吧。

    欢迎关注课程《HBase+SpringBoot实战分布式文件存储》

    转载
    作者:叁金
    链接:https://www.imooc.com/article/70053
    来源:慕课网

  • 相关阅读:
    最大子数组问题(分治策略实现)
    Solving the Detached Many-to-Many Problem with the Entity Framework
    Working With Entity Framework Detached Objects
    Attaching detached POCO to EF DbContext
    如何获取qq空间最近访问人列表
    Health Monitoring in ASP.NET 2.0
    problem with displaying the markers on Google maps
    WebMatrix Database.Open… Close() and Dispose()
    Accessing and Updating Data in ASP.NET: Retrieving XML Data with XmlDataSource Control
    Create web setup project that has crystal reports and sql script run manually on client system
  • 原文地址:https://www.cnblogs.com/echola/p/9537915.html
Copyright © 2011-2022 走看看