zoukankan      html  css  js  c++  java
  • 如何解决大数据的存储(大数据专题一)【多测师】

     

    第一节:为什么要学习大数据?

    1.目的:趋势

    2.对比:Java开发和大数据开发、大数据开发比Java开发有前途

     

    第二节:什么是大数据?

    举例:

    1.商品推荐:问题:(1)大量的订单如何存储?   (2)大量的订单如何计算?

    2.天气预报:问题:(1)大量的天气数据何如存储? (2)大量的天气数据如何计算?

    什么是大数据,本质?

    (1)数据的存储:分布式文件系统(分布式存储)

    (2)数据的计算:分布式计算

     

    第三节:Java和大数据是什么关系?

    1.Hadoop:基于Java语言开发的

    2.spark:基于Scala语言,Scala基于Java语言

     

    第四节:学习大数据需要的基础和路线?

    1.学习大数据需要的基础:Java基础(JavaSE) ---》类、继承、I/O、反射、泛型*****

                                      Linux基础(Linux的操作)  ---》创建文件、目录、vim编辑

    2.学习路线:

    (1)Java基础和Linux基础

    (2)Hadoop的学习:体系结构、原理、编程

           (*)第一阶段:HDFS、MapReduce、HBASE(nosql数据库)

           (*)第二阶段:数据分析引擎  -----》hive和pig

                                 数据采集引擎  -----》sqoop和flume

           (*)第三阶段:HUE:web管理工具

                                 zookeeper:实现Hadoop的HA

                                 oozie:工作流引擎

    (3)spark的学习:

           (*)第一个阶段:Scala编程语言

           (*)第二个阶段:spark core ----》基于内存、数据的计算

           (*)第三个阶段:spark SQL  ----》类似Oracle中的SQL语句

           (*)第四个阶段:spark streaming ---》进行实时计算(流失计算):比如自来水工厂

    (4)Apache storm:类似spark streaming ---》进行实时计算(流失计算):比如自来水工厂

           (*)nosql:Redis基于内存的数据库

  • 相关阅读:
    速达开发小组面试题分享下
    NC V6 nchome文件目录及其作用介绍
    GIL 线程池 进程池 同步 异步 阻塞 非阻塞
    线程
    守护进程进程安全
    并发
    22个所见即所得在线 Web 编辑器
    asp.net操纵Oracle存储过程
    JQuery 中each的使用方法
    JQuery实现简单的服务器轮询效果
  • 原文地址:https://www.cnblogs.com/xiaoshubass/p/12865013.html
Copyright © 2011-2022 走看看