zoukankan      html  css  js  c++  java
  • Hadoop工作原理

      hadoop的核心思想是MapReduce,其处理数据的基本原理:在执行mapreduce之前,原始数据被分割成若干split,每个split作为一个map任务的输入,在map执行过程中split会被分解成一个个记录(key-value对), map会依次处理每一个记录。 

      解压所下载的Hadoop发行版。编辑 conf/hadoop-env.sh文件,至少需要将JAVA_HOME设置为Java安装根路径。安装hadoop后,起码要告诉jvm在哪里,是吧f

    -------------2019更新-------

        学习了springcloud使我对于分布式应用有一定了解,并且Hadoop差不多也属于java开发,这次会看应该不会太陌生。比如namenode和datanode中的数据的备份和通信,以及为什么要使用ip地址和端口等。

  • 相关阅读:
    第52周二Restful
    第52周一
    第51周日
    第51周六
    第51周五
    第51周四
    第51周三
    第51周二
    第51周一
    第50周日
  • 原文地址:https://www.cnblogs.com/Robin008/p/9078329.html
Copyright © 2011-2022 走看看