zoukankan      html  css  js  c++  java
  • Hadoop完整搭建过程(一):本地模式

    1 本地模式

    本地模式是最简单的模式,所有模块都运行在一个JVM进程中,使用本地文件系统而不是HDFS

    本地模式主要是用于本地开发过程中的运行调试用,下载后的Hadoop不需要设置默认就是本地模式。

    2 准备工作

    笔者喜欢把JDK放在/usr/local下,运行前请确保设置了JAVA_HOME,注意是在etc/hadoop/hadoop-env.sh中设置:

    tar -zxvf openjdk-11+28_linux-x64_bin.tar.gz
    sudo mv openjdk-11+28_linux-x64_bin /usr/local/java
    sudo vim HADOOP/etc/hadoop/hadoop-env.sh # HADOOP为Hadoop安装目录
    # 输入
    export JAVA_HOME=/usr/local/java
    

    3 使用

    官网关于该模式没有太多的描述,只有一个使用默认配置文件作为输入,然后匹配正则表达式作为输出的简单例子:

    # HADOOP表示Hadoop安装目录
    mkdir input
    cp HADOOP/etc/hadoop/*.xml input
    HADOOP/bin/hadoop jar HADOOP/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.0.jar grep input output 'dfs[a-z.]+'
    cat output/*
    

    从下图的id可以看出是以本地模式工作的:

    在这里插入图片描述

    4 输出

    输出文件夹output有两个文件:

    在这里插入图片描述

    • _SUCCESS:是个空文件,表示运行成功
    • part-r-00000:输出结果文件,词数统计

    part-r-00000结果如上图所示。

    实际上本地模式不需要特别的处理,因为默认就是本地模式。

    5 参考

  • 相关阅读:
    I.MX6 Surfaceflinger 机制
    理解 Android Fragment
    RPi 2B DDNS 动态域名
    RPi 2B IPC webcam server
    理解 Android MVP 开发模式
    I.MX6 system.img unpack repack
    can't set android permissions
    VMware Ubuntu 共享文件夹
    解决oracle数据库连接不上的问题
    perfect-scrollbar示例
  • 原文地址:https://www.cnblogs.com/6b7b5fc3/p/13544870.html
Copyright © 2011-2022 走看看