zoukankan      html  css  js  c++  java
  • hadoop环境配置

    本文学习参考来自于‘http://dblab.xmu.edu.cn/blog/install-hadoop/’

    基本环境准备

    安装Linux操作系统

    根据电脑性能,性能高的可选择安装虚拟机,性能较差的选择安装双系统

    Linux——Ubantu镜像:https://ubuntu.com/download/desktop

    1、安装virtualBox,创建Linux虚拟机

    2、安装Vmware workstation,创建Linux虚拟机

    3、安装windows+Linux双系统

    安装常用的工具库

    # 更新apt
    sudo apt-get update
    
    # 文件编辑器
    sudo apt-get install vim
    

    创建hadoop用户

    # 在系统用户里创建新用户-“hadoop”
    sudo useradd -m hadoop -s /bin/bash
    
    # 设置密码
    sudo passwd hadoop
    
    # 为hadoop增加管理员权限
    sudo adduser hadoop sudo
    

    安装SSH、并配置无密码登陆(根目录下操作)

    集群、单节点模式需要用到SSH登录(类似于远程登录),Ubantu默认安装SSH Client,需要安装SSH server

    # 安装SSH服务器
    sudo apt-get install openssh-server
    
    # localhost登录
    ssh localhost      #根据提示输入密码即可登录
    
    # 退出SSH登录
    exit
    

    设置无密码登录

    cd .ssh/
    
    # 生成ssh密钥
    ssh-keygen -t rsa
    
    # 加入授权
    cat ./id_rsa.pub >> ./authorized_keys
    

    安装Java环境(根目录)

    由于hadoop的运作是基于java的,所以Java环境是必须的

    安装JDK

    在线安装最新版JDK

    sudo apt-get install default-jre default-jdk
    
    # 配置JAVA_HOME环境变量
    sudo vim .bashrc
    

    在.bashrc文件首行增加配置,增加完毕保存并退出,编辑:-i,保存退出::wq

    export JAVA_HOME=/usr/lib/jvm/default-java
    

    文件修改完,使其生效

    source .bashrc
    

    最后检查是否配置成功

    # 查看变量值
    echo $JAVA_HOME
    
    # 版本号
    java -version
    $JAVA_HOME/bin/java -version
    

    变量值及版本号与前面预装和设置一致即Java环境配置完成

    安装hadoop

    下载地址“http://mirror.bit.edu.cn/apache/hadoop/common/”,stable下的.tar.gz结尾的文件

    将下载的文件解压到/usr/local

    # 解压
    sudo tar -zxf hadoop-3.2.1.tar.gz -C /usr/local
    
    # 切换操作目录
    cd /usr/local/
    
    # 修改文件夹名字
    sudo mv ./hadoop-3.2.1/ ./hadoop  
    
    # 设置文件夹权限
    sudo chown -R hadoop ./hadoop
    

    设置文件夹权限时使用的是hadoop用户,所以前面设置的hadoop管理员权限为此操作前提,不改文件权限,后续关于hadoop的命令执行可能会报错

    检查hadoop是否可用

    # 注意切换目录
    cd /usr/local/hadoop
    ./bin/hadoop version
    
  • 相关阅读:
    Swift 3 中的访问控制 open public internal fileprivate private
    swift3.0 创建一个app引导页面
    cocoapods安装及常用命令
    swift 多线程及GCD
    swift 键盘属性与事件
    [bzoj2588] Count on a tree
    [JSOI2007] 文本生成器
    18.09.22模拟赛T2 历史
    [USACO18OPEN] Talent Show
    [国家集训队] 整数的lqp拆分
  • 原文地址:https://www.cnblogs.com/Zhao01/p/12146082.html
Copyright © 2011-2022 走看看