zoukankan      html  css  js  c++  java
  • Hadoop的伪分布式安装和部署的流程

    1、准备工作

    下载一些用到的命令

    yum install -y vim 
    yum install -y lrzsz 
    yum install net-tools

    目录约定

    /opt            #工作目录
    /opt/install    #安装包
    /opt/softwar    #软件包
    /opt/other      #其它
    /opt/test       #测试
    cd /opt
    mkdir install software other test       #新建目录

    JDK安装

    cd /opt/install     #进入安装包目录
    ​
    rz jdk-8u221-linux-x64.tar.gz   #上传JDK
    ​
    tar -zxvf jdk-8u221-linux-x64.tar.gz  #解压JDK
    ​
    mv jdk1.8.0_221 jdk1.8      #改名为JDK1.8
    ​
    mv jdk1.8 ../software   #移动到/opt/software目录
    ​

    配置jdk环境变量

    vim /etc/profile      #编辑环境变量
    ​
    JAVA_HOME=/opt/software/jdk1.8           #添加JAVA_HOME变量 
    CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
    PATH=$PATH:$JAVA_HOME/bin
    ​
    source /etc/profile   #生效配置

    修改主机名

    vim /etc/hostname   #编辑主机名
    ​
    hdp01  #主机名以hdp01为例

    修改主机映射

    vim /etc/hosts    #编辑主机映射
    ​
    192.168.0.32  hdp01     #主机的ip对应主机名 

    配置免密登录

    ssh-keygen      #生成公钥
    ​
    ssh-copy-id hdp01  #设置自己为免密登录

    2、下载安装伪分布式

    hadoop安装

    cd /opt/install        #进入安装包目录
    
    rz hadoop-2.7.7.tar.gz    #上传hadoop
    
    tar -zxvf hadoop-2.7.7.tar.gz  #解压hadoop
    
    mv hadoop-2.7.7 ../software    #移动到/opt/software目录

    修改hadoop的6个配置文件

    cd /opt/software/hadoop-2.7.7/etc/hadoop    #进入配置文件目录

    hadoop-env.sh

    vim hadoop-env.sh        #编辑配置文件hadoop-env.sh
    
    export JAVA_HOME=/opt/software/jdk1.8  #修改25行
    
    export HADOOP_CONF_DIR=/opt/software/hadoop-2.7.7/etc/hadoop  #修改33行

    core-site.xml

    vim    core-site.xml         #编辑配置文件core-site.xml
    
    <configuration>
       <property>
            <name>fs.defaultFS</name>
            <value>hdfs://hdp01:9000</value>  #hdp01为 主机名
        </property>
        
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/opt/software/hadoop-2.7.7/tmp</value>
        </property>
    
    </configuration>

    hdfs-site.xml

    vim    hdfs-site.xml         #编辑配置文件hdfs-site.xml
    
    <configuration>
           <property>
             <name>dfs.replication</name>
             <value>1</value>
            </property>
    </configuration>        

    mapred-site.xml

    cp mapred-site.xml.template  mapred-site.xml    #拷贝例子
    vim mapred-site.xml         #编辑配置文件mapred-site.xml
    
    <configuration>
        <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>
    </configuration>

    yarn-site.xml

    vim yarn-site.xml         #编辑配置文件yarn-site.xml
    
    <configuration>
        <property>
            <name>yarn.resourcemanager.hostname</name>
            <value>hdp01</value>                            #hdp01为主机名
        </property>
    
        <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
        </property>
    </configuration>

    slaves

    vim slaves         #编辑配置文件slaves
    
    hdp01        #主机名

    配置hadoop的环境变量

    vim /etc/profile        #编辑环境变量
    
    JAVA_HOME=/opt/software/jdk1.8
    CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
    HADOOP_HOME=/opt/software/hadoop-2.7.7
    PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin 
    
    source /etc/profile        #生效配置

    格式化文件系统

    hadoop namenode -format

    运行服务器

    start-all.sh  #开启
    stop-all.sh  #关闭

    查看系统端口

    netstat -nltup
  • 相关阅读:
    JavaSE 基础 第51节 定义自己的异常
    JavaSE 基础 第50节 Java中的异常链
    JavaSE 基础 第49节 手动抛出异常
    JavaSE 基础 第48节 Java中的异常声明
    JavaSE 基础 第47节 获取异常信息
    JavaSE 基础 第46节 异常的分类
    JavaSE 基础 第45节Java异常快速入门
    JavaSE 基础 第44节 引用外部类的对象
    JavaSE 基础 第43节 静态内部类
    通用爬虫
  • 原文地址:https://www.cnblogs.com/yangy1/p/12336987.html
Copyright © 2011-2022 走看看