zoukankan      html  css  js  c++  java
  • Hadoop 安装(单机版)

    1. 下载安装

    官网下载链接

    1.1 这里选择安装的是2.9.2,使用下面命令进行下载:

    1 # cd ~/software
    2 wget http://apache.communilink.net/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz

    1.2 解压重命名

    1 tar -xzvf hadoop-2.9.2.tar.gz
    2 mv hadoop-2.9.2 hadoop

    1.3 配置环境变量

    使用vim编辑~/.bashrc文件,加入以下配置(目录换成自己的安装目录):
    1 export HADOOP_HOME=/software/hadoop
    2 export HADOOP_INSTALL=$HADOOP_HOME
    3 export HADOOP_MAPRED_HOME=$HADOOP_HOME
    4 export HADOOP_COMMON_HOME=$HADOOP_HOME
    5 export HADOOP_HDFS_HOME=$HADOOP_HOME
    6 export YARN_HOME=$HADOOP_HOME
    7 export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
    8 export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"
    9 export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
    使用source命令使配置生效: source ~/.bashrc
    可以使用echo $PATH 输出查看是否正确

    2. 简单配置

    2.1 编辑core-site.xml

    文件位置:$HADOOP_HOME/etc/hadoop/core-site.xml

    命令:

    1 cd /software/hadoop/etc/hadoop
    2 vim core-site.xml

    配置如下:

     1 <configuration>
     2     <!-- 指定运行端口 -->
     3     <property>
     4         <name>fs.defaultFS</name>
     5         <value>hdfs://localhost:9000</value>
     6     </property>
     7     <!-- 指定临时目录 -->
     8     <property>
     9         <name>hadoop.tmp.dir</name>
    10         <value>/data/hadoop/tmp</value>
    11     </property>
    12 </configuration>

    2.2 编辑hdfs-site.xml

    文件位置: $HADOOP_HOME/etc/hadoop/hdfs-site.xml

    命令:

    1 cd /software/hadoop/etc/hadoop
    2 vim hdfs-site.xml

    配置:

    1 <configuration>
    2     <!-- 备份数量 -->
    3     <property>
    4         <name>dfs.replication</name>
    5         <value>1</value>
    6     </property>
    7 </configuration>

    2.3 编辑mapred-site.xml

    位置:$HADOOP_HOME/etc/hadoop/mapred-site.xml.template

    命令:

    1 cd /software/hadoop/etc/hadoop
    2 # 复制并重命名
    3 cp mapred-site.xml.template mapred-site.xml
    4 vim mapred-site.xml

    配置:

    1 <configuration>
    2     <!-- 配置资源管理器 -->
    3     <property>
    4         <name>mapreduce.framework.name</name>
    5         <value>yarn</value>
    6     </property>
    7 </configuration>

    2.4 编辑yarn-site.xml

    位置: $HADOOP_HOME/etc/hadoop/yarn-site.xml

    命令:

    1 cd /software/hadoop/etc/hadoop
    2 vim yarn-site.xml

    配置:

    1 <configuration>
    2     <property>
    3         <name>yarn.nodemanager.aux-services</name>
    4         <value>mapreduce_shuffle</value>
    5     </property>
    6 </configuration>

    3. 启动Hadoop

     1 # 第一次,格式化namenode
     2 hdfs namenode -format
     3 # 运行HDFS
     4 start-dfs.sh
     5 # 运行yarn
     6 start-yarn.sh
     7 # 查看运行状况(前提是安装jdk并配置环境变量)
     8 jps
     9 # 停止hdfs
    10 stop-dfs.sh
    11 # 停止yarn
    12 stop-yarn.sh
  • 相关阅读:
    Ad hoc access to OLE DB provider 'Microsoft.ACE.OLEDB.12.0' has been denied. You must access this provider through a linked server.
    阻塞问题:会话是sleeping的,但是open_tran 不是0
    windows Server DNS服务器配置
    内存缺页
    "ros::NodeHandle"的用法:全局vs.私有
    python 判断当前执行用户是否是 root 用户
    docker 安装及启动 postgresql 及navicat 连接
    Mac 在环境变量中隐藏密码或者密钥等信息
    磁盘空间不足导致虚拟机无法启动
    VirtuaBox 下安装 Centos8 无法上网
  • 原文地址:https://www.cnblogs.com/dintalk/p/12234254.html
Copyright © 2011-2022 走看看