大数据 Hadoop 单机版安装

1. 安装 JDK

tar -zvxf jdk-8u201-linux-x64.tar.gz -C /opt/software
cd /opt/software 
mv jdk1.8.0_201 jdk
vim /etc/profile

export JAVA_HOME=/opt/software/jdk
export PATH=$JAVA_HOME/bin:$PATH

# 退出
source /etc/profile
java -version

2. 配置本地免登录

ssh-keygen -t rsa
# 一路回车
ssh-copy-id localhost
# 将密钥复制到目标主机

3. 关闭防火墙

systemctl stop firewalld.service     # 临时关闭
systemctl disable firewalld.service  # 开机不启动

4. 解压 hadoop

4.1 修改 hadoop-env.sh

export JAVA_HOME=/opt/software/jdk

4.2 修改 core-site.xml

<configuration>
    <!-- 指定HDFS老大（namenode）的通信地址 -->
    <property>
        <name>fs.default.name</name>
        <value>hdfs://192.168.183.128:8082</value>
    </property>
     <!-- 指定hadoop运行时产生文件的存储路径 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/software/hadoop/tmp/hadoop-${user.name}</value>
    </property>
</configuration>

4.3 修改 hdfs-site.xml

<configuration>
    <!-- namenode上存储hdfs名字空间元数据 -->
    <property>
        <name>dfs.name.dir</name>
        <value>/opt/software/hadoop/hdfs/name</value>
    </property>
    
    <!-- datanode上数据块的物理存储位置 -->
    <property>
        <name>dfs.data.dir</name>
        <value>/opt/software/hadoop/hdfs/data</value>
    </property>

    <!-- 设置hdfs副本数量 -->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

4.4 修改mapred-site.xml

<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>192.168.200.128:8021</value>
    </property>
    <!-- 通知框架MR使用YARN -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

4.5 修改 yarn-site.xml

<configuration>
    <!-- reducer取数据的方式是mapreduce_shuffle -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

5. 启动

移动到 /opt/software/hadoop

5.1 格式化文件系统

./bin/hdfs namenode -format

5.2 启动存储

./sbin/start-dfs.sh 

1. 使用 http://192.168.200.128:50070 查看hdfs存储信息
2. 使用jps启动进程

5.3 启动yarn

./sbin/start-yarn.sh

使用 http://192.168.200.128:8088 查看 yarn 的存储信息