zoukankan      html  css  js  c++  java
  • 【Hadoop】配置环境-伪分布式

    目录

    1.Linux设置静态IP地址


    1.在Linux系统命令终端,执行命令:
        # cd /etc/sysconfig/network-scripts/
    
    2.在Linux系统命令终端,执行命令修改ifcfg-auto_eth0,按i进行编辑内容:
        # vi ifcfg-auto_eth0
    
        BOOTPRPTO=none
        IPADDR=192.168.0.202
        NETMASK=255.255.255.0
        GATE=192.168.0.1
        wq
    

    2.修改主机名和映射文件


    1.在任何目录下执行命令切换到该目录:
        # cd /etc/sysconfig/
    
    2.在/etc/sysconfig目录下找到network并执行命令编辑内容:
        # vi network
    
        HOSTNAME=simple02
        wq
    
    3.如果要修改主机名和ip地址具有映射关系,执行命令编辑内容:
        # vi /etc/hosts
    
        192.168.0.202 simple02
         wq
    
    4.重启系统
        # reboot
    

    3.SSH免密码配置


    1.切换到.ssh目录下并通过pwd查看该目录路径
        # cd ~/.ssh
        # pwd
    

    提示:如果显示无此目录,先执行一次以下命令:

        ssh localhost
    
    2.查看.ssh目录下内容
         # ls -al
    
    3.在.ssh目录下执行命令:(连续四个回车)
        # ssh-keygen -t rsa
    
    4.执行完上面命令后,或生成两个文件id_rsa(私钥),id_rsa.pub(公钥),在simple02上执行ssh-copy-id simple02命令(相当于该主机给自身设置免密码登录),根据提示输入访问主机所需要的密码
        # ssh-copy-id simple02
    
    5.在simle02机器上切换到.ssh目录
        # cd ~/.ssh
    
    6.查看.ssh目录下的内容,在.ssh目录下多个文件authorized_key,其内容就是密码值,此时就可以直接访问simple02了
        # ssh simple02
    

    4.Linux系统JDK的安装和配置


    1.先检查是否有默认的jdk,进行删除(可以不删除)
        # rpm -qa | grep jdk
        # rpm -e –nodeps java-1.4.2-gcj-compat-1.4.2.0-40jpp.115
    
    2.在根目录下创建simple文件夹,在simple文件夹内创建soft文件夹
        # cd /
        # mkdir simple
        # cd simple
        # mkdir soft
    
    3.将jdk解压到simple文件夹下
        # cd ../
        # tar -zvxf /simple/soft/jdk-7u79-linux-i586.tar.gz
    
    4.配置环境变量
        # vi /etc/profile
    
        JAVA_HOME=/simple/jdk1.7.0_79
        export PATH=$JAVA_HOME/bin:$PATH
        wq
    
    5.更新配置文件
        # source /etc/profile
    
    6.检查jdk是否安装成功
        # java -version
    

    5.Hadoop伪分布式配置和测试


    1.解压hadoop到simple文件夹下
        # cd /simple
        # tar -zvxf /simple/soft/hadoop-2.4.1.tar.gz
    
    2.编辑配置文件hadoop-env.sh
        # cd /simple/hadoop-2.4.1/etc/hadoop/
        # vi hadoop-env.sh
                export JAVA_HOME=/simple/jdk1.7.0_79
                wq
    
    3.编辑配置文件core-site.xml
        # vi core-site.xml 
            <property>
                <name>fs.default.name</name>
                <value>hdfs://169.254.25.128:9000</value>
            </property>
            <property>
                <name>fs.defaultFS</name>
                <value>hdfs://169.254.25.128:9000</value>
            </property>
            <property>
                <name>hadoop.tmp.dir</name>
                <value>/simple/hadoop-2.4.1/tmp</value>
            </property>
            wq
    
    4.编辑配置文件hdfs-site.xml
        # vi hdfs-site.xml
            <property>
                <name>dfs.replication</name>
                <value>1</value>
            </property>
            <property>
                <name>dfs.name.dir</name>
                <value>/simple/hadoop-2.4.1/hdfs/name</value>
            </property>
            <property>
                <name>dfs.data.dir</name>
                <value>/simple/hadoop-2.4.1/hdfs/data</value>
            </property>
            wq
    
    5.编辑配置文件mapred-site.xml
        # vi mapred-site.xml
            <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
            </property>
            wq
    
    6.编辑配置文件yarn-site.xml
        # vi yarn-site.xml
            <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>169.254.25.128</value>
            </property>
            <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
            </property>
            wq
    
    7.配置环境变量
        # vi /etc/profile
    
            HADOOP_HOME=/simple/hadoop-2.4.1
            export PATH=$JAVAHOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
            wq
    
    8.刷新配置文件
        # source /etc/profile
    
    9.格式化hdfs
        # cd /simple/hadoop-2.4.1
        # mkdir tmp
        # mkdir hdfs
        # cd hdfs
        # mkdir name
        # mkdir data
        # hdfs namenode -format
    
    10.启动hdfs
        # cd /simple/hadoop-2.4.1/sbin
        # ./start-all.sh
    
    11.查看进程
        # jps
    
        Jps
        ResourceManager
        SecondaryNameNode
        NameNode
        NodeManager
        DataNode
    
    12。在浏览器地址栏输入:
    http://localhost:50070(HDFS管理界面)
    http://localhost:8088(MR管理界面)
    
    作者:容一博

    个性签名:我有一个不成熟的想法!

    如果觉得这篇文章对你有小小的帮助的话,记得在右下角点个“推荐”哦,博主在此感谢!

  • 相关阅读:
    简单明了的带你理解springboot原理和三大核心注解
    Spring Boot(一):入门篇
    【Mysql优化】聚簇索引与非聚簇索引概念
    Mysql索引原理与优化
    Mysql全文索引的使用
    索引的优缺点,如何创建索引
    184 01 Android 零基础入门 03 Java常用工具类03 Java字符串 02 String类 04 例:字符串与byte(即:字节)数组间的相互转换
    183 01 Android 零基础入门 03 Java常用工具类03 Java字符串 02 String类 03 String常用方法(下)
    182 01 Android 零基础入门 03 Java常用工具类03 Java字符串 02 String类 02 String常用方法(上)
    181 01 Android 零基础入门 03 Java常用工具类03 Java字符串 02 String类 01 String常用方法简介
  • 原文地址:https://www.cnblogs.com/chromer/p/34g52347f5.html
Copyright © 2011-2022 走看看