hadoop

安装jdk1.8.0
    1.进入根目录下的usr文件夹:
    cd /usr

    2.在usr下创建soft文件夹，用于存放hadoop和jdk等自己使用的软件:
    sudo mkdir soft

    3.修改soft的权限，是所有人可以读写:
    sudo chmod a+w soft

    4.移动jdk到 /usr/soft目录下:
    mv jdk/  /usr/soft/

    5.进入jdk/bin目录下，下面全是可执行文件。

    6.在/etc/environment中配置JAVA_HOME环境变量:
    cd /etc
    sudo nano environment
    环境变量
    JAVA_HOME= jdk安装路径    JAVA_HOME=/usr/soft/jdk1.8.0_121
    PATH变量后面添加bin路径      PATH="/usr/soft/jdk1.8.0_121/bin:"

    7.是配置的environment文档立即生效
    source environment

    8.验证是否立即生效
    echo $JAVA_HOME    会输出刚才配置的路径

    9.java -version验证是否输出jdk信息

安装hadoop2.7.3
    1.将hadoop压缩包复制到 /usr/soft下
    sudo cp hadoop /usr/soft

    2.解压hadoop压缩包
    tar -xzvf hadoop

    3.在etc/environment中配置hadoop变量
    gedit environment (是有ubuntu自带的图形编辑器)
    配置变量
    HADOOP_INSTALL=/usr/soft/hadoop-2.7.3
    在PATH中追加hadoop的bin目录和sbin目录
    /usr/soft/hadoop-2.7.3/bin:/usr/soft/hadoop-2.7.3/sbin
    即可生效
    source environment
    
    4.需要重启一次，重启完成后
    hadoop version验证是否输出hadoop信息

    5.开始配置:进入 /hadoop/etc/hadoop，需要配置core-site.xml,yarn-site.xml,hdfs-site.xml
以及mapred-site.xml

    6.使用命令群编辑文件
    gedit *-site.xml(其中会打开一个不配置的文件，关闭即可)

    7.首先配置core-site.xml,在configuration标签内配置
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost/</value>
    </property>

    8.配置hdfs-site.xml
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name><property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost/</value>
    </property>dfs.namenode.name.dir</name>
        <value>/usr/soft/NameNodeFile</value>
    </property>

    9.配置yarn-site.xml
    
    </property>
        <name>yarn.resourcemanager.address</name>
        <value>localhost</value>
    </property>

    </property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

    10.配置mapred-site.xml,需要将mapred-site.xml.template 复制一份为 mapred-site.xml
    
    </property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>

配置ssh
    1.安装ssh
    sudo apt-get install ssh

            ssh-askpass-gnome
    2.进入主目录下 cd /
    ssh -keygen -t rsa -P '' -f ~/.ssh/id_rsa

    3.配置密钥
    cat id_rsa.pub >>authorized_keys