zoukankan      html  css  js  c++  java
  • 吴超老师课程---Hadoop的伪分布安装

    1.1 设置ip地址
        执行命令    service network restart
        验证:         ifconfig
    1.2 关闭防火墙
        执行命令    service iptables stop
        验证:        service iptables status
    1.3关闭防火墙的自动运行
        执行命令    chkconfig iptables off
        验证:        chkconfig --list | grep iptables
    1.4 设置主机名
        执行命令    (1)hostname hadoop
                       (2)vi /etc/sysconfig/network
    1.5 ip与hostname绑定
        执行命令    vi /etc/hosts
        验证:        ping hadoop
    1.6 设置ssh免密码登陆
        执行命令    (1)ssh-keygen -t rsa
                       (2)cp ~/.ssh/id_rsa.pub  ~/.ssh/authorized_keys
        验证:        ssh hadoop
    1.7 安装jdk
        执行命令    (1)cd /usr/local
                       (2)chmod u+x jdk-6u24-linux-i586.bin
                       (3)./jdk-6u24-linux-i586.bin
                       (4)mv jdk-1.6.0_24  jdk
                       (5)vi /etc/profile 增加内容如下:
                          export JAVA_HOME=/usr/local/jdk
                          export PATH=.:$JAVA_HOME/bin:$PATH
                       (6)source /etc/profile
         验证:        java -version
    1.8 安装hadoop
        执行命令  (1)tar -zxvf hadoop-1.1.2.tar.gz
                (2)mv hadoop-1.1.2 hadoop
                (3)vi /etc/profile 增加内容如下:
                export JAVA_HOME=/usr/local/jdk
                export HADOOP_HOME=/usr/local/hadoop
                export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
                (4)source /etc/profile
                (5)修改conf目录下的配置文件hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml

    修改hadoop配置文件
    1.hadoop-env.sh
    export JAVA_HOME=/usr/local/jdk/
    2.core-site.xml
    <configuration>
        <property>
            <name>fs.default.name</name>
            <value>hdfs://hadoop:9000</value>
            <description>change your own hostname</description>
        </property>
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/usr/local/hadoop/tmp</value>
        </property>  
    </configuration>
    3.hdfs-site.xml
    <configuration>
        <property>
            <name>dfs.replication</name>
            <value>1</value>
        </property>
        <property>
            <name>dfs.permissions</name>
            <value>false</value>
        </property>
    </configuration>
    4.mapred-site.xml
    <configuration>
        <property>
            <name>mapred.job.tracker</name>
            <value>hadoop:9001</value>
            <description>change your own hostname</description>
        </property>
    </configuration>
                (6)hadoop namenode -format
                (7)start-all.sh
        验证: (1)执行命令jps 如果看到5个新的java进程,分别是NameNode、SecondaryNameNode、DataNode、JobTracker、TaskTracker
               (2)在浏览器查看,http://hadoop:50070  http://hadoop:50030  
    1.9 启动时没有NameNode的可能原因:
        (1)没有格式化
        (2)环境变量设置错误
        (3)ip与hostname绑定失败

  • 相关阅读:
    Android 学习笔记之WebService实现远程调用+内部原理分析...
    Android学习笔记之Json的使用....
    Android学习笔记之DocumentBuilder的使用....
    Android学习笔记之ExecutorService线程池的应用....
    Android学习笔记之SoftReference软引用...
    windows系统获取进程的pid号并终止
    Linux系统的时间比北京时间慢12个小时的处理方案(将EDT时区改为CST)
    将java的jar包作为windows的服务来启动
    linux初始化shell脚本
    linux中网络部分的总结
  • 原文地址:https://www.cnblogs.com/hellochennan/p/5365018.html
Copyright © 2011-2022 走看看