zoukankan      html  css  js  c++  java
  • hadoop的环境配置

               写在前面:这一篇文章是应该是科协最后一次上课的备课内容,写完这一篇博客,我想,我已经把我懂得的成熟的技术都毫无保留的尽力教授给我的学生。总结这一学期来的科协上课。虽然自己的技术十分有限,但还是坚持做到了每次上课都备课,确保上课演示的每一个例子都正确无误(然而,毕竟知识水平有限,应该还是会有一些教的不大准确的地方),让学弟能少走一些弯路。我想我已经尽力了,至少我问心无愧············

                一、几个重要的目录

                1、/sbin/service 。在这个目录里可以进行相关的关于网关的操作。

                 2、/etc/sysconfig/network。在这个目录可以进行多hostname的修改

                 3、/etc/hosts 在这里可以配置DNS

                 4、.ssh   在这里可以配置无密钥访问(很重要)

                 5、/etc/profile.d/java.sh    在这里可以配置一下系统的环境变量

                  6、/opt/modules/hadoop/    在这里可以进行hadoop的相关操作

                  7、几个核心的配置文件:core-site.xml、hdfs-site.xml、mapred-site.xml

              二、hadoop配置的基本命令

                  1、 授时服务的设置

                    命令:crontab -e  

                    然后输入0 1 * * *  /usr/sbin/ntpdate cn.pool.ntp.org

                  2、IP配置

                  命令:setup

                  将master的IP配为192.168.1.1001

                  3、本地DNS配置

                   命令   vi    /etc/hosts

                   然后加上以下内容:

                   192.168.1.100 master 

                   192.168.1.101

                 4、SSH无密钥配置

                   ssh-keygen -q -t rsa -N "" -f /home/hadoop/.ssh/id_rsa

                   cat    id_rsa.pub      >    authorized_keys

                   chmod go-wx  authorized_keys

                  5、java环境的配置(与windows下的类似)

                  ./jdk-6u21-linux-i586-rpm.bin

                   vi /etc/profile.d/java.sh

                   export JAVA_HOME=/usr/java/jdk1.6.0_21/

                   export HADOOP_HOME=/opt/modules/hadoop/hadoop-1.0.3/

                   export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH

                   6、hadoop环境的配置

                 cp hadoop-1.0.3.tar.gz  /opt/modules/hadoop/

                  cd /opt/modules/hadoop/

                  tar -xzvf hadoop-1.0.3.tar.gz


                  以上便是配置环境时用到的基本命令

                   


               

                       

       


  • 相关阅读:
    WCF Server Console
    Restart IIS With Powershell
    RestartService (recursively)
    Copy Files
    Stopping and Starting Dependent Services
    多线程同步控制 ManualResetEvent AutoResetEvent MSDN
    DTD 简介
    Using Powershell to Copy Files to Remote Computers
    Starting and Stopping Services (IIS 6.0)
    java中的NAN和INFINITY
  • 原文地址:https://www.cnblogs.com/javawebsoa/p/3061684.html
Copyright © 2011-2022 走看看