zoukankan      html  css  js  c++  java
  • hadoop安装及配置

    Hadoop的伪分布式安装步骤

    使用root用户登录

    1.1设置静态ip

    centos桌面右上角的图标上,右键修改。

    重启网卡,执行命令service network restart

    验证:执行命令 ifconfig

     

    1.2修改主机名

    <1>修改当前会话中的主机名,执行命令hostname hadoop(要修改的主机名称)

    <2>修改配置文件中的主机名,执行命令vi /etc/sysconfig/network

    验证:重启机器

    1.3hostnameip绑定

    执行命令vi /etc/hosts ,增加一行内容 如下

    192.168.1.112     hadoop

    保存退出

     

    验证:ping hadoop

     

     

    1.4关闭防火墙

    执行命令 service iptables stop

    验证: service iptables status

     

    1.5关闭防火墙的自动执行

    执行命令  chkconfig iptables off

    验证:chkconfig --list | grep iptables

     

    1.6ssh(secure shell)

     

    执行命令 ssh-keygen -t rsa产生密钥,位于~.ssh/文件夹中

     

    执行命令 cp ~/.ssh/id_rsa.pub authorized_keys

    验证 ssh localhost

    1.7 安装jdk

    使用winscpjdk文件从windows复制到/usr/local目录下

    执行命令 chmod u+x jdk 赋予执行权限

    执行命令 ./jdk.bin解压缩

    执行命令 mv jdk原名 jdk重命名

    执行命令 vi /etc/profile 设置环境变量,增加两行内容

    export  AVA_HOME=jdk的安装目录

    export  PATH=.:$JAVA_HOME/bin:$PATH

    保存退出

    执行命令 source /etc/profile 让设置立即生效

    验证:java -version

     

    1.8安装hadoop

    执行命令 tar -zxvf hadoop-1.1.2.tar.gz进行解压缩

    执行命令 mv hadoop-1.1.2 hadoop 重命名

    设置环境变量

    vi  /etc/profile 设置环境变量 增加一行内容

    export  HADOOP_HOME=hadoop的安装目录

    修改一行内容

    export  PATH=.:$JAVA_HOME/bin:$HADOOP_HOME:$PATH

    保存退出

    执行命令 source /etc/profile 让设置立即生效

     

    修改hadoop的配置文件,位于$HADOOP_HOME/conf文件夹下

    修改4个配置文件,分别是

     hadoop-env.sh

     1 export JAVA_HOME=/home/java/jdk1.7.0_55//你的jdk按装目录 

    core-site.xml

    1 <property>
    2         <name>fs.default.name</name>
    3         <value>hdfs://hadoop112:9000</value>
    4 </property>
    5 <property>
    6         <name>hadoop.tmp.dir</name>
    7         <value>/home/java/hadoop/tmp</value>
    8 </property>

    hdfs-site.xml

    1 <property>
    2 <name>dfs.replication</name>
    3 <value>1</value>
    4 </property>
    5 
    6 <property>
    7 <name>dfs.permissions</name>
    8 <value>false</value>
    9 </property>

    mapred-site.xml

     1 <property>

    2  <name>mapred.job.tracker</name> 

    3 <value>hadoop112:9001</value> 

    4 </property> 

     

    保存退出!

    进入到hadoop bin目录下执行命令 ./hadoop namenode -format进行hadoop格式化

    执行命令 start-all.sh启动

    验证:1.执行命令jps,发现5java进程,分别是nameNode,DataNode,SecondaryName,JobTracker,TaskTracker

    2.通过浏览器查看

    Hadoop112 :50070

  • 相关阅读:
    指针
    day07
    day06
    oracle instr
    动态解析dll及使用类
    客户端调用接口
    Java中调用WebService
    Vs2015智能提示英文
    oracle中varchar(32)转nvarchar(32)
    C#创建XML节点
  • 原文地址:https://www.cnblogs.com/na-java/p/3924587.html
Copyright © 2011-2022 走看看