zoukankan      html  css  js  c++  java
  • 虚拟机CentOs的安装及大数据的环境搭建

                                  大数据问题汇总
         1.安装问题
            1.安装步骤,详见文档《centos虚拟机安装指南》
            2.vi编辑器使用问题,详见文档《linux常用命令.pdf》
            3.网络中继更改问题
            命令:   vi /etc/sysconfig/network-scripts/ifcfg-eth0
    ·········需要修改的代码
    ·········DEVICE=eth0
                HWADDR=00:0C:29:11:02:E8
                TYPE=Ethernet
                UUID=c1038317-21f4-4251-a68f-0962fd644cab
                NBOOT=yes
                NM_CONTROLLED=yes
                BOOTPROTO=static
                IPADDR=192.168.17.238
                GATEWAY=192.168.17.1
                NDS1=114.114.114.114
                IPV6INIT=NO
          安装步骤到此结束
     2.hadoop 环境配置问题
               1.修改主机名称
                   命令:vi /etc/hosts
               2.配置java ,hadoop环境变量
                  命令:vi/etc/prifile
    #java
    JAVA_HOME=/jdk1.7.0_79
    JAVA_BIN=/jdk1.7.0_79/bin
    PATH=$JAVA_HOME/bin:$PATH
    CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
    export JAVA_HOME JAVA_BIN PATH CLASSPATH
    #hadoop
    export HADOOP_HOME=/home/hadoop-2.5.2
    export PATH=$HADOOP_HOME/bin:$PATH
    export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
    export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
    export JAVA_LIBRARY_PATH=/home/hadoop-2.5.2/lib/native/
             生效     命令:. /etc/prifile
            3关闭放火枪
               service iptables stop
               chkconfig iptables off
               3.1修改配置文件
               vi  /etc/selinux/config
                       修改为:
                         SELINUX=disabled

           4.ssh免密设置
             下载 ssh服务
                命令:yum -y install openssh-clients
             生成ssh密匙:
                ssh-keygen -t rsa
            进入根目录:命令: cd~;
             cd .ssh
              ls 查看文件
             将文件  id_rsa.hub 考入: 命令:cat id_rsa.pub  >>authorized_keys
             将 datanode节点上的 id_rsa.hub 考入 命令
             ssh datanode1 cat .ssh/id_rsa.pub >>authorized_keys
            将文件发送到datanode节点:   
                        [root@namenode ~]# scp authorized_keys datanode1:~/.ssh
           测试 ssh datanode1 免密登陆到datanode1主机
           至此 前期配置完成
             5 hadoop配置
             修改hadoop配置文件
             yarn-site.xml
             mapred-site.xml
             slaves hdfs-site.xml
             yarn-env.sh
             hadoop-env.sh
           详见《hadoop配置手册》
          配置环境测试:
                   cd /home/hadoop-2.5.2/sbin
                 输入 sh start-all.sh
                等待启动
               启动完毕后
           测试:
                  输入 jps
                    namenode 节点 显示:
                          8722 ResourceManager
                           11446 Jps
                            9371 DataNode
                           8812 NodeManager
                            9283 NameNode
                  datanode1节点 输入 jps
                            显示:
                        5694 Jps
                        2867 NodeManager
                        2782 DataNode
                 则基本配置成功
                测试计算 pi
           cd /home/hadoop-2.5.2/share/hadoop/mapreduce   
              命令  [root@namenode mapreduce]# hadoop jar hadoop-mapreduce-examples-2.5.2.jar pi 2 5   
              回车





  • 相关阅读:
    网络安全分析
    java实现 洛谷 P1464 Function
    java实现 洛谷 P1464 Function
    java实现 洛谷 P1014 Cantor表
    java实现 洛谷 P1014 Cantor表
    java实现 洛谷 P1014 Cantor表
    java实现 洛谷 P1014 Cantor表
    java实现 洛谷 P1014 Cantor表
    java实现 洛谷 P1540 机器
    java实现 洛谷 P1540 机器
  • 原文地址:https://www.cnblogs.com/tsxylhs/p/7158592.html
Copyright © 2011-2022 走看看