zoukankan      html  css  js  c++  java
  • hadoop安装

    1:安装好虚拟机,安装系统
    2:更改Master和Slave的时间,使其时间相同:具体执行(root 用户下)
                       1): yum install -y ntpdate
                    2):cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
                           cp -f /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
                           ntpdate us.pool.ntp.org  
    3:  关闭防火墙:
            		service iptables status
            		#关闭防火墙
            		service iptables stop
            		#查看防火墙开机启动状态
            		chkconfig iptables --list
            		#关闭防火墙开机启动
            		chkconfig iptables off
    4:设置ip和hostname
                              hostname:  vi /etc/sysconfig/network      在HOST_NAME后面加上Master或Slave
                              vi   /etc/hosts     加入Master和Slave 的  ip 及其hostname
    4:安装jdk:
                    1:)解压.bin文件可执行   ./bin文件名
                            解压.rpm文件,可执行 rpm   -ivh   文件名
                        2:)在     vi   /etc/profilr   配置jdk环境变量,完成后 sourcr /etc/profile
                        3:)查看本系统是32位还是64位:file /sbin/init
                        4)rpm 安装  rpm -ivh  name
    5:创建用户和组:
                     1:)  groupadd hadoop    添加一个组
                        2:)  useradd hadoop -g hadoop  添加用户
                        3:)  passwd hadoop  设置用户密码为hadoop
    6:安装hadoop:
                    1:)传hadoop安装文件到/home/hadoop/   并解压
                       2:)修改hadoop下的etc/hadoop  的文件,具体如下(切换到hadoop用户下)               
                                    第一个:hadoop-env.sh
                                		vim hadoop-env.sh
                                		export JAVA_HOME=/usr/java/jdk1.7.0_65
    
                            	第二个:core-site.xm
                            		<!-- 指定HADOOP所使用的文件系统schema(URI),HDFS的老大(NameNode)的地址 -->
                            		<property>
                            			<name>fs.defaultFS</name>
                            			<value>hdfs://weekend-1206-01:9000</value>
                            		</property>
                            		<!-- 指定hadoop运行时产生文件的存储目录 -->
                            		<property>
                            			<name>hadoop.tmp.dir</name>
                            			<value>/home/hadoop/hadoop-2.4.1/tmp</value>
                                            </property>
        		
                        	第三个:hdfs-site.xml   hdfs-default.xml  (3)
                        		<!-- 指定HDFS副本的数量 -->
                        		<property>
                        			<name>dfs.replication</name>
                        			<value>1</value>
                                        </property>
        		
                        	第四个:mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)
                        		mv mapred-site.xml.template mapred-site.xml
                        		vim mapred-site.xml
                        		<!-- 指定mr运行在yarn上 -->
                        		<property>
                        			<name>mapreduce.framework.name</name>
                        			<value>yarn</value>
                                        </property>
        		
                        	第五个:yarn-site.xml
                        		<!-- 指定YARN的老大(ResourceManager)的地址 -->
                        		<property>
                        			<name>yarn.resourcemanager.hostname</name>
                        			<value>weekend-1206-01</value>
                                        </property>
                        		<!-- reducer获取数据的方式 -->
                                        <property>
                        			<name>yarn.nodemanager.aux-services</name>
                        			<value>mapreduce_shuffle</value>
                                         </property>
                                  第六个:slaves
                                                        Maste   Slave
    
    hdfs namenode -format
        7:配置hadoop环境变量:类似jdk(root用户下)
        8:在hadoop根目录创建.ssh文件夹:chmod 700 .ssh
            进入.ssh文件里面执行:
                ssh-keygen -t rsa (四个回车)
                cat id_rsa.pub >> authorized_keys
                scp -r .ssh  192.168.211.134:/root/
    	    执行完这个命令后,会生成两个文件id_rsa(私钥)、id_rsa.pub(公钥)
                将公钥拷贝到要免密登陆的目标机器上
    	    ssh-copy-id localhost
                然后将Slave上的id_rsa.pub   copy 到Master的authorized_keys上
                对Slave做同样操作
    

      

  • 相关阅读:
    现代软件工程_第一周练习_第12题
    [assembly: AssemblyVersion("1.0.1.*")] 指定版本字符串不符合所需格式
    C#中结构体与字节流互相转换
    字节转化为结构体BytesToStruct
    C#调用Microsoft.DirectX.DirectSound问题记录及解决
    C# Wpf集合双向绑定
    <转载>XML操作
    <转载>提升程序的特权(AdjustTokenPrivileges)
    <转载>批处理之FOR语句祥解
    Effective STL 笔记: Item 6--Be alert for C++'s most vexing parse
  • 原文地址:https://www.cnblogs.com/zqzdong/p/6438980.html
Copyright © 2011-2022 走看看