zoukankan      html  css  js  c++  java
  • 关于搭建haddoop分布式系统的全部过程复习

    1在vmware中更改了虚拟机的网络类型,--->NAT方式,(虚拟交换机的ip可以从vmvare的edit-->vertual network editor看到)
    2、根据这个交换机(网关)的地址,来设置我们的客户端windown7的ip(Vmnet8这块网卡)
    3、启动linux主机,修改linux系统的ip地址(通过图形界面修改),修改完成之后在terminal(命令行终端)中切换到root用户执行命令重启网络服务来让ip生效
    4/修改主机名: 在root身份下,用命令修改 vi /etc/sysconfig/network 把hostname改为 yun-10-1
    5/添加主机名和ip的映射 在root身份下 vi /etc/hosts 添加一行 192.168.2.100 yun-10-1
    6/讲hadoop这个用户添加到sudoers里面去 在root身份下 vi /etc/sudoers ,在文件中找到 root ALL=ALL ALL ,下面加一行hadoop的
    7/停止防火墙服务 在root身份下 service iptables stop
    8、关闭防火墙的自动启动 在root身份下 chkconfig iptables off

    9、reboot
    10/用ping命令检测一下windows主机和linux服务器之间的网络连通性
    11、进入linux修改图形界面启动配置,不要再启动图形界面了,在root身份下, vi /etc/inittab 将其改为id:3:initdefault:
    12/再次reboot,将不会启动到图形界面了
    (当以后你想启动图形界面的时候可以在命令行下敲startx (init 5) ,在图形界面下你想关闭图形界面,敲命令init 3)

    ===========华丽的分割线=============================

    1/用终端连接linux服务器进行软件的安装(用secureCRT来连接)
    2/安装jdk
    --用filezilla工具上传jdk的压缩包
    --解压jdk的压缩包到一个专门的安装目录下 /home/hadoop/app
    --在hadoop的主目录下敲命令 tar -zxvf jdk-7u65-linux-i586.tar.gz -C ./app
    --配置java的环境变量 sudo vi /etc/profile
    在文件的最后添加:

    export JAVA_HOME=/home/hadoop/app/jdk1.7.0_65
    export PATH=$PATH:$JAVA_HOME/bin

    3/让配置生效, source /etc/profile

    ===========帅酷的分割线=============================

    1/用filezilla工具上传hadoop的安装包
    2/把hadoop解压到app目录中去 tar -zxvf hadoop-2.4.1.tar.gz -C ./app/
    3/修改hadoop的5大配置文件,位置在 /home/hadoop/app/hadoop-2.4.1/etc/hadoop目录下
    -- vi hadoop-env.sh 改其中的JAVA_HOME为我们安装jdk的路径JAVA_HOME=/home/hadoop/app/jdk1.7.0_65
    -- vi core-site.xml

    <configuration>

    <property>

    <name>fs.defaultFS</name>
    <value>hdfs://yun-10-1:9000</value>

    </property>


    <property>

    <name>hadoop.tmp.dir</name>
    <value>/home/hadoop/app/hadoop-2.4.1/tmp</value>

    </property>


    </configuration>

    -- vi hdfs-site.xml

    <configuration>
    <property>
    <name>dfs.replication</name>
    <value>1</value>
    </property>
    </configuration>


    -- 先修改文件名 mv mapred-site.xml.template mapred-site.xml
    在编辑 vi mapred-site.xml

    <configuration>
    <property>

    <name>mapreduce.framework.name</name>
    <value>yarn</value>

    </property>
    </configuration>


    -- vi yarn-site.xml
    <configuration>

    <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>yun-10-1</value>

    </property>

    <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>

    </property>

    </configuration>


    4/配置一下hadoop的环境变量
    sudo vi /etc/profile

    =============优美的分割线====================

    1/无密登陆的配置
    首先在客户端生成密钥对 ssh-keygen -t rsa 紧接着一直回车
    然后在客户端拷贝公钥到远程 ssh-copy-id desthost

    =========完美的分割线========hadoop安装完成========

  • 相关阅读:
    读取XML并绑定至RadioButtonList
    获取客户端IP地址
    Repeater控件数据导出Excel
    验证用户必选CheckBox控件
    限制CheckBoxList控件只能单选
    获取客户端电脑名称
    获取Repeter的Item和ItemIndex
    获取DataList控件的主键和索引
    InsusExportToExcel Library
    ASP.NET网页打印
  • 原文地址:https://www.cnblogs.com/DreamDrive/p/4585771.html
Copyright © 2011-2022 走看看