zoukankan      html  css  js  c++  java
  • CentOS 下安装配置Hadoop

    一、Linux 修改主机名称

    设置服务器的hostname(主机名),这样在程序和配置中可以使用hostname以代替 IP 地址。这样做有什么好处呢?当我们的 IP 变更之后,便不需要修改任何程序和配置。

    1.通过使用/etc/hostname文件来设置 hostname 输入vi /etc/hostname(创建文件),直接输入主机名称如:master

    2.修改/etc/hosts文件,在其中添加其它计算机的hostname和IP的对应关系,如在本机中添加192.168.56.101 master
      有多少Host 与 IP 的对应关系都要添加到这里来

    3.修改/etc/sysconfig/network 的 HOSTNAME = master

    输入hostname 即可查看更改后的主机名,默认重启之后才会更新,临时可以通过输入hostname master 暂时修改主机名。

    安装 ssh 客户端

    二、允许 hadoop 用户 ssh 登录(每台机器都有个hadoop用户这些用户是可以互相跨平台登录的)

    1.首先是下载openssh 的客户端,在CentOS5.6 安装默认是安装服务器端而不安装客户端的,所以要自己安装客户端
      yum -y install openssh-clients
    2.生成一对公钥和私钥
      ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
      -t 是算法 有dsa 和rsa 两种都可以
      -P 是生成公钥和私钥的密码
      -f 是生成的文件的名称
      命令执行完成后可以看到 生成了一个id_dsa和id_dsa.pub两个文件
    3.将id_dsa.pub 的内容新建到一个authorized_keys文件中
      cat id_dsa.pub >> authorized_keys
    4.改变authorized_keys 和 .ssh 目录的权限
      chmod 600 authorized_keys
      chmod 700 .ssh

    完成上述四个步骤之后即可执行 ssh master了

    三、安装JDK 并设定环境变量

    1. 必须要设定是JAVA_HOME 和 PATH
       JAVA_HOME=/usr/java/jdk
       CLASSPATH=$JAVA_HOME/lib:.$JAVA_HOME/jre/lib:.
       PATH=$JAVA_HOME/bin:$PATH  
       export JAVA_HOME CLASSPATH PATH
       注意PATH = 后面的$不能忘记了
    2. 输入source /etc/profile 使用修改生效

    四、Hadoop 安装

    1.将 Hadoop-1.0.3.tar.gz 解压到 /opt 文件夹
      tar -zxvf Hadoop-1.0.3.tar.gz -C /opt
    2.重命名 Hadoop-1.0.3
      mv Hadoop-1.0.3/ hadoop
    3.更改hadoop 文件夹的所有者
      chown -R hadoop:hadoop hadoop/
    4.切换到hadoop 下进行配置

  • 相关阅读:
    数据库分区、分表、分库、分片
    C# 创建Windows Service(Windows服务)程序
    C# 自定义控件容器,设计时可添加控件
    redis配置文件中常用配置详解
    将博客搬至CSDN
    MD5加密之加密字符串
    MD5加密之提取文件的MD5特征码
    安卓手机下拉状态栏的代码实现
    Android中四大组件总结
    Android中内容提供者ContentProvider的详解
  • 原文地址:https://www.cnblogs.com/oftenlin/p/3006271.html
Copyright © 2011-2022 走看看