zoukankan      html  css  js  c++  java
  • hadoop单机配置

     

     

     

    条件:

    先下载VMware1.2,然后安装。

    下载ubuntu-1.4.05-desktop-amd64.iso。下载地址:http://mirrors.aliyun.com/ubuntu-releases/14.04.5/

    下载hadoop2.7。下载地址:http://archive.apache.org/dist/hadoop/core/hadoop-2.7.1/

    下载jdk-8u171-linux-x64.tar.gz。到官网下载。参考教程:https://blog.csdn.net/zl007700/article/details/50533675

    将ubuntu安装在VMware上。

    1.创建hadoop用户

    sudo useradd -m hadoop -s /bin/bash

    设置密码

    sudo passwd hadoop

    增加管理员权限

    sudo adduser hadoop sudo

    最后退出当前用户,然后重新登陆hadoop用户。

    2.更新apt

    sudo apt-get update

    3.安装SSH,配置SSH无密码登录

    安装SSH server:

    sudo apt-get install openssh-server

    安装后,用命令登录:

    ssh localhost

     

    但是这样登陆需要密码。所以首先退出刚才的 ssh,利用 ssh-keygen 生成密钥,并将密钥加入到授权中:

     

    然后就可以无密码登录了

    3.免配置环境安装jdk

    sudo apt-get install default-jre default-jdk

    上述安装过程需要访问网络下载相关文件,请保持联网状态。安装结束以后,需要配置JAVA_HOME环境变量,请在Linux终端中输入下面命令打开当前登录用户的环境变量配置文件.bashrc:

    vim ~/.bashrc

    在文件最前面添加如下单独一行(注意,等号“=”前后不能有空格),然后保存退出:

    export JAVA_HOME=/usr/lib/jvm/default-java

    接下来,要让环境变量立即生效,请执行如下代码:

    source ~/.bashrc    

    执行上述命令后,可以检验一下是否设置正确:

     

    4.安装hadoop

    将下载好的hapoop解压到/usr/local/

    sudo tar -zxf ~/Downloads/hadoop-2.7.6.tar.gz -C /usr/local    # 解压到/usr/local中
    cd /usr/local/
    sudo mv ./hadoop-2.7.6/ ./hadoop            # 将文件夹名改为hadoop
    sudo chown -R hadoop ./hadoop       # 修改文件权限

    我在写文件夹名时写错了。所以用来查看当前目录下的文件夹的命令是 Is 文件名

     

    最后查看hadoop的版本:

    5.单机配置hadoop

    hadoop默认为非分布式模式(本地模式)。无需进行其他配置即可。

    Hadoop 可以在单节点上以伪分布式的方式运行,Hadoop 进程以分离的 Java 进程来运行,节点既作为 NameNode 也作为 DataNode,同时,读取的是 HDFS 中的文件。

     

    Hadoop 的配置文件位于 /usr/local/hadoop/etc/hadoop/ 中,伪分布式需要修改2个配置文件 core-site.xmlhdfs-site.xml 。Hadoop的配置文件是 xml 格式,每个配置以声明 property 的 name 和 value 的方式来实现。

     

    修改配置文件 core-site.xml

    修改成:

     

     

    Hadoop 的运行方式是由配置文件决定的(运行 Hadoop 时会读取配置文件),因此如果需要从伪分布式模式切换回非分布式模式,需要删除 core-site.xml 中的配置项。

    此外,伪分布式虽然只需要配置 fs.defaultFS 和 dfs.replication 就可以运行(官方教程如此),不过若没有配置 hadoop.tmp.dir 参数,则默认使用的临时目录为 /tmp/hadoo-hadoop,而这个目录在重启时有可能被系统清理掉,导致必须重新执行 format 才行。所以我们进行了设置,同时也指定 dfs.namenode.name.dir 和 dfs.datanode.data.dir,否则在接下来的步骤中可能会出错。

    配置完成后,执行 NameNode 的格式化:

    ./bin/hdfs namenode -format

    我执行命令时一直提醒找不到路径,需要先cd到/usr/local/hadoop目录下

    然后发现原来的xml文件写错了,正确的应该写成:

    然后再执行:

    接着开启 NameNode 和 DataNode 守护进程。

    ./sbin/start-dfs.sh

     

     

     

     

     

    本文版权归作者和博客园共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,否则保留追究法律责任的权利.
  • 相关阅读:
    Spring课程 Spring入门篇 5-6 introductions应用
    Spring课程 Spring入门篇 5-5 advice应用(下)
    Spring课程 Spring入门篇 5-4 advice应用(上)
    Spring课程 Spring入门篇 5-3 配置切入点 pointcut
    Spring课程 Spring入门篇 5-2 配置切面aspect
    Spring课程 Spring入门篇 5-1 aop基本概念及特点
    Spring课程 Spring入门篇 总结
    Spring课程 Spring入门篇 4-9 Spring bean装配之对jsr支持的说明
    Spring课程 Spring入门篇 4-8 Spring bean装配之基于java的容器注解说明--基于泛型的自动装配
    Spring课程 Spring入门篇 4-7 Spring bean装配之基于java的容器注解说明--@Scope 控制bean的单例和多例
  • 原文地址:https://www.cnblogs.com/wl2017/p/9675618.html
Copyright © 2011-2022 走看看