zoukankan      html  css  js  c++  java
  • hadoop安装配置

    linux中

    首先需要先安装jdk并配置相应的环境变量

    通过wget方式下载hadoop1.2.1版本,如果是生产环境使用建议使用1.*版本,因为2.*版本刚推出没多久,比较不稳定

    下载地址 http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz

    可以使用mv把下载的安装包剪切到opt目录

    之后使用tar解压

    解压完成后需要配置hadoop-env.sh的java环境变量

    core-site.xml(空文件)

    配置:

    <property>
    <name>hadoop.tmp.dir</name>
    <value>/hadoop</value>
    </property>
    <property>
    <name>dfs.name.dir</name>
    <value>/hadoop/name</value>
    </property>
    <property>
    <name>fs.default.name</name>
    <value>hdfs://coder:9000</value> --访问hadoop的路径跟端口号coder  主机名
    </property>

    hdfs-site.xml

    1 <property>
    2 <name>dfs.data.dir</name>
    3 <value>/hadoop/data</value>
    4 </property>

    mapred-site.xml

    1 <name>mapred.job.tracker</name>
    2 <value>coder:9001</value> --访问hadoop的路径跟端口号coder  主机名
    
    

    配置好以后,启动hadoop之前需要将hadoop的nameNode 初始化--格式化文件系统

    执行hadoop namenode -format

    之后可以通过start-all.sh来启动hadoop

    启动成功后,通过jps查看进程是否包含hadoop的相关进程。

  • 相关阅读:
    C# 协变 逆变
    go slice 理解
    为什么避免使用Task.Wait或者Task.Result
    IL笔记
    docker随笔
    领域事件
    总结笔记
    基于ASP.NET Core 3.x的端点路由(Endpoint Routing)实现控制器(Controller)和操作(Action)分离的接口服务
    CentOS7 多IP搭建SOCKS5代理服务器
    Springboot 实现数据库备份还原
  • 原文地址:https://www.cnblogs.com/coderwar/p/5170912.html
Copyright © 2011-2022 走看看