zoukankan      html  css  js  c++  java
  • Hadoop 平台搭建

    一、在Linux中安装JDK并配置环境变量

    输入javac 查看是否已安装java环境
    如果没有安装 sudo apt-get install openjdk-7-jdk
    再次检测 javac
    修改配置参数 vim /etc/profile 
    发现没有安装vim编辑器 apt-get install vim
    安装完成后 vim /etc/profile 配置环境变量,参照安装过程中路径,具体如下
    export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
    export JRE_HOME=$JAVA_HOME/jre
    export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
    export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

    source /etc/profile


    二、下载Hadoop并配置环境变量

    网址:http://mirror.bit.edu.cn/apache/hadoop/common/

    下载:wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1-bin.tar.gz

    ls 查看已下载 hadoop-1.2.1-bin.tar.gz

    移动到/opt/文件夹:mv hadoop-1.2.1-bin.tar.gz /opt/ 
    进入到/opt/文件夹:cd /opt/ 
    ls 查看/opt/目录下:hadoop-1.2.1-bin.tar.gz
    解压:tar -zxvf hadoop-1.2.1-bin.tar.gz
    ls 出现解压后的 hadoop-1.2.1


    三、修改hadoop-1.2.1/conf/下四个配置文件
    root@203-63:/opt# cd hadoop-1.2.1
    root@203-63:/opt/hadoop-1.2.1# ls

    root@203-63:/opt/hadoop-1.2.1# cd conf
    root@203-63:/opt/hadoop-1.2.1/conf# ls

    root@203-63:/opt/hadoop-1.2.1/conf# vim hadoop-env.sh
    export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64

    root@203-63:/opt/hadoop-1.2.1/conf# vim mapred-site.xml
    <configuration>
    <property>
    <name>mapred.job.tracker</name>
    <value>imooc:9001</value>
    </property>
    </configuration>

    root@203-63:/opt/hadoop-1.2.1/conf# vim core-site.xml
    <configuration>
    <property>
    <name>hedoop.tmp.dir</name> 临时工作目录
    <value>/hadoop</value>
    </property>

    <property>
    <name>dfs.name.dir</name> 元数据目录
    <value>/hadoop/name</value>

    </property>

     

    <property>
    <name>fs.default.name</name> 
    <value>hdfs://imooc:9000</value>
    </property>
    </configuration>

    root@203-63:/opt/hadoop-1.2.1/conf# vim hdfs-site.xml
    <configuration>
    <property>
    <name>dfs.data.dir</name> 文件块的存放目录
    <value>/hadoop/data</value>
    </property>
    </configuration>

    root@203-63:/opt/hadoop-1.2.1/conf# vim /etc/profile
    export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
    export JRE_HOME=$JAVA_HOME/jre
    export HADOOP_HOME=/opt/hadoop-1.2.1
    export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
    export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$PATH

    root@203-63:/opt/hadoop-1.2.1/conf# source /etc/profile

     

    四、检测是否安装成功

    root@203-63:/opt/hadoop-1.2.1/conf# hadoop
    root@203-63:/opt/hadoop-1.2.1/conf# cd ..
    root@203-63:/opt/hadoop-1.2.1# cd bin/
    root@203-63:/opt/hadoop-1.2.1/bin# ls
    root@203-63:/opt/hadoop-1.2.1/bin# hadoop namenode -format 格式化
    root@203-63:/opt/hadoop-1.2.1/bin# start-all.sh
    root@203-63:/opt/hadoop-1.2.1/bin# jps 查看Hadoop是否正常运行

  • 相关阅读:
    PostgreSQL 遇到 column "value" does not exist
    FlowPortal BPM官网改版了,推出20个流程免费基础版
    C#代码规范化(代码风格化)的几个函数
    批量更新带有命名空间的XML文件的多个节点值
    旺财C# .NET代码生成器之DTcms4/5代码批量生成功能
    C# Webform中读取Windows AD/LDAP域用户清单
    在吉日嘎拉DotNet.WebForm中使用FluentScheduler调度任务
    修复一个吉日嘎拉MSSQL数据库版中的分页存储过程bug
    基于吉日嘎拉的OA协同办公模块重写
    基于吉日嘎拉的通用权限管理WebForm版扩展:字典选项管理和缓存管理
  • 原文地址:https://www.cnblogs.com/theBoyisNone/p/5660989.html
Copyright © 2011-2022 走看看