zoukankan      html  css  js  c++  java
  • hadoop学习第二天之伪分布模式安装(下)

    继续伪分布安装

    7.   安装JDK

    使用winscp将hadoop和jdk复制到linux目录下

    a)     打开Winscp输入虚拟机的ip,用户,密码,保存密码后点击登录

    左边windows,右边linux。在左边找到要复制的文件(hadoop1.1.2.tar.gz,JDK-xx-xx.bin),直接拖到linux系统下的/usr下的local中.

    b)     解压hadoop-1.1.2.tar.gz

    #tar  –xzvf   hadoop-1.1.2.tar.gz

    c)      在linux中二进制文件一般是以bin结尾,但仍然需要执行权限才能执行

    #chmod  755  jdk-6u24-linux-i586.bin

    解压jdk

    #./ jdk-6u24-linux-i586.bin

    d)     配置环境变量才能使得jdk生效,

    #vim  /etc/profile

    修改前先备份一份

    #cp /etc/profile /etc/profile.bak

    在开头的空白行添加

    export JAVA_HOME=/usr/local/jdk

    export PATH=$JAVA_HOME/bin:$PATH

                 


    就类似于windows下的jdk配置环境变 量

    e)     重命名hadoop和jdk的文件夹,使得容易使用

    #mv hadoop-1.1.2.tar.gz hadoop

    #mv jdk-6u24-linux-i586.bin  jdk

    f)       使得环境变量生效

    #source  /etc/profile

    g)     验证java版本

    #java  -version

    8.   安装hadoop

    a)   因为在在第七步已经解压并且重命名了hadoop,直接切换到hadoop目录

    bin下存放的是hadoop的可执行文件

    conf下放的是配置文件

    lib目录下放的是hadoop依赖的jar包

    src目录是存放hadoop源代码的位置

    docs存放的是hadoop的文档

    b)   为了执行hadoop命令方便,将hadoop的bin目录添加到环境变量文件中

    #vim /etc/profile

    exportHADOOP_HOME=/usr/local/hadoop

    export  PATH=$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH

     

    c)    使环境变量生效

    #source  /etc/profile

    d)   修改hadoop的配置文件

    进入conf目录

    hadoop#cd  conf

    主要修改的配置文件有四个

            hadoop-env.sh core-site.xmlmapred-site.xmlhdfs-site.xml

       hadoop-env.sh中将第九行的#去掉,成为 #export JAVA_HOME=/usr/loal/jdk/   修改core-site.xml配置文件内容如下,hadoop1是我设置的主机名


       修改hdfs-site.xml配置文件内容如下

     

    修改mapred-site.xml配置文件内容如下:

    hadoop1修改为自己的主机名

    e)    启动hadoop前的文件系统格式化

    # hadoop  namenode  -format

    f)     启动hadoop

    #start-all.sh  启动与hadoop有关的所有进程

    g)    查看hadoop是否正常启动,使用jps命令可以查看java进程

    如何看到这五个java进程代表hadoop启动成功

    JobTracker、TaskTracker、DataNode、SecondaryNameNode、NameNode

    启动时最有可能造成NameNode启动不成功的可能原因

    (1).  没有格式化

    (2). 环境变量设置错误

    (3).ip和hostname绑定失败

    h)   验证hadoop是否正在运行

    浏览器地址栏中:http://hadoop1:50070  (hadoop1需要在windows或linux的host文件中绑定)显示正常网页表示NameNode正在运行

    http://hadoop1:50030 的链接,显示正常表示mapreduce正在运行

  • 相关阅读:
    mysql索引
    springboot mybatis 后台框架平台 shiro 权限 集成代码生成器
    java 企业网站源码模版 有前后台 springmvc SSM 生成静态化
    java springMVC SSM 操作日志 4级别联动 文件管理 头像编辑 shiro redis
    activiti工作流的web流程设计器整合视频教程 SSM和独立部署
    .Net Core中的ObjectPool
    文件操作、流相关类梳理
    .Net Core中的配置文件源码解析
    .Net Core中依赖注入服务使用总结
    消息中间件RabbitMQ(一)
  • 原文地址:https://www.cnblogs.com/JZZ1026/p/4417329.html
Copyright © 2011-2022 走看看