zoukankan      html  css  js  c++  java
  • 安装Hadoop

    作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3223

    作业要求:

    1.安装Linux,MySql

    • Linux安装过程略;
    • Mysql已安装,运行过程如图:

    2.安装Hadoop

    还不能从windows复制文件的,可在虚拟机里用浏览器下载安装文件,课件:

    提取文件:hadoop-2.7.1.tar.gz

    链接: https://pan.baidu.com/s/1HIVd9JCZstWm0k7sAbXQCg

    提取码: 2thj

    • (1)创建的hadoop用户进行登陆

                 

    • (2)更新apt后,安装SSH、配置SSH无密码登陆

                 安装SSH server,使用ssh localhost命令登录本机并查看是否安装成功:

                 

                 配置无密码登陆,生成密钥并将密钥加入到授权中 :

                     

    • (3)安装JAVA环境

                 安装JDK:

                 

                设置变量使其生效,检验变量值:

               

    • (4)Hadoop单机配置(grep例子)

                 运行grep例子,筛选符合正值表达式正值表达式dfs[a-z.]+的单词并统计次数:

               

               程序运行成功,执行结果符合正则的单词fsadmin出现1次,删除 ./output:

                

    • (5)Hadoop伪分布式配置

                 配置core-site.xml文件:

                

                配置hdfs-site.xml文件:

                

                执行NameNode格式化:

                

                开启NameNode和DataNode守护进程: 

               

               

    • (6)伪分布式运行MapReduce作业

                 创建目录 input,将 /usr/local/hadoop/etc/hadoop 复制到分布式文件系统中的 /user/hadoop/input 中,查看文件列表并伪分布式运行 MapReduce 作业 :         

                 

                 

                运行上述命令后出现错误,主要原因是swap交换空间内存不够分配,因此运行失败,此过程跳过。

                完成后关闭Hadoop:

                

  • 相关阅读:
    项目相关的风险要素及分类
    IT从业人员必看的10个论坛(转)
    Android Input设备debug技巧
    Android中如何判断是否联网
    paip.tree 生成目录树到txt后的折叠查看
    hdu 4737 A Bit Fun
    FLASH ROM与EEPROM的区别
    Robot Framework学习路线
    Distinguishing Between Embedded and General-Purpose Computing
    服务的生命周期
  • 原文地址:https://www.cnblogs.com/Aliuyu/p/10858200.html
Copyright © 2011-2022 走看看