zoukankan      html  css  js  c++  java
  • 安装Hadoop

    一、安装Linux,MySql

      (一)安装前准备

        1.安装Linux前需要安装 Oracle VM VirtualBox, 下载 https://www.virtualbox.org/wiki/Downloads  。

        2.安装成功后,打开VirtualBox。

      (二)安装Linux

        1.新建虚拟机,为虚拟机命名为Ubuntu,类型为Linux,版本为Ubuntu (64位)。

        2.分配虚拟机内存大小为1024MB。

     

        3.创建虚拟硬盘,步骤如下:

          (1)选择 现在创建虚拟硬盘(C):

      

          (2)选择 VDI (VirtualBox 磁盘映像):

           

          (3)选择 动态分配:

             

          (4)位置默认为 Ubuntu,大小为 20GB:

            

        4.选择镜像文件

          下载 01 ubuntukylin-16.04-desktop-amd64.isohttps://pan.baidu.com/s/1WtFnpezV2oCel3wZHitQUA,7eti

          (1)选择 存储:

       

          (2)选择 没有光盘—>第二IDE控制器主通道—>选择一个虚拟光盘文件,即 01 ubuntukylin-16.04-desktop-amd64.iso  镜像文件

           (3)启动

          

          (4)安装Ubuntu

     

     

          (5)设置登陆时的用户名和密码:

          (6)不要点击跳过

           (7)登陆

          (8)安装增强功能

      (三)安装MySql

          1.更新apt

          2.安装mysql-server

          3.设置MySql用户root的密码,如root

          4.启动MySql服务,需要输入用户登陆密码给予授权

          5.关闭MySql服务,同样需要输入用户登陆密码给予授权

          6.确认是否登陆成功,MySql节点处于LISTEN状态表示启动成功呢

          7.进入MySql shell界面,需要输入MySql登陆密码root

          8.显示数据库

          9.显示数据库中的表

          10.编辑配置文件防止导入时中文乱码,配置文件内容添加 character_set_server=utf8

          11.重启MySql服务

          12.查看修改结果

    二、windows 与 虚拟机互传文件

          参考网址:https://www.cnblogs.com/dong-blog/p/7207831.html

       (一)在windows本机新建一个共享文件夹并命名为 s,这是一个用于与Ubuntu交互的文件夹

       (二)在Ubuntu中,点击左上角的设备,点击共享文件夹,选择添加共享文件夹,选择其他,选择在windows本机创建的共享文件夹 s,选择固定分配(一定不要选择自动挂载)

       (三)在Ubuntu中,打开终端,创建 share 作为文件共享文件夹

         (四)将windows本机的 s 文件挂载到Ubuntu的 /mnt/share 挂载点

         (五)在windows把需要的文件放进 s 文件夹里,到 Ubuntu 查看共享文件是否共享成功

          (六)在共享目录下使用命令:vi /etc/fstab,在文本中添加一行命令:s /mnt/share vboxsf rw,gid=110,uid=110,auto 0 0,设置成自动挂载,确保重启虚拟机后系统共享仍在

          (七)编辑文本,然后保存退出

    三、安装Hadoop

      (一)创建Hadoop用户

        1.创建hadoo用户

        2.为Hadoop用户设置密码

        3.为Hadoop用户添加管理员权限

        4.登陆Hadoop用户

      (二)实现无密码登录

        1.打开终端,使用命令:sudo apt-get update 更新apt,不更新apt可能某些软件安装不了

        2.集群、单节点模式都需要用到SSH登陆(类似于远程登陆),Ubuntu默认安装了SSH client,另外还需要安装SSH server

        3.安装SSH server 后,可使用ssh localhost命令登录,exit命令退出

        4.使用命令cd ~/.ssh/,若没有该目录,请先执行一次 ssh localhost 命令,然后exit

        5.利用 ssh-keygen 生成秘钥,并将秘钥加入授权

        6.再用ssh localhost 命令,就可以实现无密登陆了:

        7.使用 ps -e |grep ssh 查看是否安装成功:

       (三)配置java环境

        1.安装Java环境(需要联网)

        2.使用命令 gedit  ~/.bashrc 配置环境变量文件.bashrc

        3.配置Java的环境变量,在文件最前面或最后面添加如下一行(等号前后不能有空格),然后保存退出

         4.使用 source ~/.bashrc 命令使环境变量生效:

         5.使用一下命令检查是否配置是否正确:

      (四)安装Hadoop

        下载 hadoop-2.7.1.tar 压缩文件:https://pan.baidu.com/s/1gRhbNRwOoOtHFHg5YiHQPg  fg8w

        1.将 hadoop-2.7.1.tar 压缩文件解压并重命名为hadoop,然后放到windows的 s 共享文件中,在Ubuntu的shell中使用命令 sudo cp /mnt/share/hadoop /usr/local 将hadoop文件复制到 /usr/local 目录下

        2.查看文件是否复制成功

        3.修改文件权限

        4.查看修改结果

        5.检查Hadoop是否可用

      (五)运行Hadoop单机模式的例子

        1.创建输入文件

        2.将配置文件作为输入文件

        3.运行grep例子

         4.查看实例运行结果

         5.Hadoop默认不会覆盖结果文件,再次运行上面实例会提示错误,需要现将 ./output 删除

      (六)Hadoop伪分布式配置

        下载Hadoop伪分布式配置文件的主要内容:https://pan.baidu.com/s/1YB3fjT4XZbhbjHWUzm0rsw ,u3mz

        1.Hadoop配置文件位于 /usr/local/hadoop/etc/hadoop/ 中,伪分布式需要修改配置文件有 core-site.xml 和 hdfs-site.xml 。

          (1)修改配置文件 core-site.xml :

          (2)修改配置文件 hdfs-site.xml :

        2.文件配置完成后,执行NameNode格式化

        3.成功会有以下提示

         4.开启NameNode和DataNode的守护进程

        5.若出现SSH提示,输入yes即可

        6.通过jps命令来判断是否启动成功(若成功启动则会列出如下进程: “NameNode”、”DataNode” 和 “SecondaryNameNode”,如果 SecondaryNameNode 没有启动,请运行 sbin/stop-dfs.sh 关闭进程,然后再次尝试启动尝试。如果没有 NameNode 或 DataNode ,那就是配置不成功,请仔细检查之前步骤,或通过查看启动日志排查原因。)。如果DataNode无法启动,先删除hadoop.tmp.dir(路径为 /usr/local/hadoop/tmp目录, 再执行hadoop namenode -format

         7.运行Hadoop伪分布式实例

        8.查看位于HDFS中的输出结果

        9.将结果取回本地

        10.关闭Hadoop

         11.再次启动Hadoop时,无需再对NameNode进行初始化,只要运行 ./sbin/start-dfs.sh 开启 NameNode 和 DataNode 守护进程即可。

      

  • 相关阅读:
    HGOI20180822 五校联考卷
    HGOI20180817 (NOIP模拟Day1 task)
    HGOI2010816 (NOIP 提高组模拟赛 day1)
    HGOI20180815 (NOIP 提高组模拟赛 day2)
    HGOI20180814 (NOIP 模拟Day1)
    HGOI20180813 (NOIP2018 提高组 Day2 模拟试题)
    小工具
    HGOI20180812 (NOIP2018 提高组 Day1 模拟试题)
    浅谈高斯消元
    浅谈线性基
  • 原文地址:https://www.cnblogs.com/trojans/p/10869288.html
Copyright © 2011-2022 走看看