安装Hadoop

本次作业要求来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3223

1.安装Linux，MySql

2.windows 与 虚拟机互传文件

3.安装Hadoop

还不能从windows复制文件的，可在虚拟机里用浏览器下载安装文件，课件：

提取文件：hadoop-2.7.1.tar.gz

链接: https://pan.baidu.com/s/1HIVd9JCZstWm0k7sAbXQCg

提取码: 2thj

Hadoop生态的配置

我的博客https://www.cnblogs.com/MissDu/p/8831525.html

复制配置文件代码。

---

一、安装Linux，MySql

1. 在windows中使用virtualbox安装ubuntu

• 打开virtualbox点击创建按钮创建一个新的虚拟机ubuntu

• 分配对应的内存大小，选择文件存储的位置和容量大小安装系统

• 配置分配好硬盘内存后加载ubuntu镜像进入安装界面设置用户为lqs，完成安装

完成安装后修改系统配置把用户分进用户组升级成root权限。

2.安装关系型数据MYSQL

• 在shell执行sudo apt-get update与sudo install  mysql命令，执行过程中设置数据库密码
  

  

• 安装mysql数据库结果如下：

• 安装完后下载vim，用sudo vim /etc/mysql/mysql.conf.d/mysqld.cnf命令修改mysql配置文件，添加charater_set_server=utf解决中文编码问题，修改结果如下

、

二、windows 与 虚拟机互传文件

1. 安装系统增强工具
2. 安装完后在virtualbox配置共享文件夹

选择自动挂载与固定分配，然后用命令把用户分进sf_vbshare组,把hadoop解压进共享文件夹得到如下结果：

 

三、安装Hadoop

1. 新建用户hadoop并且设置密码，然后分配进sudo权限组

 

 

重启后，在登录界面显示hadoop用户，新建用户成功：

、

2.为了方便，配置SSH无密码登陆,配置完成后输入ps -e | grep ssh 来查看是否安装成功

如图安装成功

3.安装java并且配置环境变量

输入sudo apt-get install命令进行安装java

随后配置环境变量,在bashrc文件头添加一行export=XX代码，source配置文件后运行查看JAVA_HOME与java版本是否安装成功

显示成功安装了java

4.安装单机版hadoop并尝试运行单机版hadoop实例

把共享文件夹的hadoop安装包复制到/usr/local目录下，检查hadoop是否可用

然后运行单机版实例

5.hadoop伪分布式配置

修改配置文件core-site.xml

修改配置文件hdfs-site.xml

文件配置完成后执行namenode的格式化

然后开启守护进程

输入jps命令查看是否正确运行进程

确定正确运行之后运行伪分布式实例

 

已完成hadoop单机版与伪分布式的安装。