大数据学习（2）Ubuntu下Hadoop安装

环境:

Ubantu 20

 Hadoop 3.1.4

JDK 1.8

Mysql

1.安装Mysql：

1.1.通过apt 安装MySQL服务

#命令1 更新源
sudo adp-get update
#命令2 安装mysql mysql 服务
sudo apt-get install mysql-server

 1.2 初始化配置

sudo mysql_secure_installation

配置如下：

#1
VALIDATE PASSWORD PLUGIN can be used to test passwords...
Press y|Y for Yes, any other key for No: N (选择N ,不会进行密码的强校验)

#2
Please set the password for root here...
New password: (输入密码)
Re-enter new password: (重复输入)

#3
By default, a MySQL installation has an anonymous user,
allowing anyone to log into MySQL without having to have
a user account created for them...
Remove anonymous users? (Press y|Y for Yes, any other key for No) : N (选择N，不删除匿名用户)

#4
Normally, root should only be allowed to connect from
'localhost'. This ensures that someone cannot guess at
the root password from the network...
Disallow root login remotely? (Press y|Y for Yes, any other key for No) : N (选择N，允许root远程连接)

#5
By default, MySQL comes with a database named 'test' that
anyone can access...
Remove test database and access to it? (Press y|Y for Yes, any other key for No) : N (选择N，不删除test数据库)

#6
Reloading the privilege tables will ensure that all changes
made so far will take effect immediately.
Reload privilege tables now? (Press y|Y for Yes, any other key for No) : Y (选择Y，修改权限立即生效)

1.2 检查MySQL服务状态

systemctl status mysql.service

 1.3配置远程访问

在Ubuntu下Mysql缺省是只允许本地访问，使用连接工具是连不上的

如果需要其他机器能够访问的话， 需要进行配置;

sudo vi /etc/mysql/mysql.conf.d/mysqld.cnf #找到 bind-address 修改值为 0.0.0.0(如果需要远程访问)
sudo /etc/init.d/mysql restart #重启mysql

输入用户密码

sudo mysql -uroot -p#运行Mysql

#切换数据库
mysql>use mysql;
#查询用户表命令：
mysql>select User,authentication_string,Host from user;
#查看状态
select host,user,plugin from user;

 2.安装JDK及配置环境变量

2.1从官网下载或者下面网盘下载，使用的是JDK1.8

官方：

https://www.oracle.com/java/technologies/javase-downloads.html

网盘：

https://pan.baidu.com/s/1Csb3WGDgp3f3aR9_16IBgw     

9jln

2.2 把JDK文件上传到Ubuntu，然后解压缩：

sudo tar -zxvf jdk-8u40-linux-x64.tar.gz -C /usr/lib/jdk  # 把jdkjdk文件解压到/usr/lib/jdk 目录下

2.3 配置环境变量：

sudo vim ~/.bashrc #如果没有安装vim 可以根据提示apt安装 或者使用 vi

在文件末尾追加：

#set oracle jdk environment
export JAVA_HOME=/usr/lib/jdk  ## 这里要注意目录要换成自己解压的jdk 目录
export JRE_HOME=${JAVA_HOME}/jre  
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib  
export PATH=${JAVA_HOME}/bin:$PATH 

2.4 使环境变量马上生效:

source ~/.bashrc

2.5 查看是否安装成功：Java  或者Java -version,有时候不生效可以重启电脑即可；

java -version

3.配置Hadoop

3.1 下载Hadoop

方法一：

可以官方下载，然后进行文件上传，把文件进行解压安装；

https://archive.apache.org/dist/hadoop/common/

sudo tar -zxvf  hadoop-3.2.1.tar.gz -C /usr/local    #解压到/usr/local目录下
cd /usr/local
#sudo mv  hadoop-3.2.1    hadoop                      #重命名为hadoop，可改可不改，如果修改下边的名字也要对应
sudo chown -R hadoop ./hadoop                         #修改文件权限

方法二：

通过镜像下载，需要下载不同版本，把版本号修改为所需版本好即可：

wget http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.1.4/hadoop-3.1.4.tar.gz

3.2解压安装到/usr/local目录下：

sudo tar -zxvf hadoop-3.1.4.tar.gz -C /usr/local

2 cd /usr/local
3 #sudo mv  hadoop-3.1.4    hadoop                      #重命名为hadoop，可改可不改，如果修改下边的名字也要对应
4 sudo chown -R hadoop ./hadoop                         #修改文件权限

3.3配置Hadoop环境变，还是在~/.bashrc文件 添加下面代码

# hadoop config
export HADOOP_HOME=/usr/local/hadoop
export CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath):$CLASSPATH
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

执行更新配置

source ~/.bashrc

运行hadoop version 检查一下，没有生效可以尝试重启电脑

参考文献：

https://blog.csdn.net/weixin_38924500/article/details/106261971