CentOS6安装各种大数据软件 第三章：Linux基础软件的安装

相关文章链接

CentOS6安装各种大数据软件 第一章：各个软件版本介绍

CentOS6安装各种大数据软件 第二章：Linux各个软件启动命令

CentOS6安装各种大数据软件 第三章：Linux基础软件的安装

CentOS6安装各种大数据软件 第四章：Hadoop分布式集群配置

CentOS6安装各种大数据软件 第五章：Kafka集群的配置

CentOS6安装各种大数据软件 第六章：HBase分布式集群的配置

CentOS6安装各种大数据软件 第七章：Flume安装与配置

CentOS6安装各种大数据软件 第八章：Hive安装和配置

CentOS6安装各种大数据软件 第九章：Hue大数据可视化工具安装和配置

CentOS6安装各种大数据软件 第十章：Spark集群安装和部署

1. 配置Linux的网络环境

1.1. 安装Linux系统时指定具体IP地址

步骤一：在如下位置点击按钮进入网络设置界面

步骤二：双击网卡打开网卡的具体信息：

步骤三：具体设置网络信息：

步骤四：设置好时区和root用户密码，并将更改写入到磁盘中，点击next；

步骤五：选择Basic Server基础服务安装，点击next进行安装；

1.2. 在Linux内部配置IP地址并重启网络服务

修改IP地址：vim /etc/sysconfig/network-scripts/ifcfg-eth0
重启网络服务：systemctl retart network.service 或 service network restart
停止网络服务：systemctl stop network.service
开启网络服务：systemctl start network.service

2. 创建bigData的软件存放目录和安装必备软件

上传下载软件（lrzss）和编辑软件（vim）的安装：
yum install -y lrzsz vim

创建bigData的软件存放目录：
mkdir -p /export/servers
mkdir -p /export/softwares
mkdir -p /export/datas
mkdir -p /export/logs
mkdir -p /export/jars
mkdir -p /export/scripts

3. JDK的安装

#1、卸载原有jdk
rpm -qa|grep java
rpm -e --nodeps tzdata-java-2015e-1.el6.noarch
rpm -e --nodeps java-1.6.0-openjdk-1.6.0.35-1.13.7.1.el6_6.x86_64
rpm -e --nodeps java-1.7.0-openjdk-1.7.0.79-2.5.5.4.el6.x86_64

#2、使用rz上传jdk“参考资料dev-soft jdk-8u65-linux-x64.tar.gz”

#3、解压jdk
tar -zxvf jdk-8u65-linux-x64.tar.gz
rm -rf jdk-8u65-linux-x64.tar.gz
#4、配置java_home
vim /etc/profile

#5、打开以后；使用shift+g，输入o
export JAVA_HOME=/export/servers/jdk1.8.0_65
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

#6、重新加载环境变量的配置文件
source /etc/profile

4. 将国外的yum源切换为国内163的yum源

步骤一：上传国内yum源文件CentOS6-Base-163.repo到Linux上
步骤二：进入/etc/yum.repos.d/目录，将其中的所有文件删除
步骤三：复制CentOS6-Base-163.repo文件到/etc/yum.repos.d/目录下
步骤四：修改/etc/yum.repos.d/目录下的CentOS6-Base-163.repo文件，将所有gpgcheck=1修改为gpgcheck=0
步骤五：配置yum
　　　　#首先清空所有
　　　　yum clean all
　　　　#其次进行缓存
　　　　yum makecache
　　　　#最后安装telnet
　　　　yum install telnet

5. 自定义安装Scala

步骤一：上传Scala的压缩包到Linux上
步骤二：对Scala的压缩包进行解压
　　　　tar -zxf scala-2.11.8.tgz -C /opt/modules/
步骤三：配置环境变量
　　　　vim /etc/profile
　　　　JAVA_HOME=/opt/modules/jdk1.8.0_144
　　　　SCALA_HOME=/opt/modules/scala-2.11.8
　　　　PATH=$JAVA_HOME/bin:$SCALA_HOME/bin:$PATH
　　　　export JAVA_HOME SCALA_HOME PATH
步骤四：刷新资源，使环境变量生效
　　　　source /etc/profile
步骤五：验证是否安装成功
　　　　scala -version

6. 在VMware上对Linux进行克隆

步骤一：在VMware中选择要克隆的机器，右击选择克隆，并选择地址
步骤二：在新的虚拟机中进入设置，并在网络设置中重新生成新的MAC地址
步骤三：启动node-2；并修改其主机名和ip等信息：
　　　　#因为搭建的是basic Server；所以自带了vim；可以在以后的内容中使用了vi的时候都可以使用vim代替。
　　　　#修改主机名；修改原 hostname 为 newname
　　　　vim /etc/sysconfig/network
　　　　#删除文件让其自动生成
　　　　rm -rf /etc/udev/rules.d/70-persistent-net.rules
　　　　#修改mac和ip
　　　　vim /etc/sysconfig/network-scripts/ifcfg-eth0
　　　　#删除上述文件中的HWADDR；（在命令模式的使用使用,dd）
　　　　#修改上述文件中的ip；改为：192.168.12.122
　　　　#保存文件：在命令模式下:wq或者快捷键shift+z+z
　　　　#重启系统
　　　　reboot

7. Linux配置免密登录

#生成一对公钥，私钥
ssh-keygen -t rsa

#复制到其他需要配置免密登录的机器
ssh-copy-id 192.168.12.121

#测试如下命令是否可连接到对应的机器
ssh root@192.168.12.121

#注：需先在/etc/hosts文件下配置对应的host

8. Linux安装MySQL（Linux为CentOS6版本）

8.1. MySQL在线安装

yum install mysql-server

8.2. 启动MySQL服务

service mysqld start

8.3. 查看MySQL服务状态

service mysqld status

8.4. 设置MySQL服务自启动

#开启MySQL自启动
chkconfig mysqld on
#查看开机自启,看到2,3,4,5是on即可
chkconfig --list mysqld

8.5. 设置MySQL密码

/usr/bin/mysqladmin -uroot password 'root'

8.6. 连接MySQL

#回车输入密码即可
mysql -uroot -p

8.7. 开启mysql的远程登陆权限

#在MySQL数据库内部输入如下命令
grant all privileges on *.* to 'root'@'%' identified by 'root';
flush privileges;

9. Linux安装zookeeper

9.1. 安装zookeeper软件

#在node-1,2,3都执行如下命令；可以使用secrueCRT同时执行
mkdir -p /export/data/zkdata

#检测集群时间是否同步
date -s "2018-07-30 14:03:03"

#检测防火墙是否关闭
service iptables stop
chkconfig iptables off

##下载安装包、解压
cd /export/server
tar -zxvf zookeeper-3.4.5.tar.gz
mv zookeeper-3.4.5 zookeeper

##修改Zookeeper配置文件
cd zookeeper/conf
cp zoo_sample.cfg zoo.cfg
vim zoo.cfg
#修改内容：
dataDir=/export/data/zkdata
#添加如下内容
server.1=node-1:2888:3888
server.2=node-2:2888:3888
server.3=node-3:2888:3888

在data文件夹下新建myid文件，myid的文件内容为：
cd /export/data/zkdata
echo 1 > myid

##分发安装包到其他机器
scp -r /export/server/zookeeper root@node-2:/export/server
scp -r /export/server/zookeeper root@node-3:/export/server

##修改其他机器（node-2,node-3）的配置文件
修改myid文件
到node-2上：
cd /export/data/zkdata
echo 2 > myid

到node-3上：
cd /export/data/zkdata
echo 3 > myid


##启动（每台机器）
/export/server/zookeeper/bin/zkServer.sh start

##查看集群状态
jps（查看进程）
#查看集群状态，主从信息
/export/servers/zookeeper/bin/zkServer.sh status

#将启动，停止等命令加入环境变量
export ZK_HOME=/export/servers/zookeeper
export PATH=${ZK_HOME}/bin:$PATH

9.2. 配置Zookeeper的一键启动，并配置到环境变量中

#步骤一：在/export/servers/onekey文件夹下配置slave文件
192.168.12.121
192.168.12.122
192.168.12.123

#步骤二：配置一键启动
vim startzk.sh
#输入如下内容
cat /export/servers/onekey/zk/slave | while read line
do
{
 echo "开始启动 --> "$line
 ssh $line "source /etc/profile;nohup sh ${ZK_HOME}/bin/zkServer.sh start >/dev/null 2>&1 &"
}&
wait
done
echo "★★★启动完成★★★"
#保存退出

#步骤三：配置一键停止
vim stopzk.sh
#输入如下内容
cat /export/servers/onekey/zk/slave | while read line
do
{
 echo "开始停止 --> "$line
 ssh $line "source /etc/profile;nohup sh ${ZK_HOME}/bin/zkServer.sh stop >/dev/null 2>&1 &"
}&
wait
done
echo "★★★停止完成★★★"
#保存退出

#步骤四：将一键启动和停止命令加入环境变量
export ONEKEY=/export
export PATH=${ONEKEY}/onekey:$PATH