腾讯蓝鲸平台部署[5.1.29版本]

环境规划

服务器	用途	说明
172.21.152.107	node1	node1
172.21.152.108	node2	node2
172.21.152.109	node3	node3

配置域名: chenleilei.net

腾讯蓝鲸平台部署

1. 环境准备

#1. 基础优化
cat << EOF >> /etc/security/limits.conf
root soft nofile 102400
root hard nofile 102400
EOF

ulimit -SHn 655360
#报错执行，不报错不执行yum remove mysql-devel -y &&  yum install mysql-devel -y

#2. yum源优化
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.cloud.tencent.com/repo/centos7_base.repo
wget -O /etc/yum.repos.d/epel.repo http://mirrors.cloud.tencent.com/repo/epel-7.repo
yum clean all
echo "* * * * * ntpdate ntp.aliyun.com" >>/var/spool/cron/root 
systemctl restart crond.service

#3. 解析 
cat >/etc/hosts<<eof
::1         localhost   localhost.localdomain   localhost6      localhost6.localdomain6
127.0.0.1   localhost   localhost.localdomain   localhost4      localhost4.localdomain4
139.196.219.132 chenleilei.net
139.196.219.132 docs.chenleilei.net
139.196.219.132 o.chenleilei.net
139.196.219.132 t.chenleilei.net
139.196.219.132 cmdb.chenleilei.net job.chenleilei.net paas.chenleilei.net
eof


[nginx那台服务器作为对外访问，所以 ]
172.21.152.107 nginx,appt,rabbitmq,kafka,zk,es,consul,fta
172.21.152.108 mongodb,appo,docs,kafka,zk,es,mysql,beanstalk,consul
172.21.152.109 paas,cmdb,job,gse,license,kafka,zk,es,redis,consul,influxdb,bkdata

##查看当前安装了哪些
cat /data/bkce/.bk_install.step



###内存不足解决方案：
虚拟内存代替[会拖慢速度]：
dd if=/dev/zero of=/swapfile bs=1M count=10240
mkswap /swapfile
swapon /swapfile
echo 80 > /proc/sys/vm/swappiness
free -m

安装包下载

mkdir /data/src -p
wget https://bkopen-1252002024.file.myqcloud.com/ce/38f7796/bkce_src-5.1.29.tar.gz
tar -xvf /data/bkce_src-5.1.29.tar.gz -C /data/

证书配置，环境检查

1. 先获取mac地址[ gse 服务器查看mac]  gse服务器 gse服务器 gse服务器 gse服务器
cat /sys/class/net/eth0/address
52:54:00:26:13:ce  <---- mac地址，注意，这个mac地址如果在集群部署，就必须是gse服务器所在的mac地址[巨坑]

2. 去腾讯云粘贴mac地址 生成并下载证书
https://bk.tencent.com/download_ssl/

3. 解压证书
把下载好的证书文件上传到 /data 目录
mkdir -p /data/src/cert/
tar -xvf /data/ssl_certificates.tar.gz -C /data/src/cert/

4. 避坑
 #yum remove mysql-devel -y && yum install mysql-devel -y
 
5. 避免http代理环境
# 检查 http_proxy https_proxy 变量是否设置，若为空可以跳过后面的操作。
echo "$http_proxy" "$https_proxy"

6. 去除resolv.conf文件锁
chattr -i /etc/resolv.conf

7. /etc/resolv.conf 文件第一条需要改为 本地
[root@node3 ~]# cat /etc/resolv.conf 
nameserver 127.0.0.1
options timeout:2 attempts:3 rotate single-request-reopen
; generated by /usr/sbin/dhclient-script
nameserver 100.100.2.136
nameserver 100.100.2.138

8. 免密配置
#免密[集群内所有机器需要完成免密配置]：
cd ~
ssh-keygen -f ~/.ssh/id_rsa -N ''
ssh-copy-id -i ~/.ssh/id_rsa.pub root@172.21.152.107
ssh-copy-id -i ~/.ssh/id_rsa.pub root@172.21.152.108
ssh-copy-id -i ~/.ssh/id_rsa.pub root@172.21.152.109

9. 域名修改
[root@node1 ~]# cd /data/install/
[root@node1 install]# vim globals.env 
export BK_DOMAIN="chenleilei.net"          # 蓝鲸根域名(不含主机名)
export PAAS_FQDN="paas.$BK_DOMAIN"       # PAAS 完整域名
export CMDB_FQDN="cmdb.$BK_DOMAIN"       # CMDB 完整域名
export JOB_FQDN="job.$BK_DOMAIN"         # JOB 完整域名

# 产品信息含义
#   PAAS    集成平台
#   CMDB    配置平台
#   JOB     作业平台
#   GSE     管控平台
#   BKDATA  数据平台


修改蓝鲸配置参数:
vim /data/install/globals.env
修改  export BK_DOMAIN="bk.com"
改为  export BK_DOMAIN="chenleilei.net"

修改 [PAAS_ADMIN_PASS]对应密码为  admin
export PAAS_ADMIN_PASS='admin'

10. 拷贝部署文件
cp /data/install/install.config.3ip.sample /data/install/install.config
改为：
[bkce-basic]
172.21.152.107 nginx,rabbitmq,kafka(config),zk(config),es,appt,fta,consul,bkdata(databus)
172.21.152.108 mongodb,appo,kafka(config),zk(config),es,mysql,consul,bkdata(dataapi),beanstalk
172.21.152.109 paas,cmdb,job,gse,license,kafka(config),zk(config),es,redis,influxdb,consul,bkdata(monitor)




10. 依赖源修改
vim /data/src/.pip/pip.conf
修改为以下：
[global]
index-url = http://mirrors.cloud.tencent.com/pypi/simple
trusted-host = mirrors.cloud.tencent.com

11. 检查环境
cd /data/install
bash precheck.sh
[root@node1 install]# bash precheck.sh     # 注意mac地址问题，mac地址必须是gse服务器，cat /data/install/install.config 查看服务器规划
<<check_ssh_nopass>> has been checked successfully... SKIP
<<check_password>> has been checked successfully... SKIP
start <<check_cert_mac>> ... [OK]
start <<check_get_lan_ip>> ... [OK]
start <<check_install_config>> ... [OK]
start <<check_selinux>> ... [OK]
start <<check_umask>> ... [OK]
start <<check_rabbitmq_version>> ... [OK]
start <<check_http_proxy>> ... [OK]
start <<check_open_files_limit>> ... [OK]
start <<check_domain>> ... [OK]
start <<check_rsync>> ... [OK]
start <<check_service_dir>> ... [OK]
start <<check_networkmanager>> ... [OK]
start <<check_firewalld>> ... [OK]

安装蓝鲸

cd /data/install


#安装pass平台
[root@node1 install]# ./bk_install paas


# 安装配置平台及其依赖服务，该步骤完成后，可以打开配置平台，看到蓝鲸业务及示例业务。
./bk_install cmdb

## 部署正式环境及测试环境
# 该步骤完成后可以在开发者中心的服务器信息和第三方服务信息中看到已经成功激活的服务器
# 同时也可以进行 SaaS 应用(除蓝鲸监控和日志检索)的上传部署
./bk_install app_mgr

# 该步骤完成后，可以打开作业平台，并执行作业。同时在配置平台中可以看到蓝鲸的模块下加入了主机。
# 安装作业平台及其依赖组件，并在安装蓝鲸的服务器上装好 gse_agent 供验证。
./bk_install job


# 安装蓝鲸数据平台基础模块及其依赖服务。安装该模块后，可以开始安装使用 SaaS 应用: 蓝鲸监控和日志检索
    ./bk_install bkdata

# 安装故障自愈的后台模块及依赖其服务
# 安装该模块后，可以开始安装使用 SaaS 应用: 故障自愈
./bk_install fta

# 重装 gse_agent 并注册正确的集群模块到配置平台
# 执行完该操作后，可以在配置平台中看到主机按照 install.config 中的配置分布到对应拓扑下
./bk_install gse_agent

#部署官方 SaaS 到正式环境(通过命令行从 /data/src/official_saas/ 目录自动部署 SaaS )
# 执行完该操作后，可以在蓝鲸工作台看到并使用所有官方 SaaS
./bkcec install saas-o



如果没有问题 这就部署完毕了可以打开页面查看了
打开页面检查：
http://cmdb.chenleilei.net:10080/#/index

域名修改[端口修改]

在阿里云部署过程中是不允许未备案域名进行80访问，可以通过修改端口来实现
修改默认端口：
vim /data/install/ports.env
找到 export DEFAULT_HTTP_PORT=80
改为 export DEFAULT_HTTP_PORT=10080

#同步配置
 ./bkcec sync common


#执行nginx的安装配置
./bkcec install nginx 1


#重启nginx
./bkcec stop nginx
./bkcec start nginx


#检查端口：
[root@node1 install]# netstat -lntup|grep nginx
tcp        0      0 0.0.0.0:10080           0.0.0.0:*               LISTEN      20731/nginx: master 

问题集合

1. 公网中无法访问，需要修改端口
  1.1 修改默认端口：
  vim /data/install/ports.env
  找到 export DEFAULT_HTTP_PORT=80
  改为 export DEFAULT_HTTP_PORT=10080
  1.2 同步配置
   ./bkcec sync common
   #执行nginx的安装配置
  ./bkcec install nginx 1
  1.3 重启nginx
  ./bkcec stop nginx
  ./bkcec start nginx

2. ./bk_install cmdb parse cc response error 报错：
[172.21.152.109]20201027-155659 81   parse cc response error
[172.21.152.109]20201027-155659 153   migrate failed for gse(server)
[172.21.152.107]20201027-155659 179   Abort
解决办法：
  1.1 查看组件是否正常：
  ./bkcec status cmdb

 1.2 重新初始化cmdb
  ./bkcec initdata cmdb

预览：

虚拟机部署内存不足解决方案

虚拟内存代替[会拖慢速度]：
dd if=/dev/zero of=/swapfile bs=1M count=8192
mkswap /swapfile
swapon /swapfile
echo 80 > /proc/sys/vm/swappiness
free -m

添加节点主机监控

确保已经做了ssh互信,否则无法添加