CEPH篇 CEPH部署（在线和离线 Centos 7）

引入

　　这篇只记录部署，如果需要概念理解，则前往其他篇章查看。暂时不包含MDS的部署，因为不准备使用文件系统，所以不需要元数据服务器

　　在线部署和离线部署差别只在包的下载，如果在线部署过了，那么资源包可以放入U盘，下次就可以离线部署。

正文

部署准备

关闭防火墙和selinux

systemctl stop firewalld
systemctl disable firewalld

setenforce 0
sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config

修改主机名

各个机器下分别执行如下命令

hostnamectl set-hostname  host145
hostnamectl set-hostname  host146
hostnamectl set-hostname  host147

修改后在每台机器上修改/etc/hosts文件

10.1.12.145  host145
10.1.12.146  host146
10.1.12.147  host147

配置SSH互信

选择一台部署主机，这边选择host146，在root用户下开启SSH互信操作

在部署节点上， 使用这个命令ssh-keygen   一路回车 ，生成公钥。
然后通过命令ssh-copy-id -i  ~/.ssh/id_rsa.pub {hostname} 把公钥复制到部署需要设计的主机上。
Ssh  hostname测试是否成功。

配置yum(分为在线和离线)

在线

#链接阿里云的配置
rm -rf /etc/yum.repo.d/ *.repo

#CentOS 7 源设置   
 wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo

#epel 仓库源
wget -O /etc/yum.repos.d/epel.repo  http://mirrors.aliyun.com/repo/epel-7.repo

编辑 Ceph.repo源：

[ceph-nautilus] 
name=ceph-nautilus
baseurl=http://mirrors.aliyun.com/ceph/rpm-nautilus/el7/x86_64/
enabled=1
gpgcheck=0

[ceph-nautilus-noarch]
name=ceph-nautilus-noarch
baseurl=http://mirrors.aliyun.com/ceph/rpm-nautilus/el7/noarch/
enabled=1
gpgcheck=0 

#生成缓存
 yum  clean all, yum makecache
#生成包
yum install ceph-14.2.2-0.el7   ceph-deploy

离线

#安装 createrepo  rpm包
yum install httpd 
#开启httpd服务:    
systemctl start httpd
#复制所有的ceph和第三方的rpm包到(包已经提前准备好，如果没有包则使用在线部署)
10.1.12.146: /var/www/html/ceph/
#执行命令  
createrepo /var/www/html/ceph/  


#在需要安装的客户端配置 repo 文件 
/etc/yum.repos.d/ceph.repo 
[ceph_local]
name=ceph
baseurl=http://10.1.12.146/ceph/ 
gpgcheck=0


#将此ceph.repo  复制到每个主机  /etc/yum.repo.d/目录中。
scp ceph.repo  root@host145:/etc/yum.repos.d/
scp ceph.repo  root@host147:/etc/yum.repos.d/

NTP安装

#安装
yum install ntp
#执行 最好在局域网内，建立自己的时间同步源。其中ntpdate 是客户端命令， 连接时间同步服务器，修改自己的时间。 一定要同步时间，
ntpdate -s time-b.nist.gov  

修改配置文件

#修改 /etc/ntp.conf文件
#注释下面4行
server 0.centos.pool.ntp.org iburst
server 1.centos.pool.ntp.org iburst
server 2.centos.pool.ntp.org iburst
server 3.centos.pool.ntp.org iburst

服务器节点修改如下

server 127.127.1.0
fudge  127.127.1.0 stratum 10

验证下

ntpq –p –-查看ceph-admin的ntp服务器是否为自身
remote           refid      st t when poll reach   delay  offset  jitter
==========================================================================
*LOCAL(0)        .LOCL.          10 l  28   64  377   0.000    0.000   0.000
这样的输出证明已经配置成功了。

配置其他节点

#其他服务器都连接admin节点，其中段: server 210.72.145.44   iburst
Server 10.1.12.146 -----------–为ceph-admin的IP
fudge  127.127.1.0 stratum 11

重启后检查

systemctl restart ntpd 
systemctl enable ntpd 
#查看是否为ceph-admin
ntpq –p  
#结果如下
remote           refid      st t when poll reach   delay  offset  jitter
===========================================================================
*ceph-admin      LOCAL(0)        11 u  13   64    1   1.236   -0.700   0.000
Remote ：*ceph-admin
Refid  ：LOCAL(0)
如果是其他的，如：refid：init就为配置不成功，按此步骤在其他节点进行配置。

部署CEPH

部署ceph和ceph-deploy　　

在所有上都安装ceph，主节点上额外安装ceph-deploy

#每个主机安装 ceph
yum install ceph 
#Admin节点安装
yum install ceph-deploy

部署监控节点（mon）

添加节点

#在管理节点上
cd /root/ceph
ceph-deploy new host146  host145  host147
  

#修改这个文件，添加：  overwrite_conf = true
 vim  / root/.cephdeploy.conf 

部署mon

mkdir  -p /etc/ceph/  
mkdir /var/lib/ceph 
#ceph用户是ceph的默认用户，不要去新建哦
chown  ceph:ceph -R /var/lib/ceph

#（必须当前目录有ceph.mon.keyring）
ceph-deploy  --overwrite-conf  mon create-initial

重启命令

#host是主机
systemctl   restart/start/stop  ceph-mon@host

部署mgr

ceph-deploy mgr create  host146

ps -ef | grep ceph    查找host
#重启   
systemctl   restart/start/stop  ceph-mgr@host

部署OSD

先要有挂载磁盘，用系统盘也可以，但是并不安全，这里有两个方案

　　1.找几台新机器，OSD挂载的目录反正随便定，新机器上的数据都无所谓

　　2.额外挂载磁盘，可以对挂载磁盘做虚拟化，LVM，可以部署更多OSD

可以执行lsblk命令查看，如果磁盘已经被挂载，则会报错哦

#新版本ceph默认是 bluetore .使用如下命令
ceph-deploy --overwrite-conf   osd create  --data /dev/vdb   $HOSTNAME

#查看 集群硬盘树编号。（部署节点） 需要拷贝配置文件（ceph.conf）到/etc/ceph/!!!否则会连接不到集群
ceph osd tree 
#重启  
systemctl   restart/start/stop  ceph-osd@0, 1, 2,3, 

部署RGW

#单机的只需要在一台服务器上安装， 如果负载均衡，可以安装3台服务器。S
现在安装在146
 yum  install  ceph-radosgw  
#或者  
ceph-deploy install  --rgw   wn

启动

ceph-deploy   --overwrite  rgw create  host173(主机名) 
#查看启动端口为7480

#检查服务是否启动    
ps aux|grep radosgw

#重启   这个id可以通过查看rados进程，查看名称得到，例如rgw.host146
systemctl   restart/start/stop  ceph-radosgw@id 

桶分片

# 如果每个桶中对象数量较少，比如小于10000， 可以不操作此步骤，  大于10万对象，一定要设置下面的参数。
#如果设计方案中，一个桶中存储对象数量大于几千万，需要关闭动态分片， 同时设置最大分片数量。
#在  radosgw 进程所在的服务器。
vi  /etc/ceph.conf  
#桶动态分片默认开启
rgw_dynamic_resharding = false  
#桶中最大分片的数量           ，
rgw_override_bucket_index_max_shards=16   
#重启服务。（rgw）

建立账号（S3）

# system参数是为了使用dashboard，该账号可以再页面上看到数据
radosgw-admin user create --uid testid --display-name 'M. Tester'  --system 
#记住这两个东西
"access_key": 
 "secret_key":

#部署失败返回错误的处理方法：
#只有建立 bucket ,  上传一个对象后， 才能出现  default.rgw.buckets.data池， 然后调整pg num .
#这个时候，解决pg/osd 太少的警报。

#部署时候如果遇到 rgw 失败，现实的日志为：
# 0 ext_mime_map_init failed to open file=/etc/mime.types : (2) No such file or ##directory
#7f709e8c48c0 -1 ERROR: unable to initialize rgw tools
#这是因为没有  /etc/mime.types 
#需要安装
yum install mailcap

#如果启动失败， 有时候需要将 /var/lib/ceph/radosgw   的用于  root 改成   ceph .
chown ceph:ceph –R  *

部署dashboard

yum install ceph-mgr-dashboard
ceph dashboard create-self-signed-cert  
#写上账号和密码
ceph dashboard set-login-credentials  admin admin

打开页面后长这样：

这时候你有可能（就是如此）在object gateway里面看不到bucket内容，需要再添加一个命令：

$ ceph dashboard set-rgw-api-access-key <access_key>
$ ceph dashboard set-rgw-api-secret-key <secret_key>

如果你忘记了你的账户，或者需要新建一个账户：

$ radosgw-admin user create --uid=<user_id> --display-name=<display_name> 
    --system

如果是忘了两个key

$ radosgw-admin user info --uid=<user_id>

这样就可以啦，完