ubuntu 16.04安装ceph集群（双节点）

Ceph是一个分布式存储，可以提供对象存储、块存储和文件存储，其中对象存储和块存储可以很好地和各大云平台集成。一个Ceph集群中有Monitor节点、MDS节点（可选，用于文件存储）、至少两个OSD守护进程。
Ceph OSD：OSD守护进程，用于存储数据、处理数据拷贝、恢复、回滚、均衡，并通过心跳程序向Monitor提供部分监控信息。一个Ceph集群中至少需要两个OSD守护进程。
Monitor：维护集群的状态映射信息，包括monitor、OSD、Placement Group（PG）。还维护了Monitor、OSD和PG的状态改变历史信息。
MDS：存储Ceph文件系统的元数据。

一、准备两台机器

10.111.131.125 ceph01

10.111.131.126 ceph02

ceph01将作为admin、osd1

ceph02将作为osd2、mon2

二、设置两台主机ssh免密码访问

1、在ceph01电脑上执行

ssh-keygen        //一直按回车即可,产生公钥私钥对

2、将ceph01产生的公钥复制到ceph01和ceph02上，这样可以使用ceph01无密码登录ceph01和ceph02

ssh-copy-id -i /root/.ssh/id_rsa.pub ceph01
ssh-copy-id -i /root/.ssh/id_rsa.pub ceph02

测试：

ssh ceph01

ssh ceph02

发现登录时不用输入密码就算设置成功。

三、在ceph01上安装ceph-deploy


apt-get install ceph-deploy

四、在ceph01上创建集群目录

mkdir my-cluster
cd my-cluster

五、创建集群，会在当前目录下看到ceph.conf ceph.log ceph.mon.keyring三个文件

在ceph01上执行：

ceph-deploy new ceph01

执行以上命令后，ceph01相当于监控节点。如果要把两台都作为监控节点则：

ceph-deploy new ceph01 ceph02

vim ceph.conf并将以下配置追加到后面

osd pool default size = 2

六、分别在ceph01和ceph02上安装ceph

在ceph01上执行以下命令：

ceph-deploy install ceph01 ceph02

执行以上命令，相当于在两台电脑上都运行了：apt-get install -y ceph，如果上面的命令失败，也可以用apt-get去每台机子上安装ceph

 

七、初始化集群监控

在ceph01上执行：

ceph-deploy mon create-initial

八、收集秘钥，目录下会多出ceph.bootstrap-mds.keyring  ceph.client.admin.keyring  ceph.client.admin.keyring这几个文件

ceph-deploy gatherkeys ceph01

九、准备2块硬盘并准备osd

分别在ceph01和ceph02上执行：

mkfs.xfs /dev/sdb1

在ceph01上执行：

ceph-deploy osd prepare  ceph01:/dev/sdb1 ceph02:/dev/sdb1  

在ceph01上执行：

ceph-deploy osd activate  ceph01:/dev/sdb1 ceph02:/dev/sdb1

上面两条命令执行后，/dev/sdb1会mount到/var/lib/ceph/osd/ceph-0和/var/lib/ceph/osd/ceph-1上，当重启电脑后该挂载会消失，最好开机挂载，解决办法多样，

本人的方法是在：/etc/rc.loac里面加入：

节点1：

mount /dev/sdb1 /var/lib/ceph/osd/ceph-0

节点2：

mount /dev/sdb1 /var/lib/ceph/osd/ceph-0

十、将配置文件和管理密钥复制到管理节点和Ceph节点，下次再使用ceph命令界面时就无需指定集群监视器地址，执行命令时也无需每次都指定ceph.client.admin.keyring

在ceph01节点上执行：

ceph-deploy --overwrite-conf admin ceph01 ceph02

执行以上命令之后,ceph02这台机器的/etc/ceph目录下也会多出ceph.client.admin.keyring这个文件。

十一、在ceph01上建一个元数据服务器(可选)

大多数情况下都是使用ceph的块设备，一般来说都不用建立mds，只有用到ceph的文件存储的时候才用到

首先执行：

mkdir -p /var/lib/ceph/mds/ceph-ceph01
ceph-deploy mds create ceph01

十二、ceph -s  看到ok表示集群状态正常。

 十三、重启集群

service ceph restart -a

如果上面的命令不起作用则对各个节点服务进行重启

1、重启mon节点，mon节点在ceph01上

/etc/init.d/ceph restart mon.ceph01或

systemctl start ceph-mon@ceph01

2、重启osd0节点，osd0在ceph01上

   /etc/init.d/ceph start osd.0或

   systemctl start ceph-osd@0

3、重启osd1节点，osd1在ceph02上

ssh ceph02

/etc/init.d/ceph start osd.1或

systemctl start ceph-osd@1