ceph 块存储

次文档是和上一篇ceph-deploy部署ceph文档链接写的，环境都是一个环境

1       Ceph 客户端配置

1.1   安装ceph包

1.1.1  检查内核是否支撑RBC(10.0.23.130 用于安装客户端)

 

1.1.2  安装ceph客户端

Cat /etc/yum.repos.d/ceph.repo

[ceph]

name=ceph

baseurl=https://mirrors.aliyun.com/ceph/rpm-luminous/el7/x86_64/

gpgcheck=0

priority=0

[ceph-noarch]

name=cephnoarch

baseurl=https://mirrors.aliyun.com/ceph/rpm-luminous/el7/noarch/

gpgcheck=0

priority=0

[ceph-source]

name=Ceph source packages

baseurl=https://mirrors.aliyun.com/ceph/rpm-luminous/el7/SRPMS

enabled=0

gpgcheck=1

type=rpm-md

gpgkey=https://mirrors.aliyun.com/ceph/keys/release.asc

priority=1

[root@k8s-master ~]# yum install -y ceph  #装ceph为的是装rbd命令

1.1.3  创建用户（在ceph服务端创建10.0.23.133）

1.1.3.1        创建ceph块客户端用户名和认证密钥

[cephadmin@ceph-1 my-cluster]$ ceph auth get-or-create client.rbd mon 'allow r' osd 'allow class-read object_prefix rbd_children,allow rwx pool=rbd'|tee ./ceph.client.rbd.keyring

 

1.1.4  客户端配置

1.1.4.1.1       拷贝密钥文件和配置文件到客户端

[cephadmin@ceph-1 my-cluster]$ scp ceph.client.rbd.keyring /etc/ceph/ceph.conf  root@10.0.23.130:/etc/ceph

到客户端10.0.23.130上查看：

 

在客户端执行ceph –s报错需要执行用户名

[root@k8s-master ~]# ceph -s --name client.rbd

 

1.2   创建块设备及客户端映射

1.2.1  创建块设备（ceph server上操作）

默认创建块设备，会直接创建在rbd  池中，但使用deploy安装后，该rbd池并没有创建。

 

1.2.2  创建块设备默认池（ceph server上操作）

  $ ceph osd lspools                      //查看集群存储池

$ ceph osd pool create rbd 64 #创建 名为rbd的池 指定pg为64

 

确定pg_num  取值是强制性的，因为不能自动计算。下面是几个常用的值（总的pg）：

•       少于5个OSD 时可把pg_num设置为 128

•       OSD 数量在5 到10个时，可把   pg_num   设置为512

•       OSD 数量在10到   50个时，可把pg_num 设置为4096

•       OSD 数量大于50时，你得理解权衡方法、以及如何自己计算pg_num 取值

1.2.3  创建块设备（客户端操作）

可以在服务端创建也可以在客户端创建，已经给客户端权限，我这里在客户端操作

rbd create rbd1 --size 2048 --name client.rbd #创建大小3G的 rbd1块设备

 

查看创建的块设备

rbd ls --name client.rbd

 

也可以指定池查看

rbd ls -p rbd -n client.rbd

 

列表形式查看

rbd list -n client.rbd

 

查看块设备的详细信息

rbd --image rbd1 info --name client.rbd

 

1.2.4  映射块设备（客户端操作）

1.2.4.1        映射介绍

映射到客户端，会报错

rbd map --image rbd1 --name client.rbd

 

• layering:  分层支持
• exclusive-lock: 排它锁定支持
• object-map:     对象映射支持(需要排它锁定(exclusive-lock))
• deep-flatten:   快照扁平化支持(snapshot     flatten      support)
• fast-diff:   快速差异计算(需要        object-map)

     使用krbd(内核rbd)的客户端进行快速diff计算(需要对象映射)，我们将无法在CentOS内核3.10上 映射块设备映像，因为该内核不支持对象映射(object-map)、深平(deep-flatten)和快速diff(fastdiff)(在内核4.9中引入了支持)。为了解决这个问题，我们将禁用不支持的特性，有几个选项可以 做到这一点

禁用的三种方法：

²  动态禁用

rbd feature  disable rbd1 exclusive-lock object-map deep-flatten fast-diff  --name client.rbd

²  创建RBD镜像时，之启用分层特性

Rbd create rbd1 –size 2048 –image-feature Layering –name client.rbd

²  Ceph配置文件中禁用

Rbd_default_reatures = 1

因我们已经创建了池 rbd1 所以使用动态禁用

1.2.4.2        动态禁用块设备的特性

[root@k8s-master ~]# rbd feature  disable rbd1 exclusive-lock object-map deep-flatten fast-diff --name client.rbd

再次映射，看到映射的设备

[root@k8s-master ~]# rbd map --image rbd1 --name client.rbd

 

 查看映射关系

[root@k8s-master ~]# rbd showmapped --name client.rbd

 

 1.2.4.3        创建文件系统并挂载

格式化：

[root@k8s-master ~]# mkfs.xfs /dev/rbd0

 

创建挂载点：

[root@k8s-master ~]# mkdir  /ceph-dsik1

Mount挂载：

[root@k8s-master ~]# mkdir  /ceph-dsik1

[root@k8s-master ~]# mount /dev/rbd0 /ceph-dsik1

 

写数据测试

[root@k8s-master ~]# dd if=/dev/zero of=/ceph-dsik1/testfiel count=100 bs=1M

 

1.2.4.4        做成服务，开机自动挂载

vim /usr/local/bin/rbd-mount

#!/bin/bash

#池名称存储块设备映射的位置

#!/bin/bash

#池名称存储块设备映射的位置

export poolname=rbd

#磁盘映射名称

export rbdimage=rbd1

#mount directory

export mountpoint=/ceph-dsik1

#image mount  / umount 和pool作为参数从systemd服务传递

if [ "$1" == "m" ];then

  modprobe rbd

  rbd feature  disable $rbdimage  object-map deep-flatten fast-diff

  rbd map  $rbdimage --id  rbd --keyring /etc/ceph/ceph.client.rbd.keyring

  mkdir -p $mountpoint

  mount /dev/rbd/$poolname/$rbdimage $mountpoint

fi

if [ "$1" == "u" ]; then

  umount $mountpoint

  rbd unmap /dev/rbd/$poolname/$rbdname

fi

~   

[root@k8s-master ceph-dsik1]# chmod  +x /usr/local/bin/rbd-mount

配置服务脚本

[root@k8s-master ceph-dsik1]# vim /usr/lib/systemd/system/rbd-mount.service

[Unit]

Description=RADOS block device mapping for $rbdimage in pool $poolname

Conflicts=shutdown.target

Wants=network-online.target

After=NetworkManager-wait-online.service

[Service]

Type=oneshot

RemainAfterExit=yes

ExecStart=/usr/local/bin/rdb-mount m

ExecStop=/usr/local/bin/rdb-mount u

[Install]

[root@k8s-master ceph-dsik1]# systemctl daemon-reload

[root@k8s-master ceph-dsik1]# systemctl enable rdb-mount.service

注意： 先测试一下服务是否可用，不要冒然的重启主机测试