虚拟机镜像：centos7 1908
192.168.4.10 client
192.168.4.11 node1 admin,osd, mon，mgr
192.168.4.12 node2 osd,mds
192.168.4.13 node3 osd,mds
192.168.4.14 node4 备用
1.块存储 应用案例（真机访问）
rbd池子镜像共享盘 块存储
Filesystem---KRBD---Kernel---ceph
要求：
Ceph创建块存储镜像
客户端安装部署ceph软件
客户端部署虚拟机
客户端创建secret
设置虚拟机配置文件，调用ceph存储
*************
]# rpm -e --nodeps xxxxxxx
当安装了更高版本软件，但是需要低版本的时候，可以卸载高版本软件包
这种卸载方式可以脱离依赖关系，在重新安装
*************
1.1 创建磁盘镜像(node1)
cluster]# rbd create vm1-image --image-feature layering --size 10G
cluster]# rbd create vm2-image --image-feature layering --size 10G
cluster]# rbd list
vm1-image
vm2-image
cluster]# rbd info vm1-image
cluster]# qemu-img info rbd:rbd/vm1-image
image: rbd:rbd/vm1-image
file format: raw
virtual size: 10G (10737418240 bytes)
disk size: unavailable
1.2 Ceph认证账户。
Ceph默认开启用户认证，客户端需要账户才可以访问，
默认账户名称为client.admin，key是账户的密钥，
可以使用ceph auth添加新账户（案例我们使用默认账户）。
]# cat /etc/ceph/ceph.conf
[global]
mon_initial_members = node1, node2, node3
mon_host = 192.168.4.11,192.168.4.12,192.168.4.13
auth_cluster_required = cephx //开启认证
auth_service_required = cephx //开启认证
auth_client_required = cephx //开启认证
]# cat /etc/ceph/ceph.client.admin.keyring //账户文件
[client.admin]
key = AQAggSReC/qRHBAABMXdqF1yMw+MGZS7qHqIqg==
caps mds = "allow *"
caps mgr = "allow *"
caps mon = "allow *"
caps osd = "allow *"
1.3 部署客户端环境(真机，将虚拟机部署在ceph上）
注意：这里使用真实机当客户端！
客户端需要安装ceph-common软件包，拷贝配置文件（否则不知道集群在哪），
拷贝连接密钥（否则无连接权限）。
]# yum -y install ceph-common
]# scp 192.168.4.11:/etc/ceph/ceph.conf /etc/ceph/
]# scp 192.168.4.11:/etc/ceph/ceph.client.admin.keyring /etc/ceph/
1.4 创建KVM虚拟机(虚拟化迁移）#真机操作
**********************
虚拟机存放位置：/var/lib/libvirt/images/xxx
虚拟机描述信息存放位置：/etc/libvirt/qemu/xxx.xml
]# virsh destroy xxx #关闭
]# virsh start xxx #开启
]# virsh console xxx #远程登陆
]# virsh list --all #查看全部虚拟机
]# virsh edit xxx #编辑虚拟机描述信息
]# virsh secret-list #查看秘钥
]# virsh --help | grep secret
Secret (help keyword 'secret')
secret-define 定义或者修改 XML 中的 secret
secret-dumpxml XML 中的 secret 属性
secret-event Secret Events
secret-get-value secret 值输出
secret-list 列出 secret
secret-set-value 设定 secret 值
secret-undefine 取消定义 secret
*************************
1.4.1 图形化操作，创建虚拟机ceph-test
1.4.2 配置libvirt secret
]# vim secret.xml //新建临时文件，内容如下
<secret ephemeral='no' private='no'>
<usage type='ceph'>
<name>client.admin secret</name>
</usage>
</secret>
#使用XML配置文件创建secret
1.4.3 生成用户信息，用户名
]# virsh secret-define --file secret.xml(生成用户信息，用户名）
生成 secret 01685309-ea4b-4ec3-8c9a-e287f9580a3a
] virsh secret-list
UUID 用量
--------------------------------------------------------------------------------
01685309-ea4b-4ec3-8c9a-e287f9580a3a ceph client.admin secret
1.4.4 生成密码
查看client.admin账户的密码
]# cat /etc/ceph/ceph.client.admin.keyring
[client.admin]
key = AQAggSReC/qRHBAABMXdqF1yMw+MGZS7qHqIqg==
caps mds = "allow *"
caps mgr = "allow *"
caps mon = "allow *"
caps osd = "allow *"
生成秘钥：
]# virsh secret-set-value
--secret 01685309-ea4b-4ec3-8c9a-e287f9580a3a
--base64 AQAggSReC/qRHBAABMXdqF1yMw+MGZS7qHqIqg==
secret 值设定
1.4.5 虚拟机的XML配置文件
] virsh edit ceph-test
找到对应disk对，修改前内容如下
<disk type='file' device='disk'>
<driver name='qemu' type='qcow2'/>
<source file='/var/lib/libvirt/images/vm1.qcow2'/>
<target dev='vda' bus='virtio'/>
<address type='pci' domain='0x0000' bus='0x00' slot='0x07' function='0x0'/>
</disk>
修改后内容如下：
<disk type='network' device='disk'>
<driver name='qemu' type='raw'/>
#新加ceph磁盘的用户认证
<auth username='admin'>
<secret type='ceph' uuid='01685309-ea4b-4ec3-8c9a-e287f9580a3a'/>
#生成的对应的额uuid
</auth>
<source protocol='rbd' name='rbd/vm1-image'>
#ceph磁盘镜像地址
<host name='192.168.4.11' port='6789'/>
</source>
<target dev='vda' bus='virtio'/>
<address type='pci' domain='0x0000' bus='0x00' slot='0x07' function='0x0'/>
</disk>
1.4.6 打开ceph-test虚拟机
查看VirtLO磁盘1的虚拟路径：
源路径 rbd://192.168.4.11:6789/rbd/vm1-image
2.Ceph文件系统(虚拟机访问）
VM---Hypervisor---librbd---ceph
node4:192.168.4.14
部署MDSs节点
创建Ceph文件系统
客户端挂载文件系统
2.1 添加一台新的虚拟机，要求如下：
IP地址:192.168.4.14
主机名:node4
配置yum源（包括rhel、ceph的源）
与Client主机同步时间
node1允许无密码远程node4
2.2 部署元数据服务器
node4]# yum -y install ceph-mds
2.3 登陆node1部署节点操作
2.3.1 添加主机名解析
node1]# vim /etc/hosts
192.168.4.10 client
192.168.4.11 node1
192.168.4.12 node2
192.168.4.13 node3
192.168.4.14 node4
2.3.2 配置node4文件(node1)
node1]# cd /root/ceph-cluster
//该目录，是最早部署ceph集群时，创建的目录
cluster]# ceph-deploy mds create node4
//给nod4拷贝配置文件，启动mds服务
cluster]# ceph-deploy admin node4(一定要在cluster工作目录下）
同步配置文件和key
2.4 创建存储池
node4]# ceph osd pool create cephfs_data 128（32-64都可以，block数据盘，类似磁盘划分）
pool 'cephfs_data' created
# 创建存储池，对应128个PG
node4]# ceph osd pool create cephfs_metadata 128（元数据，类似格式化）
pool 'cephfs_metadata' created
node4 ~]# ceph osd lspools
1 rbd
2 cephfs_data
3 cephfs_metadata
2.5 创建Ceph文件系统(只能做一个）
node4]# ceph mds stat # 查看mds状态
1 up:standby
node4]# ceph fs new myfs1 cephfs_metadata cephfs_data
new fs with metadata pool 3 and data pool 2
# 用元数据cephfs_metadata 和 数据盘cephfs_data 创建文件系统）
# 注意，现写medadata池，再写data池
# 默认，只能创建1个文件系统，多余的会报错
node4]# ceph fs ls
name: myfs1, metadata pool: cephfs_metadata, data pools: [cephfs_data ]
node4]# ceph mds stat
myfs1:1 {0=node4=up:active}
2.6 客户端挂载(不用格式化，已经是文件系统）
client]# mkdir /mnt/cephfs
client]# mount -t（type) ceph 192.168.4.11:6789:/ /mnt/cephfs/
-o name=admin,secret=AQAggSReC/qRHBAABMXdqF1yMw+MGZS7qHqIqg==
//连接node1 2 3 都可以 都是mon
//...4.11:6789:/ 为什么直接挂根下，因为ceph只能做一个文件系统
//注意:文件系统类型为ceph
//192.168.4.11为MON节点的IP（不是MDS节点）
//admin是用户名,secret是密钥
//密钥可以在/etc/ceph/ceph.client.admin.keyring中找到
client]# df -h
192.168.4.11:6789:/ 35G 0 35G 0% /mnt/cephfs
*******************
格式化：赋予空间文件系统的过程
inode block
元数据 真实数据
真实数据的描述信息、指针（数据定位）
磁盘碎片整理：零散的数据整合排列，顺序化
格式化单元默认大小：4k
数据删除：只是将对应文件的inode标签为已删除，真实数据还在，如果继续写操作，就会随机覆盖
数据恢复：再没有继续写操作的前提下，找出打标签的inode，恢复inode即可。
ceph-mds---inode
ceph-osd---block
********************
3.创建对象存储服务器
安装部署Rados Gateway
启动RGW服务
设置RGW的前端服务与端口
客户端测试
3.1 部署对象存储服务器
3.1.1要求如下：
IP地址:192.168.4.15
主机名:node5
配置yum源（包括rhel、ceph的源）
与Client主机同步时间
node1允许无密码远程node5
修改node1的/etc/hosts，并同步到所有node主机
添加主机名解析
node1]# vim /etc/hosts
192.168.4.10 client
192.168.4.11 node1
192.168.4.12 node2
192.168.4.13 node3
192.168.4.14 node4
192.168.4.15 node5
3.1.2 部署RGW软件包
cluster]# ceph-deploy install --rgw node5
同步配置文件与密钥到node5
cluster]# ceph-deploy admin node5
3.1.3 新建网关实例
启动一个rgw服务
cluster]# ceph-deploy rgw create node5
...
[ceph_deploy.rgw][INFO ] The Ceph Object Gateway (RGW) is now running on host node5 and default port 7480
登陆node5验证服务是否启动
node5 ~]# ps aux | grep radosgw
ceph 13432 0.2 1.1 5144444 45740 ? Ssl 21:14 0:00 /usr/bin/radosgw -f --cluster ceph --name client.rgw.node5 --setuser ceph --setgroup ceph
root 14053 0.0 0.0 112728 976 pts/0 R+ 21:16 0:00 grep --color=auto radosgw
登陆node5，RGW默认服务端口为7480，修改为8000或80更方便客户端记忆和使用
node5 ~]# vim /etc/ceph/ceph.conf
新添加：
[client.rgw.node5]
host = node5
rgw_frontends = "civetweb port=8000"
//node5为主机名
//civetweb是RGW内置的一个web服务
]# systemctl restart ceph-radosgw@rgw.node5.service #重启服务
3.2 client测试：
3.2.1 curl测试
]# curl 192.168.4.15:8000
<?xml version="1.0" encoding="UTF-8"?><ListAllMyBucketsR...
3.2.2 使用第三方软件访问
登陆node5（RGW）创建账户
node5 ~]# radosgw-admin user create
--uid="testuser" --display-name="First User"
… …
"keys": [
{
"user": "testuser",
"access_key": "GVAXW7JB0ND4XN305X34",
"secret_key": "spixcJ2L0KvtmIZ9wbVnJMbCtVcILLaI2NxwULk4"
}
],
... ...
node5 ~]# radosgw-admin user info --uid=testuser
{
"user_id": "testuser",
"display_name": "First User",
"email": "",
"suspended": 0,
"max_buckets": 1000,
"subusers": [],
"keys": [
{
"user": "testuser",
"access_key": "GVAXW7JB0ND4XN305X34",
"secret_key": "spixcJ2L0KvtmIZ9wbVnJMbCtVcILLaI2NxwULk4"
}
],
"swift_keys": [],
"caps": [],
"op_mask": "read, write, delete",
"default_placement": "",
"default_storage_class": "",
"placement_tags": [],
"bucket_quota": {
"enabled": false,
"check_on_raw": false,
"max_size": -1,
"max_size_kb": 0,
"max_objects": -1
},
"user_quota": {
"enabled": false,
"check_on_raw": false,
"max_size": -1,
"max_size_kb": 0,
"max_objects": -1
},
"temp_url_keys": [],
"type": "rgw",
"mfa_ids": []
}
//testuser为用户，key是账户访问密钥
3.2.3 客户端安装软件
client ~]# yum install s3cmd
修改软件配置（注意，除了下面设置的内容，其他提示都默认回车）
client ~]# s3cmd --configure
Access Key: GVAXW7JB0ND4XN305X34
Secret Key: spixcJ2L0KvtmIZ9wbVnJMbCtVcILLaI2NxwULk4
S3 Endpoint [s3.amazonaws.com]: 192.168.4.15:8000
[%(bucket)s.s3.amazonaws.com]: %(bucket)s.192.168.4.15:8000
Use HTTPS protocol [Yes]: No
Test access with supplied credentials? [Y/n] n
Save settings? [y/N] y
...(最后显示)
Configuration saved to '/root/.s3cfg'
# 注意，其他提示都默认回车
3.2.4 创建存储数据的bucket（类似于存储数据的目录）
client ~]# s3cmd ls
client ~]# s3cmd mb s3://my_bucket
Bucket 's3://my_bucket/' created
client ~]# s3cmd ls
2020-01-20 13:28 s3://my_bucket
测试上传功能
client ~]# s3cmd put /var/log/messages s3://my_bucket/log/
upload: '/var/log/messages' -> 's3://my_bucket/log/messages' [1 of 1]
66885 of 66885 100% in 4s 16.17 kB/s done
client ~]# s3cmd ls
2020-01-20 13:28 s3://my_bucket
client ~]# s3cmd ls s3://my_bucket
DIR s3://my_bucket/log/
client ~]# s3cmd ls s3://my_bucket/log/
2020-01-20 13:29 66885 s3://my_bucket/log/messages
测试下载功能
client ~]# s3cmd get s3://my_bucket/log/messages /tmp/
download: 's3://my_bucket/log/messages' -> '/tmp/messages' [1 of 1]
66885 of 66885 100% in 0s 6.30 MB/s done
]# ls /tmp/
.font-unix/
.ICE-unix/
messages
systemd-private-afe091d35dee4f5caa38ab6cefde40db-chronyd.service-NACxmB/
.Test-unix/
.X11-unix/
.XIM-unix/
测试删除功能
client ~]# s3cmd del s3://my_bucket/log/messages
delete: 's3://my_bucket/log/messages'
查看
]# s3cmd ls
2020-01-20 13:28 s3://my_bucket
]# s3cmd ls s3://my_bucket
# 此时目录为空，删掉了