k8s本地存储使用方式

第一种方式：

部署 openebs
1、让 master 参与调度，去掉污点
kubectl taint nodes master node-role.kubernetes.io/master:NoSchedule-

2、创建一个 namespace
kubectl create ns openebs

3、安装 openebs
kubectl apply -f https://openebs.github.io/charts/openebs-operator-1.10.0.yaml

或者使用 Helm
helm install --namespace openebs --name openebs stable/openebs --version 1.10.0

4、将 openebs-hostpath 设置为 默认的 StorageClass
kubectl patch storageclass openebs-hostpath -p '{"metadata": {"annotations":{"storageclass.kubernetes.io/is-default-class":"true"}}}'
kubectl get sc

使用方式：

修改 storageClass
persistence:
storageClass: openebs-hostpath

第二种方式：

部署longhorn存储
longhorn推荐单独挂盘作为存储使用，这里作为测试直接使用本地存储目录/data/longhorn，默认为/var/lib/longhorn。
注意，kubesphere有几个组件申请的pv大小为20G，确保节点空间充足，否则可能出现pv能够绑定成功但没有满足条件的节点可调度的情况。如果仅仅测试环境，可以提前修改cluster-configuration.yaml缩减pv大小。

安装具有3数据副本的longhorn至少需要3个节点，这里去除master节点污点使其可调度pod：
kubectl taint nodes --all node-role.kubernetes.io/master-

1.k8s-master1安装helm
version=v3.3.1
curl -LO https://repo.huaweicloud.com/helm/${version}/helm-${version}-linux-amd64.tar.gz
tar -zxvf helm-${version}-linux-amd64.tar.gz
mv linux-amd64/helm /usr/local/bin/helm && rm -rf linux-amd64

helm脚本安装：
Helm现在具有一个安装程序脚本，该脚本将自动获取最新版本的Helm并将[其本地安装]
可以获取该脚本，然后在本地执行它。它有充分的文档记录，因此您可以在运行它之前通读它并了解它在做什么。
curl https://raw.githubusercontent.com/helm/helm/master/scripts/get-helm-3 > get_helm.sh
chmod 700 get_helm.sh
./get_helm.sh

#查看配置信息
[root@i-pcwovafu bin]# helm env
HELM_NAMESPACE="default"
HELM_KUBECONTEXT=""
HELM_BIN="helm"
HELM_DEBUG="false"
HELM_PLUGINS="/root/.local/share/helm/plugins"
HELM_REGISTRY_CONFIG="/root/.config/helm/registry.json"
HELM_REPOSITORY_CACHE="/root/.cache/helm/repository"
HELM_REPOSITORY_CONFIG="/root/.config/helm/repositories.yaml"

#添加公用的仓库
helm repo add stable http://mirror.azure.cn/kubernetes/charts
helm repo add aliyun https://kubernetes.oss-cn-hangzhou.aliyuncs.com/charts
helm repo update

#指定对应的k8s集群
这一步非常关键，它是helm与k8s通讯的保证，这一步就是把k8s环境变量KUBECONFIG进行配置
注：v3版本不再需要Tiller，而是通过ApiServer与k8s交互，可以设置环境变量KUBECONFIG来指定存有ApiServre的地址与token的配置文件地址，默认为~/.kube/config
export KUBECONFIG=/root/.kube/config #可以写到/etc/profile里

2.所有节点安装longhorn依赖
yum install -y iscsi-initiator-utils
systemctl enable --now iscsid

3.添加longhorn chart，如果网络较差可以longhorn github release下载chart源码
helm repo add longhorn https://charts.longhorn.io
helm repo update

4.部署longhorn，支持离线部署，需要提前推送镜像到私有仓库longhornio下
kubectl create namespace longhorn-system

helm install longhorn
--namespace longhorn-system
--set defaultSettings.defaultDataPath="/data/longhorn/"
--set defaultSettings.defaultReplicaCount=3
--set service.ui.type=NodePort
--set service.ui.nodePort=30890
#--set privateRegistry.registryUrl=10.39.140.196:8081
longhorn/longhorn

5.确认longhorn运行正常
[root@jenkins longhorn]# kubectl -n longhorn-system get pods

6.确认默认的storageclass已就绪
# kubectl get sc
NAME 　　　　　　   PROVISIONER 　　　RECLAIMPOLICY 　　　VOLUMEBINDINGMODE 　　　ALLOWVOLUMEEXPANSION      AGE
longhorn (default) 　　driver.longhorn.io　　　Delete 　　　　　　　　 Immediate                                    true                                              14h