ElasticSearch快照备份及恢复

1、repository-hdfs的安装

 （1）去elasticsearch官网下载repository-hdfs安装包

（elasticsearch-5.4.0对应的版本是repository-hdfs-5.4.0）

下载地址：

https://www.elastic.co/guide/en/elasticsearch/plugins/5.4/repository-hdfs.html

（2）将压缩包拷到集群下，进入elasticsearch目录：

执行安装：

sudo bin/elasticsearch-plugin install

file:///home/huangyan/repository-hdfs-5.4.0.zip

2、源集群创建仓库

源集群创建仓库：

curl -XPUT 'http://host:9200/_snapshot/my_hdfs_repository?pretty' -d '{
    "type": "hdfs",
    "settings": {
        "uri": "hdfs://host:8020",
        "path": "elasticsearch/repositories/my_hdfs_repository",
        "conf.dfs.client.read.shortcircuit": "false"        
    }
}'

这里conf.dfs.client.read.shortcircuit如果设置为true，那么hdfs里需要配置一些额外的东西，设置为true能减少通信次数，加快速度，如果不想折腾，还是建议设置为false。

查看创建好的仓库：

curl -XGET 'http://10.45.*:9200/_snapshot/my_hdfs_repository?pretty'

 

删除仓库：
curl -XDELETE 'http://10.45.*:9200/_snapshot/my_hdfs_repository?pretty'

 

3、索引备份：

这里备份history_data_index-00002索引：

curl -XPUT 'http://10.45.157.*:9200/_snapshot/my_hdfs_repository/snapshot_2?wait_for_completion=false&pretty' -d '{

  "indices": "history_data_index-00002",

  "ignore_unavailable": true,

  "include_global_state": false

}'

参数解释：

wait_for_completion=true会一直等待备份结束。

wait_for_completion=false会立即返回，备份在后台进行，可以使用下面的api查看备份的进度：

curl -XGET '10.45.*:9200/_snapshot/my_hdfs_repository/snapshot_2/_status?pretty'

"ignore_unavailable": true忽略有问题的shard

"include_global_state": false快照里不放入集群global信息

注意：

如果执行上述命令式报出could not read repository data from index blob的异常，如下图，则是java的权限问题

需要修改配置如下：

（1）修改plugin-security.policy文件，添加内容如下：

  permission javax.security.auth.AuthPermission "getSubject";

  permission javax.security.auth.AuthPermission "doAs";

  permission javax.security.auth.AuthPermission "modifyPrivateCredentials";

  permission java.lang.RuntimePermission "accessDeclaredMembers";

  permission java.lang.RuntimePermission "getClassLoader";

  permission java.lang.RuntimePermission "shutdownHooks";

  permission java.lang.reflect.ReflectPermission "suppressAccessChecks";

  permission javax.security.auth.AuthPermission "doAs";

  permission javax.security.auth.AuthPermission "getSubject";

  permission javax.security.auth.AuthPermission "modifyPrivateCredentials";

  permission java.security.AllPermission;

  permission java.util.PropertyPermission "*", "read,write";

  permission javax.security.auth.PrivateCredentialPermission "org.apache.hadoop.security.Credentials * "*"", "read";

 

（2）还需要手动配置一次/usr/elk/elasticsearch/config/jvm.options文件，在jvm.options文件中添加以下信息：

-Djava.security.policy=/usr/elk/elasticsearch/plugins/repository-hdfs/plugin-security.policy

 

（3）重启ES,再次执行上面的索引备份即可成功

查看快照信息：
curl -XGET 'http://10.45.*:9200/_snapshot/my_hdfs_repository/snapshot_3?pretty'
查看所有的快照信息：
curl -XGET 'http://10.45.*:9200/_snapshot/my_hdfs_repository/_all?pretty'

删除快照：
curl -XDELETE 'http://10.45.*:9200/_snapshot/my_hdfs_repository/snapshot_1_restore?pretty'

4、恢复快照

curl -XPOST 'http://10.45.*:9200/_snapshot/my_hdfs_repository/snapshot_2/_restore?pretty' -d '{
  "indices": "history_data_index-00002",
   "index_settings": {
    "index.number_of_replicas": 1
  },
  "ignore_index_settings": [
    "index.refresh_interval"
  ]
}'

恢复快照的时候分片的数量是不能改变的(要想改变分片数量只能re-index)。但是副本的数量是可以重新指定的（index.number_of_replicas ）

如果集群中有与要恢复的索引名字相同的索引，可以通过"rename_pattern"和"rename_replacement"参数来对索引进行重命名，下面命令就可以将person_list_data_index_yinchuan索引的名称改为restored_index_yinchuan：

curl -XPOST 'http://10.45.*:9200/_snapshot/my_hdfs_repository/snapshot_3/_restore?pretty' -d '{
  "indices": "person_list_data_index_yinchuan",
  "ignore_unavailable": "true",
  "include_global_state": false,
  "rename_pattern": "person_list_data_index_(.+)",
  "rename_replacement": "restored_index_$1"
}'

查看恢复状态：
curl -XGET 'http://10.45.*:9200/_recovery/'

如果是在别的集群上进行快照恢复，需要在目标集群创建仓库：

curl -XPUT 'http://目标host:9200/_snapshot/my_backup?pretty' -d '{
    "type": "hdfs",
    "settings": {
        "uri": "hdfs://待备份host:8020",
        "path": "/user/master/elasticsearch/repositories/my_hdfs_repository",
        "conf.dfs.client.read.shortcircuit": "false"        
    }
}'

然后恢复：

curl -XPOST 'http://目标host:9200/_snapshot/my_hdfs_repository/snapshot_2/_restore?pretty' -d '{
  "indices": "history_data_index-00002",
   "index_settings": {
    "index.number_of_replicas": 1
  },
  "ignore_index_settings": [
    "index.refresh_interval"
  ]
}'

如果按照索引的别名创建快照的话，恢复时直接全部恢复：
curl -XPOST 'http://10.45.*:9200/_snapshot/my_hdfs_repository/snapshot_4/_restore?pretty'

5、补充：

修改包：
需要将/usr/elk/elasticsearch/plugins/repository-hdfs路径下的一些包的版本改为和hdfs相同的版本，例如我现在是2.7.1的版本，要改为2.6.0的版本。
/usr/cdh/phoenix/lib路径下有2.6.0的版本，需要改的包有：hadoop-annotations-2.7.1.jar，hadoop-auth-2.7.1.jar，hadoop-client-2.7.1.jar，
hadoop-common-2.7.1.jar，hadoop-hdfs-2.7.1.jar
还需要将htrace-core-3.1.0-incubating.jar改为htrace-core4-4.0.1-incubating.jar才能成功重启es

查看所有的jar包：
cd /opt/cloudera/parcels/CDH/jars/
ls
将htrace-core4-4.0.1-incubating.jar拷贝到/usr/elk/elasticsearch/plugins/repository-hdfs/下：
cp htrace-core4-4.0.1-incubating.jar /usr/elk/elasticsearch/plugins/repository-hdfs/

查看hdfs下的路径：
查看根目录下的子目录：sudo -u hdfs hadoop fs -ls /
查看/user下面的子目录：sudo -u hdfs hadoop fs -ls /user
创建仓库时，如果path设置为："path": "elasticsearch/repositories/my_hdfs_repository",
则其存储的路径为：/user/elasticsearch/elasticsearch/repositories/my_hdfs_repository
查看仓库下的快照： sudo -u hdfs hadoop fs -ls /user/elasticsearch/elasticsearch/repositories/my_hdfs_repository

 6、测试

1、备份532,391条数据1.52G（3.03G）共花费208541ms，大概3分半钟

    恢复532391条数据，花费时间大概为6.5s

2、备份1,578,227条数据9.09G（18.1G）共花费1510737ms，大概25分钟

     恢复1,578,227条数据，花费时间大概为105s

总体来说快照备份的速度不是很快，建议直接用reindex来迁移索引，但是要注意，5.4.0版本的es是不支持跨集群reindex的