ES索引管理curator

1. Curator安装

Curator是Elasticsearch提供的一个可用来管理索引和快照的命令行工具，它是一个Python程序，可以直接通过pipy库安装：

安装pip：pip install elasticsearch-curator

用-U更新到最新版本： pip install -U elasticsearch-curator

安装特定版本：pip install -U elastcisearch-curator==X.Y.Z

将curator安装到/home/user/.local/bin/curator：

 

pip install --user elastcisearch-curator

注：安装Curator需要先安装Python及Python的匹配命令，10.45.157.130上Curator已安装，可以直接使用。

2. Curator运行

Curator是一个命令行工具，本节会主要介绍如何使用命令行使用Curator。

可以通过curator --help 命令查看curator的用法，返回结果如下：

一般我们用到的命令是：

curator [--config CONFIG.YML] [--dry-run] ACTION_FILE.YML

--config CONFIG.YML是配置文件，如果不写在curator路径下会有一个默认的配置文件，主要的就是写action_file.yml脚本

curator.yml 配置文件，主要是配一下host ip和端口号：

 

client:
  hosts:
    - 10.45.157.94
  port: 9200
  url_prefix:
  use_ssl: False
  certificate:
  client_cert:
  client_key:
  ssl_no_validate: False
  http_auth:
  timeout: 30
  master_only: False

logging:
  loglevel: INFO
  logfile:
  logformat: default
  blacklist: ['elasticsearch', 'urllib3']

 

 

运行时有两种方法：

1、只模拟，并不真的做操作，这样方便我们调试:

curator --config /root/.curator/curator.yml  --dry-run

/root/.curator/action_file.yml

2、去掉--dry-run,真正的运行命令

curator --config /root/.curator/curator.yml  /root/.curator/action_file.yml

如果需要将结果打印到日志中，后面可跟日志文件的路径和名称：

Curator --config /root/.curator/curator.yml  /root/.curator/action_file.yml

>> /root/.curator/test.log  

同理，我们可以用同样的方法查看并学习其它命令，如：

curator_cli --help  

curator_cli [OPTIONS] COMMAND [ARGS] 

 

列出所有的索引：
curator_cli --host "10.45.157.*" --port "9200" show_indices --filter_list '{"filtertype":"none"}'

 

curator_cli show_indices --help

3. Rollover的使用

Rollover即滚动索引，用于将满足一定时间或数据的索引滚动到新索引。例如：创建一个logs-0001的索引，它有一个别名是logs_write

curl -XPUT 'http://host:9200/logs-test-0001/'?pretty -d'{

  "aliases":{

"logs_write":{}

  }

}'

然后我们给这个logs_write创建了一个rollover规则，即这个索引文档不超过1000个或者最多保存7天的数据，超过会自动切换别名到logs-000002，你也可以设置索引的setting、mapping等参数，剩下的es会自动帮你处理。

curl -XPOST 'http://host:9200/logs_write/_rollover'?pretty -d'{

"conditions":{

    "max_age":"1m",

"max_docs":1000

  },

  "settings":{

    "index.number_of_shards":2,

"refresh_interval":"1s"

  }

}'

4. 定时任务的创建

crontab命令用于设置周期性被执行的指令。该命令从标准输入设备读取指令，并将其存放于“crontab”文件中，以供之后读取和执行。

基本格式 : 
*　　*　　*　　*　　*　　command 
分　时　日　月　周　命令 
第1列表示分钟1～59 每分钟用*或者 */1表示 
第2列表示小时1～23（0表示0点） 
第3列表示日期1～31 
第4列表示月份1～12 
第5列标识号星期0～6（0表示星期天） 
第6列要运行的命令 

 “*”代表取值范围内的数字,
  “/”代表”每”,
  “-”代表从某个数字到某个数字,
  “,”分开几个离散的数字

用法：

cat /etc/crontab    查看/etc/crontab文件

crontab -e   或者以root用户运行：crontab -u root -e

如果要每周一到周六的8点执行一次命令：

0  8  *  *  1-6   你要运行的命令 >> /你的路径/create-Index.log 2>&1  

例如：每分钟执行一次curator --config /root/.curator/curator.yml  /root/.curator/action_file.yml命令：

PATH=/sbin:/bin:/usr/sbin:/usr/bin:/usr/local/bin
*/1 * * * * curator --config /root/.curator/curator.yml /root/.curator/action_file.yml>>/root/.curator/create-Index.log 2>&1
//将日志打印到/root/.curator/目录下的create-Index.log中，其中2>&1 表示执行结果及错误信息

:wq存盘退出

列出某个用户cron服务的详细内容：crontab -l

重启：service crond restart

删除所有任务调度工作：crontab -r  

5. 示例

现在以按照规定时间自动建立新索引，并将数据写入到新索引中，再进行查询为例，具体流程如下：

1、首先先写索引模板（自动匹配以logs-开头的所有索引）

curl -XPOST 'host:9200/_template/logs_template?pretty' -d'{
  "template": "logs-*",
  "order": 0,
  "settings": {
    "number_of_shards": 2,
    "number_of_replicas": 1
  },
  "mappings":{
    "type1":{
      "_all": {
        "enabled": false
      },
      "_field_names": {
        "enabled": false
      },
      "properties":{
      "id":{
      "type":"integer",
      "index":"not_analyzed"
      },
      "name":{
      "type":"keyword",
      "index":"not_analyzed"
      },
      "gender":{
      "type":"integer",
      "index":"not_analyzed"
      },
      "age":{
      "type":"integer",
      "index":"not_analyzed"
      },
      "enter_time":{
      "type":"date",
      "index":"not_analyzed"
      }
      }
    }
  }
}'

2、以logs-当前日期建立一个索引，如今天为2017.7.20，会建立一个"logs-2017.07.20-1"的索引指定别名logs_write

curl -XPUT 'http://host:9200/%3Clogs-%7Bnow%2Fd%7D-1%3E/'?pretty -d'{
"aliases":{
"logs_write":{}
 }
}'

3、写action_file.yml文件，使用rollover让其每满1分钟便可新建一个索引

actions:
  1:
    action: rollover
    description: >- 
        Rollover the index associated with index 'name', which should be in the form of prefix-000001 (or similar), or prefix-YYYY.MM.DD-1.
    options:
      name: logs_write
      conditions:
        max_age: 10s
        max_docs: 10000
      extra_settings:
        index.number_of_shards: 2
        index.number_of_replicas: 1
      timeout_override:
      continue_if_exception: False
      disable_action: False

4、运行curator，如果满1分钟，下次运行时会创建"logs-2017.07.20-000002"索引

5、用crontab建立定时任务，让其每分钟运行一次curator

PATH=/sbin:/bin:/usr/sbin:/usr/bin:/usr/local/bin
*/1 * * * * curator --config /root/.curator/curator.yml /root/.curator/action_file.yml>>/root/.curator/create-Index.log 2>&1
//将日志打印到/root/.curator/目录下的create-Index.log中，其中2>&1 表示执行结果及错误信息

有时需要重启一下crontab：service crond restart

6、将批量写数据的程序打包成jar包，放到你的目录下，再次目录下运行java -jar 你的jar包名称，即可往索引中批量写入数据

 

7、数据查询，可将自动创建的索引放入一个别名中

 actions:
  1:
    action: alias
    description: >-
      Add/Remove selected indices to or from the specified alias,
      with a prefix of logs- to 'logs_all'
    options:
      name: logs_all
      warn_if_no_indices: False
      disable_action: False
    add:
      filters:
      - filtertype: pattern
        kind: prefix
        value: logs-
        exclude:

直接用别名进行查询即可。

6. 定期删除索引

利用curator删除索引的执行文件如下：

主要的配置是filtertype部分，即过滤出你要删除的索引。上例中，有两个filtertype，一个是以logs-为开头的前缀，另一个是创建时间为5分钟之前，所以，此执行文件会删除5分钟之前创建的，并且名字以logs-为前缀的所有索引。

当filtertype为age时，时间计算单位unit可以是：seconds、minutes、hours、days、weeks、mouths、years。

写好执行文件，利用crontab创建定时任务的过程与上面相同。

7.补充

命令删除索引：

curator delete indices --index .marvel- --older-than 3 --time-unit days --timestring %Y.%m.%d --dry-run  //索引名是.marvel-开头的，时间格式是%Y.%m.%d，删除三天前的索引。并使用调试模式(--dry-run)，只模拟删除，并不真的做操作，这样方便我们调试,如果换成正式的语句，去掉--dry-run即可

 创建索引的action_file.yml 执行文件:

actions:
  1:
    action: create_index
    description: Create the index as named, with the specified extra settings.
    options:
      name: '<test10-{now/d}>' //索引名字
      extra_settings:
        settings:
          number_of_shards: 2
          number_of_replicas: 1
        mappings:
          type1:            //索引类型
             _all:
                enabled: false
             properties: //前面的空格要对其，不然会报错
                field1:
                   type: string   //如果写成type:string就会报错
                   index: not_analyzed 
      disable_action: False

注意：冒号后面需要加一个空格再写属性，不然会出现异常，无法解析map，会当成一个字符串

 如果有两个action操作，依次往下写即可：

actions:
  1:
    action: create_index
    description: Create the index as named, with the specified extra settings.
    options:
      name: '<logstash-{now/d}>'
      extra_settings:
        settings:
          number_of_shards: 2
          number_of_replicas: 1
      disable_action: True
  2:
    action: rollover
    description: >- 
        Rollover the index associated with index 'name', which should be in the form of prefix-000001 (or similar), or prefix-YYYY.MM.DD-1.
    options:
      name: logs_write
      conditions:
        max_age: 1m
        max_docs: 100000
      extra_settings:
        index.number_of_shards: 3
        index.number_of_replicas: 1
      timeout_override:
      continue_if_exception: False
      disable_action: False

别名操作：如果今日是7.13，现有三个索引logstash-2017.07.05、logstash-2017.07.12、logstash-2017.07.13，第一个是属于上周的，第二个和第三个是属于本周的，下面的例子会将上周的索引放入别名last_week中，如果last_week不存在会创建这个别名；如果last_week存在，并且logstash-2017.07.12索引也在里面，它会从last_week别命中删除logstash-2017.07.12，只放时间是上周的索引。add和remove可以都有或者有一个（但如果两个都有时，就要有对应的索引，不然会报错，比如如果没有remove中的range_from是-2，而不存在两周前的索引，就会报错）

actions:
  1:
    action: alias
    description: >-
      Alias indices from last week, with a prefix of logstash- to 'last_week',
      remove indices from the previous week.
    options:
      name: last_week
      warn_if_no_indices: False
      disable_action: False
    add:
      filters:
      - filtertype: pattern
        kind: prefix
        value: logstash-
        exclude:
      - filtertype: period
        source: name
        range_from: -1
        range_to: -1
        timestring: '%Y.%m.%d'
        unit: weeks
        week_starts_on: sunday
    remove:
      filters:
      - filtertype: pattern
        kind: prefix
        value: logstash-
      - filtertype: period
        source: name
        range_from: 0
        range_to: 0
        timestring: '%Y.%m.%d'
        unit: weeks
        week_starts_on: sunday