zoukankan      html  css  js  c++  java
  • elasticsearch高级配置之(一)分片分布规则设置

    Java代码  收藏代码
    1. cluster.routing.allocation.allow_rebalance  

    设置根据集群中机器的状态来重新分配分片,可以设置为always, indices_primaries_active和indices_all_active,默认是设置成indices_all_active来减少集群初始启动时机器之间的交互。 
    Java代码  收藏代码
    1. cluster.routing.allocation.cluster_concurrent_rebalance  

    设置在集群中最大允许同时进行分片分布的个数,默认为2,也就是说整个集群最多有两个分片在进行重新分布。 
    Java代码  收藏代码
    1. cluster.routing.allocation.node_initial_primaries_recoveries  

    设置指定初始每个节点。由于多数情况下是使用local的gateway,这应该会更快, 
    Java代码  收藏代码
    1. cluster.routing.allocation.node_concurrent_recoveries  

    设置在节点中最大允许同时进行分片分布的个数,默认为2 
    Java代码  收藏代码
    1. cluster.routing.allocation.disable_allocation  

    使主要分片或副本的分布失效。要知道,如果主分片不存在(那个节点挂了)那么其副本仍然会被提升为主分片,这个设置只有在动态地使用集群更新设置api调用时才生效。 
    Java代码  收藏代码
    1. cluster.routing.allocation.disable_replica_allocation  

    使副本分布失效。和上一个设置一样,只有动态地使用集群更新设置api调用时才生效。 
    Java代码  收藏代码
    1. indices.recovery.concurrent_streams  

    当从一个点(peer)恢复分片时当前节点最多允许的文件读取流的个数,默认为5 

    自定义分片分布规则 
    可以通过设置分片的分布规则来人为地影响分片的分布,下面是个例子: 

    假设我们有几个机架。当我们启动一个节点,我们可以设置一个叫rack_id(其它名字也可以)的属性,例如下面设置:
     
    Java代码  收藏代码
    1. node.rack_id: rack_one  

    上面这个例子设置了一个属性叫rack_id,它的值为rack_one。现在,我们要设置rack_id作为分片分布规则的一个属性(在所有节点都要设置)。 
    Java代码  收藏代码
    1. cluster.routing.allocation.awareness.attributes: rack_id  

    上面设置意味着rack_id会用来作为分片分布的依据。例如:我们启动两个node.rack_id设置rack_one的节点,然后建立一个5个分片,一个副本的索引。这个索引就会完全分布在这两个节点上。如果再启动另外两个节点,node.rack_id设置成rack_two,分片会重新分布,但是一个分片和它的副本不会分配到同样rack_id值的节点上。可以为分片分布规则设置多个属性,例如: 
    Java代码  收藏代码
    1. cluster.routing.allocation.awareness.attributes: rack_id,zone  

    注意:当设置了分片分布属性时,如果集群中的节点没有设置其中任何一个属性,那么分片就不会分布到这个节点中。 

    强制分布规则 
    更多的时候,我们不想更多的副本被分布到相同分布规则属性值的一群节点上,那么,我们可以强制分片规则为一个指定的值。 
    例如,我们有一个分片规则属性叫zone,并且我们知道有两个zone,zone1和zone2.下面是设置:
     
    Java代码  收藏代码
    1. cluster.routing.allocation.awareness.force.zone.values: zone1,zone2  
    2. cluster.routing.allocation.awareness.attributes: zone  

    现在我们启动两个node.zone设置成zone1的节点,然后创建一个5个分片,一个副本的索引。索引建立完成后只有5个分片(没有副本),只有当我们启动node.zone设置成zone2的节点时,副本才会分配到那节点上。 
    分片分布过滤 
    允许通过include/exclude过滤器来控制分片的分布。这些过滤器可以设置在索引级别上或集群级别上。下面是个索引级别上的例子: 

    假如我们有四个节点,每个节点都有一个叫tag(可以是任何名字)的属性。每个节点都指定一个tag的值。如:节点一设置成node.tag: value1,节点二设置成node.tag: value2,如此类推。我们可以创建一个索引然后只把它分布到tag值为value1和value2的节点中,可以通过设置 
    index.routing.allocation.include.tag 为value1,value2达到这样的效果,如:
     
    Java代码  收藏代码
    1. curl -XPUT localhost:9200/test/_settings -d '{      
    2.     "index.routing.allocation.include.tag" : "value1,value2"      
    3. }'  


    与此相反,通过设置index.routing.allocation.exclude.tag为value3,我们也可以创建一个索引让其分布在除了tag设置为value3的所有节点中,如: 
    Java代码  收藏代码
    1. curl -XPUT localhost:9200/test/_settings -d '{      
    2.     "index.routing.allocation.exclude.tag" : "value3"      
    3. }'  


    include或exclude过滤器的值都会使用通配符来匹配,如value*。一个特别的属性名是_ip,它可以用来匹配节点的ip地址。 
    显然,一个节点可能拥有多个属性值,所有属性的名字和值都在配置文件中配置。如,下面是多个节点的配置:
     
    Java代码  收藏代码
    1. node.group1: group1_value1   
    2. node.group2: group2_value4  


    同样的方法,include和exclude也可以设置多个值,如: 
    Java代码  收藏代码
    1. curl -XPUT localhost:9200/test/_settings -d '{      
    2.     "index.routing.allocation.include.group1" : "xxx"      
    3.     "index.routing.allocation.include.group2" : "yyy",      
    4.     "index.routing.allocation.exclude.group3" : "zzz",      
    5. }'  


    上面的设置可以通过索引更新的api实时更新到索引上,允许实时移动索引分片。 

    集群范围的过滤器也可以定义,可以通过集群更新api实时更新到集群上。这些设置可以用来做让一些节点退出集群的操作。下面是通过ip地址去掉一个节点的操作:
     
    Java代码  收藏代码
    1. curl -XPUT localhost:9200/_cluster/settings -d '{      
    2.     "transient" : {      
    3.         "cluster.routing.allocation.exclude._ip" : "10.0.0.1"      
    4.     }      
    5. }'  
  • 相关阅读:
    POJ 1811 Prime Test 素性测试 分解素因子
    sysbench的安装与使用
    电脑中已有VS2005和VS2010安装.NET3.5失败的解决方案
    I.MX6 show battery states in commandLine
    RPi 2B Raspbian system install
    I.MX6 bq27441 driver porting
    I.MX6 隐藏电池图标
    I.MX6 Power off register hacking
    I.MX6 Goodix GT9xx touchscreen driver porting
    busybox filesystem httpd php-5.5.31 sqlite3 webserver
  • 原文地址:https://www.cnblogs.com/huangpeng1990/p/4364349.html
Copyright © 2011-2022 走看看