Elasticsearch初识及简单操作

Lucene

是Apache软件基金会4 jakarta项目的子项目。它是一个开源的全文检索引擎工具包。但它并不是一个完整的全文检索引擎，而是一个全文检索引擎的架构，提供了完整的查询引擎和索引引擎，部分文本分析引擎（英文与德文两种西方语言）

相当于一个库, 还有很多东西要自己写.

ElasticSearch

权威指南: https://www.elastic.co/guide/cn/elasticsearch/guide/current/index.html

es中文社区: https://elasticsearch.cn/

Elasticsearch 是一个基于Lucene 搜索引擎为核心构建的开源，分布式，RESTful搜索服务器。它是一个实时的分布式搜索分析引擎，它能让你以前所未有的速度和规模，去探索你的数据。 具体体现在全文检索、结构化搜索、分析以及这三个功能的组合。

准实时

es环境配置

• 首先安装 Java jdk
  • JAVA_HOME
  • 配置环境变量path
• 然后管理员身份运行bin目录下的bat文件安装es
• 同上原理安装kibana
  • kibana 一个为es提供数据分析的web接口. 可使用它对日志进行高效的搜索, 可视化, 分析等操作(类似于mysql的客户端)
• 注意: kibana和es, ik分词版本保持一致

es数据组织

对比关系型数据库(不完全正确,方便理解参考)
数据库	 ---	索引indices
表	  ----	类型types
行	 ----	文档documents
字段	----	字段fields

• 逻辑设计
  • 文档: 索引和搜索数据的最小单位
  • 类型: 文档的逻辑容器(类似于关系型数据库中, 表格是行的容器)
  • 索引: 映射类型的容器, es中的索引是一个非常大的文档集合. 索引存储了映射类型的字段和其他设置, 然后将它们存储到了各个分片上
• 物理设计
  • 节点
  • 创建一个索引, 默认产生5个主分片, 5个副分片 (对应的主副分片不会在同一台服务器上), 一个分片是一个Lucene索引 (21亿篇文档 / 2740亿个唯一词条)
  • 一个Lucene索引 == 一个包含倒排索引的文件目录
• 倒排索引: 词条, 对勾, 匹配到的文档都返回, 但是按照匹配度排序
  • 在不全文搜索的情况下返回符合关键字的文档, 建议了解一下其算法
• 参考博客: https://www.cnblogs.com/Neeo/articles/10571307.html

es基本操作

新增数据(JSON形式)
# PUT 索引名/类型/文档id
PUT a1/doc/1
{
  "name":"大郎",
  "age":18
}

# 更新,version变化
PUT a1/doc/1
{
  "name":"武大郎",
  "age":16
}

# 查找
GET a1/doc/1

# 查找doc目录下所有,是个字典套列表套字典...
GET a1/doc/_search

# 删除
# DELETE 索引名/类型/文档id
DELETE a1/doc/3

# 全部删除(删除a1索引)
DELETE a1/

# 修改部分数据
# POST 索引名/类型/文档id/_update
POST s22/doc/1/_update
{
	"doc": {
		"age": 27
	}
}
# PUT命令，在做修改操作时，如果未指定其他的属性，则按照指定的属性进行修改操作。所以修改不要用PUT

# 查询所有的索引
GET _cat/indices?v

es两种查询方式

• 参考博客: https://www.cnblogs.com/Neeo/articles/10576413.html

#HEAD确认索引是否存在(200/404)
HEAD s22

查询年龄为18的数据
#简单搜索(查询字符串搜索)
GET s22/doc/_search?q=age:18

#DSL查询(重点)
GET s22/doc/_search
{
    "query":{
        "match":{
            "age":"18"
        }
    }
}

match系列

# match 先分析关键字, 分词, 然后搜索
GET s22/doc/_search
{
    "query":{
        "match":{
            "tag":"白 可爱"	#分词拆成"白" "可" "爱"
        }
    }
}

# match_phrase 短语查询
GET s22/doc/_search
{
    "query":{
        "match_phrase":{
            "tag":"可爱"	  #不拆分词
        }
    }
}

GET t1/doc/_search
{
    "query":{
        "title":{
            "query": "中国世界",
            "slop": 1		# 词之间的间隔
        }
    }
}


# match_all 查询所有
GET s22/doc/_search
{
    "query":{
        "match_all":{}
    }
}

今日内容

基础操作

排序 ( 先查后排 )

GET s22/doc/_search
{
  "query": {
    "match_all": {}
  },
  "sort": [			#与query平级
    {
      "FIELD": {
        "order": "desc"  #字段 降序(asc升序)
      }
    }
  ]
}

不是所有字段都能排序

分页

GET s22/doc/_search
{
  "query": {
    "match_all": {}
  },
  "from": 0,	#从第几条开始
  "size":2		#返回几条
}

bool查询

# 并且must
# 查询city是广州的,并且年龄25 (注意两个match的位置,must是个列表)
GET s22/doc/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "match": {
            "city": "广州"
          }
        },
        {
          "match": {
            "age":25
          }
        }
      ]
    }
  }
}

# 或者should
# 查询city是广州的,或者年龄22
GET s22/doc/_search
{
  "query": {
    "bool": {
      "should": [
        {
          "match": {
            "city": "广州"
          }
        },
        {
          "match": {
            "age": 22
          }
        }
      ]
    }
  }
}

# 非must_not
#查询city不是广州,年龄又不是29的
GET s22/doc/_search
{
  "query": {
    "bool": {
      "must_not": [
        {
          "match": {
            "city": "广州"
          }
        },
        {
          "match": {
            "age":29
          }
        }
      ]
    }
  }
}

# 过滤filter  范围值
#查询city是广州,年龄大于23的
GET s22/doc/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "match": {
            "city": "广州"
          }
        }
      ],
      "filter": {
        "range": {
          "age": {
            "gt": 23,	#"gte"大于等于
            #"lte": 20
          }
        }
      }
    }
  }
}

# 查询city是广州,或者年龄小于等于28的
# should和filter一起用的时候,先走filter再走should
GET s22/doc/_search
{
  "query": {
    "bool": {
      "should": [
        {
          "match": {
            "city": "广州"
          }
        },
      ],
      "filter": {
        "range": {
          "age": {
            "lte": 28
          }
        }
      }
    }
  }
}

# 总结:
must 与关系(相当于and)
should 或关系(相当于or)
must_not 非关系(相当于not)
filter 过滤条件
    range 条件筛选范围
    gt 大于
    gte 大于等于
    lt 小于
    lte 小于等于

对结果过滤 _source

# 查询city是广州,或者年龄小于等于28的,要求显示结果只保留city和age字段
GET s22/doc/_search
{
  "query": {
    "bool": {
      "should": [
        {
          "match": {
            "city": "广州"
          }
        }
      ],
      "filter": {
        "range": {
          "age": {
            "lte": 28
          }
        }
      }
    }
  },
  "_source": ["city","age"]		#与query同级
}

高亮查询

#默认版的
GET s22/doc/_search
{
  "query": {
    "match": {
      "desc": "成熟"
    }
  },
  "_source": ["成熟"],
  "highlight": {	#高亮
    "fields": {		#指定字段
      "desc": {}
    }
  }
}

#自定义高亮显示
GET s22/doc/_search
{
  "query": {
    "match": {
      "desc": "成熟"
    }
  },
  "_source": ["成熟"],
  "highlight": {
    "pre_tags": "<b style='color:yellow;font-size:20px'>",	#标签的前半部分,可定制style
    "post_tags": "</b>", 	#标签的后半部分
    "fields": {			#字段
      "desc": {}
    }
  }
}

聚合函数

#查平均年龄
GET s22/doc/_search
{
  "query": {
    "match_all": {}
  },
  "aggs": {
    "my_avg": {		#自己的起的别名
      "avg": {
        "field": "age"
      }
    }
  }
}

#查最大年龄()
GET s22/doc/_search
{
  "query": {
    "match_all": {}
  },
  "aggs": {
    "my_avg": {
      "max": {		# "min"最小; "sum"求和
        "field": "age"
      }
    }
  },
  "from": 0,		# 只返回聚合数据,不用看其余详细数据
  "size": 0
}

分组查询

#先查后聚合
GET s22/doc/_search
{
  "query": {
    "match_all": {}
  },
  "size": 0,
  "aggs": {
    "avg_group": {
      "range": {
        "field": "age",
        "ranges": [
          {
            "from": 15,		#左包右不包
            "to": 20
          },
          {
            "from": 20,
            "to": 25
          },
          {
            "from": 25,
            "to": 30
          }
        ]
      }
    }
  }
}