相关文档：
Gitbook[中文未完整]: http://learnes.net/
Gitbook[英文完整]:https://allen8807.gitbooks.io/elasticsearch-definitive-guide-en/content/
权威指南: http://es.xiaoleilu.com/
官网: https://www.elastic.co/guide/index.html
官网API：https://www.elastic.co/guide/en/elasticsearch/reference/1.7/index.html
一、ES介绍
1、什么是es?
Elasticsearch 是一个建立在全文搜索引擎 Apache Lucene(TM) 基础上的搜索引擎，可以说 Lucene 是当今最先进，最高效的全功能开源搜索引擎框架。但是 Lucene 只是一个框架，要充分利用它的功能，你需要使用 JAVA，并且在你的程序中集成 Lucene。更糟的是，你需要做很多的学习了解，才能明白它是如何运行的，Lucene 确实非常复杂。
当然 Elasticsearch 并不仅仅是 Lucene 那么简单，它不仅包括了全文搜索功能，还可以进行以下工作:
- 分布式实时存储，并将每一个字段都编入索引，使其可以被搜索(准实时，有轻微延迟，1s左右)。
- 实时分析的分布式搜索引擎。
- 可以扩展到上百台服务器，处理PB级别的结构化或非结构化数据。
2、es特性：
- 支持Restful，大量的Restful api
- json风格
- 分布式索引和搜索
- 天然支持shard,replication
- 高性能，易扩展，使用简单
3、ES不仅仅是搜索?
- es是否可以作为一个NOSQL，看上去并不可以，但是这是一个合理的场景。就像MongoDB在MapReduce的基础上使用分片技术同样可以完成部分Hadoop可以做的工作，也就是说一切都和具体场景有关。
- es已经超越了最初的设定角色：一个纯搜索引擎。但这依旧是它的核心，如果你有数百万的文档需要通过关键词进行定位时，Elasticsearch就是最好的选择。如果你仅仅把它当做一个JSON文档，那它就是一个NOSQL数据库，同时支持轻度的数据分析功能。
- 而且，es可以很轻松和hadoop集群。
二、ES中的基础概念
https://www.elastic.co/guide/en/elasticsearch/reference/current/_basic_concepts.html
2.1 Document：文档
- 内容为json格式，它指的是在Elasticsearch中被存储到唯一ID下的由最高级或者根对象 (root object )序列化而来的JSON.
- 由_index+_type+_id共同决定一个唯一的文档
- _type是一个逻辑概念，并不是物理概念
下面是对三者的详细解释:
(1) _index
类似于传统数据库中的"库"-存储并且索引数据的地方
在ES中，我们的数据都在分片中被存储以及索引，索引是一个逻辑命名空间，它可以将一个或者多个分片组合在一起。
(2) _type
在ES中我们使用同样_type的文档来代表同类，因为它们的数据结构是相同的
每一个类型都有自己的mapping或者结构定义，它们定义了当前类型的数据结构，类似于数据表中的列。
Documents of all types can be stored in the same index, but the mapping for type tell ES how the data in each document should be indexed.
(3) _id
id是一个字符串，当它与_index以及_type组合时，就可以来代表Elasticsearch中一个特定的文档。我们创建了一个新的文档时，你可以自己提供一个_id，或者也可以让Elasticsearch帮你生成一个
2.2 Index：索引
文档通过索引API被索引——存储并使其可搜索。但是最开始我们需要决定我们将文档存储在哪里。正如之前提到的，一篇文档通过_index, _type以及_id来确定它的唯一性。
如果我们的索引叫做"website"，我们的类型叫做 "blog"，然后我们选择"123"作为ID的编号。这时，请求就是这样的：
PUT /website/blog/123
{
"title": "My first blog entry",
"text": "Just trying this out...",
"date": "2014/01/01"
}
2.3 分片、高可用、集群、节点
- ES采用的是服务端分片技术，对客户端透明且容易扩展。
- 多个node(es实例)通过cluster(集群名字)自动加入一个集群，每个cluseter有一个master node。
- master node管理集群的变更，例如新建或者删除索引，增加或者移除节点等。master node不会参与文档级别的变更或者搜索，这意味着在流量增长的时候，该主节点不会成为集群的瓶颈。
- 分片(shard) 是 工作单元(worker unit) 底层的一员，它只负责保存索引中所有数据的一小片。在 elasticsearch 中，分片用来分配集群中的数据。把分片想象成一个数据的容器。
- 数据被存储在分片中，然后分片又被分配在集群的节点上。
- 当你的集群扩展或者缩小时，elasticsearch 会自动的在节点之间迁移分配分片，以便集群保持均衡。
- es通过在分片级别实现主从机制来保证高可用，同时服务于搜索和检索这种只读请求。
- 主分片primary shard就是数据的切片，由于是数据存储而不是缓存，primary shard的数目才创建索引时指定且不可更改
- 从分片就是数据的副本，可以随时更改数目。
下面是使用head插件截图，有一个索引bank，下面有0,1,2,3,4共5个主分片，每个分片有1个从分片。
2.4 映射概念：
映射类似于数据库中的表结构，每一个索引都有一个映射，它定义了每一个字段类型，以及一个索引范围内的设置。一个映射可以被事先定义，如果没有事先定义，也存储文档的时候ES也会尝试进行自动识别。
mapping机制也被ES用于字段分析，每个字段都有一种确定的类型
field(字段)则非常好理解，类似于MySQL中列的概念，每个field都有一个类型，这个关系被定义在mapping中。重要的是,ES中，每一个字段都会被索引，因此其查询能力非常的强。
source field：默认情况下，document的原始内容被存储在_source中，查询的时候返回的是一个精确的json字符串。
三、安装
依赖于jdk，依赖于java的都好安装，直接解压或者rpm包都可以，略
集群搭建也很简单，一般的方式，同步时间，无ssh密钥通信等.
其配置文件解释的非常详细...
systemctl daemon-reload
systemctl start elasticsearch.service
如果出错JAVA_HOME找不到，可以在/etc/sysconfig/elasticsearch中指定环境变量JAVA_HOME
最近发现2.3版本的集群配置，不仅仅是配置为同一个cluster name，还需要大致修改一下..
# 修改集群名称 cluster.name: cluster_name # 修改节点名称 node.name: node-01 # 修改绑定IP地址 network.host 0.0.0.0 # 自定义端口 http.port: 9200 # 自动探测同集群节点的Hosts列表 discovery.zen.ping.unicast.hosts: ["192.168.131.129"] # 组成集群的最少节点数 discovery.zen.minimum_master_nodes: 2
安装插件：
插件集地址: http://www.kailing.pub/article/index/arcid/87.html
插件扩展的功能：
添加自定义的映射类型、自定义分词器、本地脚本、自定义节点发现方式
安装：
直接将plugin放置于插件目录
使用命令plugin
先安装一些常用的插件:
1. 安装Head，免费
./plugin install mobz/elasticsearch-head
2. 安装marvel，收费的，但是官方推荐...
3. 安装分词器ik
https://github.com/medcl/elasticsearch-analysis-ik上有源码，因此可以使用源码安装
修改默认配置为:index.analysis.analyzer.default.type: ik
四、客户端
1、java客户端：
Elasticsearch为Java用户提供了两种内置客户端：
节点客户端(node client)：
节点客户端以无数据节点(none data node)身份加入集群，换言之，它自己不存储任何数据，但是它知道数据在集群中的具体位置，并且能够直接转发请求到对应的节点上。
传输客户端(Transport client)：
这个更轻量的传输客户端能够发送请求到远程集群。它自己不加入集群，只是简单转发请求给集群中的节点。
说明：两个Java客户端都通过9300端口与集群交互，使用Elasticsearch传输协议(Elasticsearch Transport Protocol)。集群中的节点之间也通过9300端口进行通信。如果此端口未开放，你的节点将不能组成集群。
Tips: Java客户端所在的Elasticsearch版本必须与集群中其他节点一致，否则，它们可能互相无法识别。
2、基于HTTP协议，以JSON为数据交互格式的RESTful API
其他所有程序语言都可以使用RESTful API，通过9200端口的与Elasticsearch进行通信，你可以使用你喜欢的WEB客户端，事实上，如你所见，你甚至可以通过curl命令与Elasticsearch通信。
NOTE
Elasticsearch官方提供了多种程序语言的客户端——Groovy，Javascript， .NET，PHP，Perl，Python，以及 Ruby——还有很多由社区提供的客户端和插件，所有这些可以在文档中找到
向Elasticsearch发出的请求的组成部分与其它普通的HTTP请求是一样的，下面是curl命令说明：
curl -X<VERB> '<PROTOCOL>://<HOST>:<PORT>/<PATH>?<QUERY_STRING>' -d '<BODY>'
- VERB HTTP方法：
GET,POST,PUT,HEAD,DELETE - PROTOCOL http或者https协议（只有在Elasticsearch前面有https代理的时候可用）
- HOST Elasticsearch集群中的任何一个节点的主机名，如果是在本地的节点，那么就叫localhost
- PORT Elasticsearch HTTP服务所在的端口，默认为9200
- PATH API路径（例如_count将返回集群中文档的数量），PATH可以包含多个组件，例如_cluster/stats或者_nodes/stats/jvm
- QUERY_STRING 一些可选的查询请求参数，例如
?pretty参数将使请求返回更加美观易读的JSON数据 - BODY 一个JSON格式的请求主体（如果请求需要的话）
五、索引
下面我们以一个实例来演示相关概念
假设我们刚好在Megacorp工作，这时人力资源部门出于某种目的需要让我们创建一个员工目录，这个目录用于促进人文关怀和用于实时协同工作，所以它有以下不同的需求：
- 数据能够包含多个值的标签、数字和纯文本。
- 检索任何员工的所有信息。
- 支持结构化搜索，例如查找30岁以上的员工。
- 支持简单的全文搜索和更复杂的短语(phrase)搜索
- 高亮搜索结果中的关键字
- 能够利用图表管理分析这些数据
索引员工文档
我们首先要做的是存储员工数据，每个文档代表一个员工。在Elasticsearch中存储数据的行为就叫做索引(indexing)，不过在索引之前，我们需要明确数据应该存储在哪里。
在Elasticsearch中，文档归属于一种类型(type),而这些类型存在于索引(index)中，我们可以画一些简单的对比图来类比传统关系型数据库：
Relational DB -> Databases -> Tables -> Rows -> Columns
Elasticsearch -> Indices -> Types -> Documents -> Fields
索引不同于数据库的概念
- 索引（名词） 如上文所述，一个索引(index)就像是传统关系数据库中的数据库，它是相关文档存储的地方，index的复数是indices 或indexes。
- 索引（动词） 「索引一个文档」表示把一个文档存储到索引（名词）里，以便它可以被检索或者查询。这很像SQL中的
INSERT关键字，差别是，如果文档已经存在，新的文档将覆盖旧的文档。- 倒排索引 传统数据库为特定列增加一个索引，例如B-Tree索引来加速检索。Elasticsearch和Lucene使用一种叫做倒排索引(inverted index)的数据结构来达到相同目的。
curl -XPUT 'http://localhost:9200/megacorp/employee/1' -d '
{
"first_name" : "John",
"last_name" : "Smith",
"age" : 25,
"about" : "I love to go rock climbing",
"interests": [ "sports", "music" ]
}
'
可以使用head插件查看：
下面使用类似的操作加入更多的信息:
curl -XPUT 'http://localhost:9200/megacorp/employee/2' -d '
{
"first_name" : "Jane",
"last_name" : "Smith",
"age" : 32,
"about" : "I like to collect rock albums",
"interests": [ "music" ]
}
'
curl -XPUT 'http://localhost:9200/megacorp/employee/3' -d '
{
"first_name" : "Douglas",
"last_name" : "Fir",
"age" : 35,
"about": "I like to build cabinets",
"interests": [ "forestry" ]
}
'
六、检索文档
直接使用GET请求，非常简单
[root@ysz211 ~]# curl 'http://localhost:9200/megacorp/employee/1?pretty'
{
"_index" : "megacorp",
"_type" : "employee",
"_id" : "1",
"_version" : 1,
"found" : true,
"_source" : {
"first_name" : "John",
"last_name" : "Smith",
"age" : 25,
"about" : "I love to go rock climbing",
"interests" : [ "sports", "music" ]
}
}
Tips: RESTFUL风格的API
我们通过HTTP方法
GET来检索文档，同样的，我们可以使用DELETE方法删除文档，使用HEAD方法检查某文档是否存在。如果想更新已存在的文档，我们只需再PUT一次。
6.1 简单搜索
GET请求非常简单——你能轻松获取你想要的文档。让我们来进一步尝试一些东西，比如简单的搜索！
我们尝试一个最简单的搜索全部员工的请求：
curl 'http://localhost:9200/megacorp/employee/_search?pretty'
返回结果大致如下：
{
"took" : 12,
"timed_out" : false,
"_shards" : {
"total" : 5,
"successful" : 5,
"failed" : 0
},
"hits" : {
"total" : 3,
"max_score" : 1.0,
"hits" : [ {
"_index" : "megacorp",
"_type" : "employee",
"_id" : "2",
"_score" : 1.0,
"_source" : {
"first_name" : "Jane",
"last_name" : "Smith",
"age" : 32,
"about" : "I like to collect rock albums",
"interests" : [ "music" ]
}
}, {
"_index" : "megacorp",
"_type" : "employee",
"_id" : "1",
"_score" : 1.0,
"_source" : {
"first_name" : "John",
"last_name" : "Smith",
"age" : 25,
"about" : "I love to go rock climbing",
"interests" : [ "sports", "music" ]
}
}, {
"_index" : "megacorp",
"_type" : "employee",
"_id" : "3",
"_score" : 1.0,
"_source" : {
"first_name" : "Douglas",
"last_name" : "Fir",
"age" : 35,
"about" : "I like to build cabinets",
"interests" : [ "forestry" ]
}
} ]
}
}
接下来，让我们搜索姓氏中包含“Smith”的员工。要做到这一点，我们将在命令行中使用轻量级的搜索方法。这种方法常被称作查询字符串(query string)搜索，因为我们像传递URL参数一样去传递查询语句：
curl 'http://localhost:9200/megacorp/employee/_search?q=last_name:Smith&pretty'
6.2 使用DSL语句查询
查询字符串搜索便于通过命令行完成特定(ad hoc)的搜索，但是它也有局限性（参阅简单搜索章节）。Elasticsearch提供丰富且灵活的查询语言叫做DSL查询(Query DSL),它允许你构建更加复杂、强大的查询。
DSL(Domain Specific Language特定领域语言)以JSON请求体的形式出现。我们可以这样表示之前关于“Smith”的查询:
curl 'http://localhost:9200/megacorp/employee/_search?pretty' -d '
{
"query" : {
"match" : {
"last_name" : "Smith"
}
}
}
'
这会返回与之前查询相同的结果。
更复杂的搜索
我们让搜索稍微再变的复杂一些。我们依旧想要找到姓氏为“Smith”的员工，但是我们只想得到年龄大于30岁的员工。我们的语句将添加过滤器(filter),它使得我们高效率的执行一个结构化搜索：
curl 'http://localhost:9200/megacorp/employee/_search?pretty' -d '
{
"query" : {
"filtered" : {
"filter" : {
"range" : {
"age" : { "gt" : 30 }
}
},
"query" : {
"match" : {
"last_name" : "smith"
}
}
}
}
}
'
注意上面的例子同时使用了过滤器和match进行搜索。
全文搜索
到目前为止搜索都很简单：搜索特定的名字，通过年龄筛选。让我们尝试一种更高级的搜索，全文搜索——一种传统数据库很难实现的功能。
我们将会搜索所有喜欢“rock climbing”的员工：
curl 'http://localhost:9200/megacorp/employee/_search?pretty' -d '
{
"query" : {
"match" : {
"about" : "rock climbing"
}
}
}
'
这里返回的结果可能会让人疑惑，首先我们来看一下结果：
{
"took" : 10,
"timed_out" : false,
"_shards" : {
"total" : 5,
"successful" : 5,
"failed" : 0
},
"hits" : {
"total" : 2,
"max_score" : 0.18985549,
"hits" : [ {
"_index" : "megacorp",
"_type" : "employee",
"_id" : "1",
"_score" : 0.18985549,
"_source" : {
"first_name" : "John",
"last_name" : "Smith",
"age" : 25,
"about" : "I love to go rock climbing",
"interests" : [ "sports", "music" ]
}
}, {
"_index" : "megacorp",
"_type" : "employee",
"_id" : "2",
"_score" : 0.019691018,
"_source" : {
"first_name" : "Jane",
"last_name" : "Smith",
"age" : 32,
"about" : "I like to collect rock albums",
"interests" : [ "music" ]
}
} ]
}
}
这里居然出现了2个结果，其中第二个只包含了rock，这就是结果相关性评分。
默认情况下，Elasticsearch根据结果相关性评分来对结果集进行排序，所谓的「结果相关性评分」就是文档与查询条件的匹配程度。很显然，排名第一的
John Smith的about字段明确的写到“rock climbing”。但是为什么
Jane Smith也会出现在结果里呢？原因是“rock”在她的abuot字段中被提及了。因为只有“rock”被提及而“climbing”没有，所以她的_score要低于John。这个例子很好的解释了Elasticsearch如何在各种文本字段中进行全文搜索，并且返回相关性最大的结果集。相关性(relevance)的概念在Elasticsearch中非常重要，而这个概念在传统关系型数据库中是不可想象的，因为传统数据库对记录的查询只有匹配或者不匹配。
短语搜索
目前我们可以在字段中搜索单独的一个词，这挺好的，但是有时候你想要确切的匹配若干个单词或者短语(phrases)。例如我们想要查询同时包含"rock"和"climbing"（并且是相邻的）的员工记录。
要做到这个，我们只要将match查询变更为match_phrase查询即可:
curl 'http://localhost:9200/megacorp/employee/_search?pretty' -d '
{
"query" : {
"match_phrase" : {
"about" : "rock climbing"
}
}
}
'
高亮我们的搜索
很多应用喜欢从每个搜索结果中高亮(highlight)匹配到的关键字，这样用户可以知道为什么这些文档和查询相匹配。在Elasticsearch中高亮片段是非常容易的。
让我们在之前的语句上增加highlight参数：
curl 'http://localhost:9200/megacorp/employee/_search?pretty' -d '
{
"query" : {
"match_phrase" : {
"about" : "rock climbing"
}
},
"highlight": {
"fields" : {
"about" : {}
}
}
}
'
当我们运行这个语句时，会命中与之前相同的结果，但是在返回结果中会有一个新的部分叫做highlight，这里包含了来自about字段中的文本，并且用<em></em>来标识匹配到的单词。
七、聚合
分析
最后，我们还有一个需求需要完成：允许管理者在职员目录中进行一些分析。 Elasticsearch有一个功能叫做聚合(aggregations)，它允许你在数据上生成复杂的分析统计。它很像SQL中的GROUP BY但是功能更强大。
举个例子，让我们找到所有职员中最大的共同点（兴趣爱好）是什么：
curl 'http://localhost:9200/megacorp/employee/_search?pretty' -d '
{
"aggs": {
"all_interests": {
"terms": { "field": "interests" }
}
}
}
'
暂时先忽略语法只看查询结果：
{
...
"hits": { ... },
"aggregations": {
"all_interests": {
"buckets": [
{
"key": "music",
"doc_count": 2
},
{
"key": "forestry",
"doc_count": 1
},
{
"key": "sports",
"doc_count": 1
}
]
}
}
}
我们可以看到两个职员对音乐有兴趣，一个喜欢林学，一个喜欢运动。这些数据并没有被预先计算好，它们是实时的从匹配查询语句的文档中动态计算生成的。如果我们想知道所有姓"Smith"的人最大的共同点（兴趣爱好），我们只需要增加合适的语句既可：
curl 'http://localhost:9200/megacorp/employee/_search?pretty' -d '
{
"query": {
"match": {
"last_name": "smith"
}
},
"aggs": {
"all_interests": {
"terms": {
"field": "interests"
}
}
}
}
'
聚合也允许分级汇总。例如，让我们统计每种兴趣下职员的平均年龄：
curl 'http://localhost:9200/megacorp/employee/_search?pretty' -d '
{
"aggs" : {
"all_interests" : {
"terms" : { "field" : "interests" },
"aggs" : {
"avg_age" : {
"avg" : { "field" : "age" }
}
}
}
}
}
'
虽然这次返回的聚合结果有些复杂，但任然很容易理解：
...
"all_interests": {
"buckets": [
{
"key": "music",
"doc_count": 2,
"avg_age": {
"value": 28.5
}
},
{
"key": "forestry",
"doc_count": 1,
"avg_age": {
"value": 35
}
},
{
"key": "sports",
"doc_count": 1,
"avg_age": {
"value": 25
}
}
]
}