ElasticSearch搜索服务技术

ElasticSearch

　　基于的lucene开发的搜索服务技术;天生支持分布式;

Es的结构

　　

• gatway:存储层,所有的数据可以存储在本地(多个es节点形成分布式存储),hdfs输出位置,共享文件等
• 分布式lucene框架:把lucene缺少的分布式支持,做成一个基于lucene的框架
• ES自定义功能:ES自己的功能实现,例如关闭,打开索引,设置索引的读写权限等
• 功能插件:实现集群的管理,形成各种自定义插件,discovery自动发现功能
• 传输协议:支持http协议,支持thrift(AVRO)
• 用户接口: java api DSL操作命令基于http协议,发起的restFul传参操作ES

ElasticSearch存储应用概念

　　索引index:lucene中提到的索引文件,这个整体看来类似数据库中的某个库

　　类型Type: 在一个索引中,可以有不同结构的document存在,一批一批的相似结构,把同一批结构相同的document定义为一个类型(field结构相同);类似于数据库的表格
   映射mapping: 不同类型中的各种field的属性(String int,分词计算器指定谁,长度,特性等等),都可以在mapping映射中体现;类似数据库的schema(结构)
   文档document:搜索的数据基本单位,一个数据整体,document.类似数据库中一行数据记录row,类似java中的一个pojo对象
　　域属性field:类似于数据库中的一个列column

ELK家族:es衍生了一系列的开源软件,统称 Elastic Stack,包括分布式搜索引擎es,日志采集logstash,可视化平台分析kibana

　　　　　　

 ES的安装

　　https://www.cnblogs.com/nanlinghan/p/10084639.html

ES的配置

　　https://www.cnblogs.com/nanlinghan/p/10084647.html

java API 连接操作ES

代码没有实现连接集群名称不是ealasticsearch的settings

1 依赖pom的jar包,与lucene测试分开有冲突
    <dependency>
            <groupId>org.elasticsearch.client</groupId>
            <artifactId>transport</artifactId>
            <version>5.5.2</version>
        </dependency>
2 测试案例
    • 连接es
    创建一个连接对象TransportClient
    
3 操作步骤
    • 索引的操作
    新增
    删除
    • 文档的操作
    新建文档
    curl 命令传递的是请求体中的json字符串,es解析json创建不同结构不同类型的document对象,代码中把对象转化的json字符串,添加的请求体中,完成document的创建
    {"id":10,
    "name":"**",
     "age":18
    }
    jackson 将pojo对象;easymall中的逻辑 es层,就是将数据库数据获取(持久层封装的就是pojo类对象),存入到es中需要转化成json
    添加jackson-bind的依赖
    <dependency>
            <groupId>com.fasterxml.jackson.core</groupId>
            <artifactId>jackson-databind</artifactId>
            <version>2.8.8</version>
        </dependency>
    创建一个对象pojo
    User对象
    Integer id
    String name;
　 Integer age

package com.jt.es.test;

import java.io.IOException;
import java.net.InetAddress;

import org.elasticsearch.action.admin.indices.create.CreateIndexResponse;
import org.elasticsearch.action.admin.indices.mapping.put.PutMappingRequest;
import org.elasticsearch.action.get.GetRequestBuilder;
import org.elasticsearch.action.index.IndexResponse;
import org.elasticsearch.action.search.SearchResponse;
import org.elasticsearch.client.IndicesAdminClient;
import org.elasticsearch.client.Requests;
import org.elasticsearch.client.transport.TransportClient;
import org.elasticsearch.common.settings.Settings;
import org.elasticsearch.common.transport.InetSocketTransportAddress;
import org.elasticsearch.common.xcontent.XContentBuilder;
import org.elasticsearch.common.xcontent.XContentFactory;
import org.elasticsearch.index.query.MatchQueryBuilder;
import org.elasticsearch.index.query.Operator;
import org.elasticsearch.index.query.QueryBuilders;
import org.elasticsearch.search.SearchHit;
import org.elasticsearch.search.SearchHits;
import org.elasticsearch.transport.client.PreBuiltTransportClient;
import org.junit.Before;
import org.junit.Test;

import com.fasterxml.jackson.core.JsonProcessingException;
import com.fasterxml.jackson.databind.ObjectMapper;
import com.jt.es.pojo.User;


public class ESTest {
    private TransportClient client;
    //测试连接对象
    @Before
    public void initial() throws Exception{
        //自定义Settings
        //默认的empty中有一个就是集群名称 elasticsearch
        client=
                new PreBuiltTransportClient(Settings.EMPTY);
        //传递ip和端口 9300,client可以调用多次add方法将集群其他可连接的
        //节点同时传递
        client.addTransportAddress(
                new InetSocketTransportAddress(
                    InetAddress.getByName("10.9.100.26"),9300));
    }
    //创建索引
    @Test
    public void createIndex(){
        //利用连接客户端client,获取索引的管理对象indexAdminClient
        IndicesAdminClient indexClient = client.admin().indices();
        CreateIndexResponse cResponse = indexClient.prepareCreate("index05").get();
        //返回json {"acknowledged":true,"shards_acknowledged":true}
        System.out.println(cResponse.isAcknowledged());
        System.out.println(cResponse.isShardsAcked());
    }
    //删除
    @Test
    public void deleteIndex(){
        //利用连接客户端client,获取索引的管理对象indexAdminClient
        IndicesAdminClient indexClient = client.admin().indices();
        indexClient.prepareDelete("index05").get();//
    }
    
    //新建文档
    @Test
    public void createDoc() throws Exception{
        //准备json字符串
        User user=new User();
        user.setId(1);
        user.setName("王首富");
        user.setAge(18);
        ObjectMapper mapper=new ObjectMapper();
    String userJson=mapper.writeValueAsString(user);
    //连接对象创建 index05,user类型,1的document
    IndexResponse response = client.prepareIndex("index05", "user","1").
    setSource(userJson).execute().actionGet();
    System.out.println(response.toString());
    }
    
    //获取document
    @Test
    public void getDoc(){
        GetRequestBuilder response = client.prepareGet("index05", "user", "1");
        System.out.println(response.get().getSourceAsString());
        
    }
    
    //matchquery
    @Test
    public void query(){
        //封装查询对象query
        MatchQueryBuilder query = QueryBuilders.matchQuery("title", "java编程思想hadoop")
        .operator(Operator.OR);//查询结果必须包含条件中的所有分词
        //客户端调用查询对象获取查询结果
        // page rows
        int page=1;
        int rows=5;
        int start= (page-1)*rows;
        SearchResponse response = client.prepareSearch("book").
        setQuery(query).setFrom(start).setSize(rows).get();
        //获取响应结果中的数据,hits中
        SearchHits hits = response.getHits();
        System.out.println("共搜索到:"+hits.totalHits);
        for (SearchHit hit : hits) {
            //获取响应结果中的source
            System.out.println("title:"+hit.getSource().get("title"));
            System.out.println("content:"+hit.getSource().get("content"));
        }
    }
}

 ES集群

集群分布式和高可用在ES中都是默认配置和计算
    • 集群的分布式,es的所有数据默认5个分片,每个分片默认一个副本(总共每个分片有2分,一份值主分片,一份是从分片)
    • 集群配置完成后,启动所有集群节点,分片和副本的数据将会自动计算分配到不同的节点存储,只有从少到多的移动,没有从多到少的移动
　 • 分片默认5片,副本默认1片,自动根据集群节点数量最优的分配,分片越多,节点越多,副本越多的时候,整个集群的分布式性能越高,高可用能力越高