[DB] ElasticSearch

安装

• root用户解压，修改配置文件
• 创建新用户es
• 修改文件权限：chown -R es:es /kkb/install/elasticsearch-6.7.0/
• 用es用户启动ElasticSearch和kibana
• kibana启动：nohup bin/kibana >/dev/null 2>&1 &

概念

• Relational DB：Databases -> Tables -> Rows -> Columns
• Elasticsearch：Indices   -> Types  -> Documents -> Fields
• 索引（Indices）：对应MySQL中的库
• 类型（Types）：对应MySQL中的表
• 文档（Documents）：对应MySQL中的行
• 字段（Fields）：对应MySQL中的列
• 映射（mapping）：定义数据类型
• 分片（shards）：将索引划分为多份，可以存放在任何节点上（每个索引默认5个）
• 复制（replicas）：分片的拷贝，防止数据丢失（每个索引默认1个）

与DB差异

• ES不是关系数据库，不具备ACID特性，乐观锁VS乐观锁
• ES是近似实时数据库，不是实时数据库，内部基于refresh机制更新
• SQL VS Nosql
• 任何两个异构数据库同步都会有问题，一致性，实时性

与DB混搭

• DB全能（ACID），ES专长（海量查询）
• 技术需求
  • 大数据量查询/关联查询，两个表作join，难以优化
  • 弹性扩展能力，大宽表
• 业务需求
  • 业务领域复杂度，水平分库分表
  • 业务查询要求，多业务线联合查询　　

单数据表，单索引

• ES作为DB的映射
• DB作为数据源
• ES为查询引擎

单数据表，多索引

• 同一DB表成为多个索引的数据

多数据表，单索引

• 多个DB表
• 一个索引
• 大宽表 

多数据表，多索引

• 多DB表映射多索引

多数据源表，多索引

• 多种数据源
• 多种索引
• Sql/Nosql

同步模式

• 推Push：数据源主动推送
• 拉Pull：数据目标主动拉取
• 推拉结合Push+Pull

应用双写

应用异步双写MQ

• 推拉结合
• 早期基于Lucene搜索
• 自主灵活
• 耦合高

 

工具 

• Logstash
• 拉Pull
• JDBC+CRON
• 单进程

Apache NiFi

• 上百节点，一天200TB
• 将Logstash平台化

SDC

CDC（Change Data Capture）

• 推Push
• 基于数据库底层同步机制
• Mysql-binlog

 自主开发同步程序

 多数据源

多数据源数据交换

• 没有统一解决方案

常用数据库

• 关系数据库（MySQL）
• 缓存（Redis）
• ES

操作

• curl ：在命令行下面访问url的工具，可以简单实现常见的get/post请求。centos默认库里面是有curl工具，如果没有可通过yum安装
  • -X 指定http的请求方法 有HEAD GET POST PUT DELETE
  • -d 指定要传输的数据
  • -H 指定http请求头信息　
• restful：在kibana中操作
• java api

命令

• curl

curl -XPUT http://node01:9200/blog01/?pretty
curl -XPUT http://node01:9200/blog01/article/1?pretty -d  '{"id": "1", "title": "What is lucene"}'
curl -XGET http://node01:9200/blog01/article/1?prettycurl -XPUT http://node01:9200/blog01/article/1?pretty -d  '{"id": "1", "title": " What is elasticsearch"}'
curl -XGET "http://node01:9200/blog01/article/_search?q=title:elasticsearch" 
curl -XDELETE "http://node01:9200/blog01/article/1?pretty"
curl -XDELETE http://node01:9200/blog01?pretty

• 增加数据（批量）

POST /school/student/_bulk
{ "index": { "_id": 1 }}
{ "name" : "liubei", "age" : 20 , "sex": "boy", "birth": "1996-01-02" , "about": "i like diaocan he girl" }
{ "index": { "_id": 2 }}
{ "name" : "guanyu", "age" : 21 , "sex": "boy", "birth": "1995-01-02" , "about": "i like diaocan" }

• 查询（全部）

GET /school/student/_search?pretty
{
    "query": {
        "match_all": {}
    }
}

• 查询（关键字）

GET /school/student/_search?pretty
{
    "query": {
         "match": {"about": "travel"}
     }
}

• mapping定义字段类型　

DELETE school
PUT school
{
  "mappings": {
    "logs" : {
      "properties": {"messages" : {"type": "text"}}
    }
  }
}
POST /school/_mapping/logs
{
  "properties": {"number" : {"type": "text"}}
}

GET /school/_mapping/logs

• 管理分片和副本数

DELETE document
PUT document
{
  "mappings": {
    "article" : {
      "properties":
      {
        "title" : {"type": "text"} , 
        "author" : {"type": "text"} , 
        "titleScore" : {"type": "double"} 
        
      }
    }
  }
}

GET /document/_settings
PUT /document/_settings
{
  "number_of_replicas": 2
}

分片数初始定义后无法修改　　

参考

安装

https://cloud.tencent.com/developer/article/1595027

root用户无法启动

https://www.cnblogs.com/tree1123/p/13152267.html

hive数据存入ES

http://www.bubuko.com/infodetail-3047662.html

elasticsearch-head安装

https://www.chajianmi.com/topic/ffmkiejjmecolpfloofpjologoblkegm#download

https://blog.csdn.net/boss_way/article/details/105826584

基本操作

https://www.cnblogs.com/leohahah/p/10310214.html

分片异常

https://www.cnblogs.com/carryLess/p/9452000.html

kibana

https://blog.csdn.net/baidu_24545901/article/details/79031291

ES与Hive集成

https://blog.csdn.net/tototuzuoquan/article/details/102601040

Spark将Hive数据写入ES（将hive离线计算的结果通过spark任务导入es中以便业务功能快速查询）

https://blog.csdn.net/LXWalaz1s1s/article/details/109264520

SparkStreaming--Kafka--Hive--ES

https://blog.csdn.net/m0_37592814/article/details/105027815?