高并发教程-基础篇-之分布式全文搜索引擎elasticsearch的搭建
如果大家看了我的上一篇《2.高并发教程-基础篇-之nginx+mysql实现负载均衡和读写分离》文章，如果能很好的利用，那么其实已经可以轻松日抗千万级别的访问量了，但是如果业务涉及查询比较多，查询条件比较丰富，又或者我就想要查询的响应更快点，那么在mysql上面去做优化，其实比较辛苦,有没有更好的解决方案呢？答案是肯定的！它就是我们今天的主角，分布式全文搜索引擎elasticsearch.
技巧提示：mysql集群层主要提供核心业务逻辑的读写以及数据的冗余备份；elasticsearch负责前端的查询和展示。比如，用户的所有写操作都是在mysql的master服务器上面完成；然后通过主从机制，把数据同步至多个mysql从机，然后通过从机把数据同步至elasticsearch.因为有多个mysql从机，所有同步的时候划分合适数量的表分担至各个从机去同步，这样既可以减轻各个mysql服务器的压力，又可以更加高效同步。同步工具这里推荐logstash,大家自行搜索了解，如果遇到坑可以留言。
一、架构图：
服务器准备：3台，ubuntu16.04系统+elasticsearch-6.2.4
slave1:192.168.1.191 ES集群master
slave2:192.168.1.192 ES集群slave
slave3:192.168.1.193 ES集群slave
[注意：nginx方向代理和mysql集群的配置这里不做说明,大家可以看我的之前的文章]
二、elasticsearch配置(分别在三台服务器上面进行如下操作)
1.java环境配置：
*请自行前往java官方下载java，然后解压至合适目录
vim /etc/profile加入如下内容：
#java
export JAVA_HOME=/home/qizexi/data/java #这个改为你java的解压目录
export JAVA_CLASS=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/jre/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
保存，退出
source /etc/profile
java -version看到如下内容即是java安装成功
---------------------------------------
java version "1.8.0_141"
---------------------------------------
2.账号准备：
elasticsearch不允许以root账号运行，所以我们可以添加一个es用户来负责运行elasticsearch
useradd es
passwd es
将elasticsearch-6.2.4的安装目录变更为es用户
chown -R es:es elasticsearch-6.2.4
改变ulimit的1024的限制
vim /etc/security/limits.conf
* hard nofile 100000
* soft nofile 100000
* hard nproc 100000
* soft nproc 100000
保存退出
source /etc/security/limits.conf
切换es用户(su es)之后运行
ulimit -n可以看到
100000
说明成功，否则可以重启生效:)
改变max_map_countd的限制：
vim /etc/sysctl.conf修改如下配置:
vm.max_map_count=262144
保存退出
运行：sysctl -p
3.主服务器配置(191):
cd 到elasticsearch-6.2.4的解压目录
vim config/elasticsearch.yml修改如下内容：
cluster.name: my-app
node.name: master
network.host: 192.168.1.191
http.port: 9200
discovery.zen.ping.unicast.hosts: ["192.168.1.191", "192.168.1.192", "192.168.1.193"]
保存，然后使用es账号启动即可.
su es
bin/elasticsearch -d
su root
netstat -tlnp看到如下内容即是成功(有可能过几秒钟才能看到):
------------------------------------------------------
192.168.1.191:9200
192.168.1.191:9300
4.配置从服务器（192,193）:
cd 到elasticsearch-6.2.4的解压目录
vim config/elasticsearch.yml修改如下内容：
cluster.name: my-app
node.name: slave1 #193服务器改为slave2
network.host: 192.168.1.192 #193服务器改为192.168.1.193
http.port: 9200
discovery.zen.ping.unicast.hosts: ["192.168.1.191", "192.168.1.192", "192.168.1.193"]
保存，然后使用es账号启动即可.
su es
bin/elasticsearch -d
su root
netstat -tlnp看到如下内容即是成功(有可能过几秒钟才能看到):
-------------------------------------------------------
192.168.1.192:9200 #192上面看到是193
192.168.1.192:9300 #192上面看到是193
5.查看集群的状态：
curl -XGET 'http://192.168.1.191:9200/_cat/nodes?v'
看到三个节点即可成功：
ip heap.percent ram.percent cpu load_1m load_5m load_15m node.role master name
192.168.1.191 25 55 0 0.00 0.01 0.00 mdi * master
192.168.1.192 22 97 5 0.70 0.34 0.17 mdi - slave1
192.168.1.193 20 75 30 0.54 0.14 0.05 mdi - slave2