zoukankan      html  css  js  c++  java
  • Elasticsearch4 微服务,es打分机制,es集群搭建,es脑裂问题,Heroku部署

    1 微服务

    8服务间的通讯

     10服务的注册与发现

     11高并发和高可用

    # 1 Iaas ,Paas和Saas
    -基础设施服务:自己买服务器,开发项目,部署在服务器上,监控
    -平台即服务:项目开发完---》放到人家服务器上即可--》自动备份,自动监控
    -软件即服务:买别人的软件服务
    iass基础设施服务(组装机):你买了一大堆电脑配件,cpu 主板..然后组装完成后 装上系统就可以上网。还要自己提供场地 环境
    paas平台即服务(品牌机):买回来开机就行。需要自己提供场地,和环境(电源)
    saas软件即服务(去网吧):电脑,场地,环境(电源,网线,饮料)都是网吧提供的服务
    
    # 2 微服务是一个架构的概念
    # 3 单体应用:路飞项目所有功能都融到一个大项目里
        -单体应用可以拆成一个一个的模块,订单模块,用户模块,商品模块
    # 4 微服务
        -大项目,拆成订单服务,用户服务,商品服务,单独开发单独上线,三五个人一个项目
      
    # 5 微服务跟分布式有什么区别和联系
        -分布式:分散部署在不同的机器上的,一个服务可能有多个功能,是一种面向SOA架构的
      -分布式的方式是根据不同机器不同业务
      -微服务:相比分布式服务来说,它的粒度更小,服务之间耦合度更低,由于每个微服务都由独立的小团队负责
      -微服务更加强调单一职责、轻量级通信(HTTP)、独立性并且进程隔离。
      一台机器上可以有多个服务(每个服务是一个进程),每个分布式节点跑在不通机器上
      
    # 6 微服务架构是分布式服务架构的子集
    
    # 7 微服务:每个服务用自己的数据库
    
    # 8 每个服务之间如何通信
        -不通进程,甚至是不同的服务器
      -同步通信:对内用rpc,对外用restful
          -restful
        -rpc        (gRPC,Thrift可以用于任意语言rpc框架,都不支持restful协议[了解])
      -异步通信
          -消息队列
        
     # protobuf协议:xml,josn,protobuf(其实是二进制)   越往右越节省空间
    # 9 rpc:远程过程调用(调用远程的函数像调用本地函数一样)
        -为什么不直接用resful?它是应用层协议,http协议,数据包大一些
      -第三方开源的rpc框架,有的是自己的协议,有的也支持resful
    # 10 服务注册和发现
        -一旦上线一个服务,需要在注册中心注册
      -zookpper(java),etcd(go),consul(go)
    # 11 高并发和高可用
    - 鉴权:有没有权限来操作
    - 重试机制 (API网关再帮忙重试一次)
    - 限流  (通过后端连接数推测前端可以抗住的并发量,超出的请求被丢弃)   
        -漏桶算法
      -令牌桶算法
    - 熔断机制 (当借口不可用,下次调服务时就不会再访问这个节点了,后台还有一个程序会实时监控这个服务节点)
    - 降级  (只接受重要的请求)
    # 如果软件已经没用了,采取下方方法,承受高并发
    -保证高并发:水平扩展(最多:加机器)和垂直扩展(加内存,加硬盘,加cpu)
    
    # 微服务相关的词,融到你的简历里
    # 项目中:中间件里写了降级的方案
    # 链路监控
    redis+1-----》100 ---》超没超过100,限流或者降级

    2 es打分机制

    # es:重要的就是查询,全文检索
    # 打分机制的公式:TF-IDF
    - 一个词条在某篇文档中出现的次数越多,该文档就越相关,分越高,`TF`是词频(term frequency)
    - 一个词条如果在不同的文档中出现的次数越多,它就越不相关,分越低,`IDF`是逆文档频率
    
    # 配置打分模型
        -一般不配
      
      
    # 百度seo:免费通过关键字来让你的网站更容易被搜到
    # 百度 sem:花钱让你的网站往前放

    3 es集群搭建

    # 方案一 :广播
        -只管启动es,自动加入到集群中,一旦加入进去,自行完成数据copy
      -只需要启动读个es,自动加入到集群中(集群名字一样,才能加入到集群,没改,集群名字默认一样) 
      #测试拷贝4个es文件夹,把其中data
    odes下文件删除  一个个起es,因为没有配置端口号,启动端口号一个个往后排
    # 方案二:单播  # 注意新加入的节点必须是空数据,空配置文件,如果和其他节点文件相同可以
        -1 在每个es的配置文件中写入配置 # 在elasticsearch.yml最底下配  只要有一个es记录就行,认识的自动进集群
          cluster.name: my_es1 # 集群名字
        node.name: node1    # 节点名字
        network.host: 127.0.0.1    监听地址
        http.port: 9200  # 监听的端口号
        transport.tcp.port: 9300    # 集群交互走的端口
        discovery.zen.ping.unicast.hosts: ["127.0.0.1:9300", "127.0.0.1:9302", "127.0.0.1:9303", "127.0.0.1:9304"]    # 只要9300,9302,9303,9304端口服务器启动就会加入该集群   假如一个配了9300,9302;一个配了9302,9303。也可以组成集群
      -2 启动es即可,自动加入集群
      -3 可以在任意节点查数据,写数据,都是往集群中写,从集群中查
      -4 自己实现注册发现,重试
      
    # 好多公司用es,都用单机,没有搭集群
    # 保证高可用:
        -有一个节点挂了,服务还能能,数据还是完整(相对的)

    4 es脑裂问题

    # 假设10个节点,一个集群
    # 4个节点挂了,4个节点又上来了,4个节点组成一个集群,选了一个主,6个组成一个集群,选了一个主
    
    # 通过配置文件:
    discovery.zen.minimum_master_nodes: 3      # 大于等于3个才能组成集群
      
    # 脑裂问题出现的原因,如何解决
    
    很多都是单实例---》好点的做个主从

    研究一下在Heroku部署django项目(helloworld)

    heroku 把环境(python,uwsgi之类的)都搭好了,上传github,heroku会从github上下载

    heroku使用Postgres数据库,直接项目数据库需要更改

  • 相关阅读:
    KnockOut循环绑定
    json数组排序
    1,滑动验证,前后台接口
    写个js程序咖常写的游戏-贪吃蛇
    ionic的路由配置及参数传递
    基于jq, jquery.easie.js 开发面向对象通栏焦点图组件
    面向对象开发弹窗组件
    基于jquery开发的选项卡
    JavaScript多线程 html5 Worker, SharedWorker
    gulp常用任务
  • 原文地址:https://www.cnblogs.com/ludingchao/p/12873059.html
Copyright © 2011-2022 走看看