python与consul 实现gRPC服务注册-发现

背景

通过对gRPC的介绍我们知道，当正常启动服务后，我们只需要知道ip，port就可以进行gRPC的连接。可以想到，这种方式并不适合用于线上环境，因为这样直连的话就失去了扩展性，当需要多机部署的时候，就无法在线上环境直接使用，而且当线上项目连接的那台服务器宕了的话，整个项目也会出错，这并不是我们想要的结果。
于是,我们需要一个服务注册与发现的机制。也就是说当我们的rpc服务启动的时候注册到另一个服务器，然后客户端连接的时候去查找对应的服务，得到相应的ip，port，然后就可以顺利进行连接了。这种方式也就是服务注册与发现，目前有zoomkeper, consul, 因为自己对zookeeper不熟悉，所以这里选用consul。整个流程如图所示

consul 的安装

1. 通过docker
   运行如下命令:
   
   docker run -d -p 8500:8500 consul consul agent -data-dir=/consul/data -config-dir=/consul/config -dev -client=0.0.0.0 -bind=0.0.0.0

2. 通过其它方式
   安装方式参考https://www.consul.io/intro/getting-started/install.html
   安装完后运行：
   consul agent --data-dir . -server -ui -bootstrap -bind=127.0.0.1

无论哪种方式，运行完之后在浏览器中打开 http://127.0.0.1:8500/ui， 可以看到如下内容

服务注册

已之前介绍的gRPC代码为基础，我们加入服务注册部分（注：本人环境为python3， 需要python2的，自己进行修改）

 import time
 import grpc
 import consul
 import json
 from concurrent import futures
 
 import test_pb2_grpc
 import test_pb2
 
 
 def test(request, context):
     # 实际调用到的函数
     json_response = test_pb2.JSONResponse()
     json_response.rst_string = json.dumps({"ret":"Hi gRPC"})# 构造出proto文件中定义的返回值格式
     return json_response
 
 class OrderHandler(test_pb2_grpc.OrderHandlerServicer):
     def create_order(self, request, context):
         return test(request, context)
 
 def register(server_name, ip, port):
     c = consul.Consul() # 连接consul 服务器，默认是127.0.0.1，可用host参数指定host
     print(f"开始注册服务{server_name}")
     check = consul.Check.tcp(ip, port, "10s") # 健康检查的ip，端口，检查时间
     c.agent.service.register(server_name, f"{server_name}-{ip}-{port}",
             address=ip, port=port, check=check) # 注册服务部分
     print(f"注册服务{server_name}成功")
 
 def unregister(server_name, ip, port):
     c = consul.Consul()
     print(f"开始退出服务{server_name}")
     c.agent.service.deregister(f'{server_name}-{ip}-{port}')
 
 def serve():
     server = grpc.server(futures.ThreadPoolExecutor(max_workers=10))
     test_pb2_grpc.add_OrderHandlerServicer_to_server(OrderHandler(), server)
     server.add_insecure_port('[::]:{}'.format(12006))
     register("order_server", "0.0.0.0", 12006)
     server.start()
     try:
         while True:
             time.sleep(186400)
     except KeyboardInterrupt:
         unregister("order_server", "0.0.0.0", 12006)
         server.stop(0)
 
 serve()

要运行此服务需要先安装 python-consul pip install python-consul
运行此服务，在浏览器中会出现我们刚刚注册的服务，和可用节点，健康信息，如图

当使用ctrl+c 退出服务时，会取消注册。也就是会从consul列表里消失。
注意： 当健康检测失败时，并不意味着服务有问题，仅表示consul服务器和对应的rpc服务的端口连不上而已

rpc客户端连接

客户端需要向consul服务器请求，得到可用的rpc服务的ip，端口，在进行连接，我们还是基于之前的客户端代码进行修改，完整代码如下：

 import grpc
 from dns import resolver
 from dns.exception import DNSException
 
 import test_pb2_grpc
 import test_pb2
 
 # 连接consul服务，作为dns服务器
 consul_resolver = resolver.Resolver()
 consul_resolver.port = 8600
 consul_resolver.nameservers=["127.0.0.1"]
 
 
 def get_ip_port(server_name):
    '''查询出可用的一个ip，和端口'''
     try:
         dnsanswer = consul_resolver.query(f'{server_name}.service.consul', "A")
         dnsanswer_srv = consul_resolver.query(f"{server_name}.service.consul", "SRV")
     except DNSException:
         return None, None
     return dnsanswer[0].address, dnsanswer_srv[0].port
 
 ip, port = get_ip_port("order_server")
 
 channel = grpc.insecure_channel(f"{ip}:{port}")
 stub = test_pb2_grpc.OrderHandlerStub(channel)
 # 要完成请求需要先构造出proto文件中定义的请求格式
 ret = stub.create_order(test_pb2.OrderRequest(phone="12990", price="50"))
 
 print(ret.rst_string)

总结

至此，我们已经搭建好了一套简单服务注册-发现系统。当然consul的功能远不止这一点，它还支持分布式，多节点部署。需要了解更多，可以去官网做进一步了解。

踩过的坑

• 在示例中，我们只捕获了ctrl+c 信号，在实际中，服务会因为一些奇怪的问题宕掉，而此时，该节点信息会一直在consul里面，除非手动注销，所以需要捕获所有异常信号。
• 单节点的时候，consul服务挂掉会影响所有相关的项目，所以最好还是有从节点。