zoukankan      html  css  js  c++  java
  • ZooKeeper场景实践:(2)集中式配置管理

    1. 基本介绍

    在分布式的环境中,可能会有多个对等的程序读取相同的配置文件,程序能够部署在多台机器上,假设配置採用文件的话,则须要为部署该程序的机器也部署一个配置文件,一旦要改动配置的时候就会很麻烦,须要改动多个配置文件,并且easy产生不一致。
    集中式配置管理的思路是,将配置数据集中公布到ZooKeeper的节点上。供订阅者动态获取数据。实现配置的集中式管理和动态更新。

    能够简单的理解为配置数据与程序分离。

    2. 场景分析

    (1).集中式配置管理

    通常来说,大部分项目里面都有约定的配置文件格式,如ini,xml等。一般都会有相应的解析库类。这样的解析库类的基本工作模式为:

    1. 读取文件(open)
    2. 解析文件(parse)
    3. 对外提供參数(get)

    假设我们将文件的内容所有放到ZooKeeper的某个节点上.解析类将配置数据所有下载到本地,在完毕解析的话。则能够用非常小的修改就完毕集中式配置管理的需求。

    1. 读取Zookeeper上相应路径的数据(read)
    2. 解析文件(parse)
    3. 对外提供參数(get)

    (2).动态更新

    动态更新是希望不重新启动程序就行实时获取更新的配置。在单机环境中,这样的配置数据一般会放在数据库中。改动配置仅仅须要update数据库就行了。
    使用ZooKeeper的话,须要节点注冊一个watcher,监视配置数据的是否有变化,一定出现变化,则调用新的解析类来又一次解析配置数据。
    个人觉得这个特征使用Zookeeper能够实现,可是并非全部配置都须要这个功能,这样的比較适合对配置敏感,须要实时更新配置的情况。

    3. 动手实践

    这里我仅仅实现了集中式配置管理的功能,没有实现动态更新,有须要的话你能够尝试自己实现。


    因为之前以前做个一个ini文件的库类解析,这里就直接拿过来改了。

    依据场景的分析,仅仅须要改动open这个函数就ok了。

    看下原来的open函数

    /*读取文件名称要改为地址和路径*/
    int IniFile::open(const string &filename)
    {    
        release();
        fname_ = filename;
        IniSection *section = NULL;
        /*读取数据的方式须要改动*/
        FILE *fp = fopen(filename.c_str(),"r");
    
        if(fp == NULL ){
            return -1;
        }
    
        string line;
        string comment;
    
        //添加默认段
        section = new IniSection();
        sections_[""] = section;
        /*获取行的方式须要改动*/
        while(getline(line,fp) > 0){
    
            ...//省略单行的解析
    
        }
    
        fclose(fp);
    
        return 0;
    }


    我们有三个主要须要改动的地方。各自是是入參,fopen和getline。

    以下是改动后的open函数

    /*改动入參。host为Zookeeper的ip及port地址。filepath为配置数据的路径*/
    int IniFile::open2(const string &host,const string &filepath)
    {    
        release();
        fname_ = filepath;
        IniSection *section = NULL;
        char fp[2048]={0};
        /*ZooKeeper来读取*/
        zkopen(host,filepath,fp,sizeof(fp));
    
        if(fp[0] == 0){
            return -1;
        }
    
        string line;
        string comment;
    
        //添加默认段
        section = new IniSection();
        sections_[""] = section;
    
        char *p = fp;
        /*调整getline的入參*/
        while(getline2(line,p) > 0){
              ...//省略单行的解析
    
        }
    
    
        return 0;
    }


    zkopen从Zookeeper的节点上读取数据,并保存到fp中。

    代码例如以下:

    string zkopen(const string &host,const string &filepath,char *fp,int len)
    {
        int timeout = 30000;  
        char path_buffer[512];  
        int bufferlen=sizeof(path_buffer); 
        char conf_data[2048];
        int conf_len=sizeof(conf_data); 
    
        zoo_set_debug_level(ZOO_LOG_LEVEL_WARN); //设置日志级别,避免出现一些其它信息  
    
        zhandle_t* zkhandle = zookeeper_init(host.c_str(),NULL, timeout, 0, (char *)"Monitor Test", 0);  
    
        if (zkhandle ==NULL)  
        {  
            fprintf(stderr, "Error when connecting to zookeeper servers...
    ");  
            exit(EXIT_FAILURE);  
        }  
    
        int ret = zoo_get(zkhandle,filepath.c_str(),0,conf_data,&conf_len,NULL);
        if(ret != ZOK){
            fprintf(stderr,"failed to get the data of path %s!
    ",filepath.c_str());
            conf_data[0] = 0;
        }
    
        zookeeper_close(zkhandle); 
    
        strncpy(fp,conf_data,len);
        return conf_data;
    }


    接下来在对照下调用的变化。
    原来的调用方式:

      /** read test **/
        IniFile ini;
        ini.open(g_filepath);
    
        //获取指定段的指定项的值
        int ret = 0;
        string db_name = ini.getStringValue("COMMON","DB",ret);
        string db_passwd = ini.getStringValue("COMMON","PASSWD",ret);


    如今的调用方式:

     /** read test **/
        IniFile ini;
        ini.open2(g_host,g_filepath);/*仅此处有变化*/
    
        //获取指定段的指定项的值
        int ret = 0;
        string db_name = ini.getStringValue("COMMON","DB",ret);
        string db_passwd = ini.getStringValue("COMMON","PASSWD",ret);


    由上可见,配置的改造还是非常easy的。并且对程序的修改非常小。
    代码详见https://github.com/Winnerhust/ZooKeeper-Exam/tree/master/Config

    5.小提示

    须要注意一点,配置文件里通常有非常多换行,而ZooKeeper的client命令行工作不支持字符转义。

    比方你要将一个配置文件test.ini的内容保存到Zookeeper上,文件内容例如以下。


    [COMMON]
    DB=mysql
    PASSWD=root

    你可能会在Zookeeperclient上输入:
    [zk: 172.17.0.36:2181(CONNECTED) 39] create /Conf/test.ini [COMMON] DB=mysql PASSWD=root
    结果与我们希望的并不一样:
    [zk: 172.17.0.36:2181(CONNECTED) 43] get /Conf/test.ini3[COMMON] DB=mysql PASSWD=root

    Zookeeper并没有将字符串进行转义,所以不能用ZooKeeperclient直接上传配置文件。因此在代码里我还添加了一个上传配置的功能。仅仅须要将上一个參数-r就能够了。如将test.ini文件的内容上传到ZooKeeper:
    cat test.ini | testcase -r -p/Conf/test.ini -s172.17.0.36:2181


  • 相关阅读:
    极光推送 标签和别名设置说明
    极光推送集成遇到的坑
    iOS开发:创建推送开发证书和生产证书,以及往极光推送官网上传证书的步骤方法
    【大数据算法】蓄水池抽样算法
    【leetcode】Find Minimum in Rotated Sorted Array I&&II
    朴素贝叶斯算法的实例
    【leetcode】Min Stack -- python版
    朴素贝叶斯算法的python实现
    决策树的python实现
    kNN算法python实现和简单数字识别
  • 原文地址:https://www.cnblogs.com/bhlsheji/p/5133048.html
Copyright © 2011-2022 走看看