zoukankan      html  css  js  c++  java

  • Doris 集群部署

    关于open file limit问题解决

    如果遇到open file limit问题

    Configuration of maximum open file limit is too low: 1024 (expected at least 32768). Please consult https://goo.gl/LgvGFl

    修改方法：
    （1）ulimit -HSn 102400
    这只是在当前终端有效，退出之后，open files 又变为默认值。
    （2）将ulimit -HSn 102400写到/etc/profile中，因为每次登录终端时，都会自动执行/etc/profile。
    （3）令修改open files的数值永久生效，则必须修改配置文件：/etc/security/limits.conf. 在这个文件后加上：
    * soft nofile 102400
    * hard nofile 102400
    这种方法需要重启机器才能生效。

    环境：Ubuntu16.04  jdk8    

     doris编译：

    ## 1. 开启
    ```bash
    docker run -d -it
    --name doris
    --net=host
    -v /volume1/doris/incubator-doris:/root/incubator-doris/ apachedoris/doris-dev:build-env-1.2

    docker exec -it 514efb88fa99 bash
    ```

    ## 2. 修改
    ```bash
    vim /usr/share/maven/conf/settings.xml
    ```
    ```xml
    <mirror>
    <id>alimaven</id>
    <name>aliyun maven</name>
    <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
    <mirrorOf>central</mirrorOf>
    </mirror>
    ```

    ## 3. 下载
    ```bash
    git clone https://github.com/apache/incubator-doris.git

    建议直接下载： https://github.com/baidu-doris/incubator-doris/releases     sudo docker cp  incubator-doris-DORIS-0.13.12-release.tar.gz  10fc0e2c0608:/root/    
    ```

    ## 4. 编译  be  fe
    ```bash
    sh build.sh
    ```

    编译完成后，产出文件在 output/ 目录中。

    5.编译——broker
    cd /root/incubator-doris-DORIS-0.13.12-release/incubator-doris/fs_brokers/apache_hdfs_broker/
    sh build.sh

    编译完成后如下图，产出文件在 output/ 目录中

    集群规划:   原文：https://blog.csdn.net/weixin_42003671/article/details/111282079

    可能有小白会问，为啥只有 FE-Follower ，却没有FE-Leader？因为Leader是从Follower中选举出来的，如果自由一个Follower ，那么它就呗选举为Leader

    hostnameFE-FollowerFE-ObserverBEmysql
    10.218.223.96 √   √ √
    10.218.223.97   √ √  
    10.218.223.98     √

    二、安装FE-Follower

    将源码编译生成的 output 下的 fe 文件夹拷贝到 10.218.223.96 指定部署路径 /opt/doris 下

    1.配置文件(priority_networks 的ip要加上网关，不知道自己的网关，用 ip a 查看 )
    cd /opt/doris/fe
mkdir /opt/doris/fe/doris-meta ####路径必须、必须、必须提前创建好
vim conf/fe.conf
###############添加下面两列信息###############
####################开始####################
meta_dir = /opt/doris/fe/doris-meta
priority_networks = 10.218.223.96/22
####################结束####################
    2.启动，日志默认存放在 fe/log/ 目录下，成功后有守护进程 PaloFe
    cd /opt/doris/fe sh
bin/start_fe.sh --daemon

    三、安装BE

    将源码编译生成的 output 下的 be 文件夹拷贝到 三台机器 指定部署路径 /opt/doris 下

    scp -r output/be/ 10.218.223.96:/opt/doris/
scp -r output/be/ 10.218.223.97:/opt/doris/
scp -r output/be/ 10.218.223.98:/opt/doris/
    1.配置文件(每台机器priority_networks写自己的地址,ip要加上网关，不知道自己的网关，用 ip a 查看 )
    cd /opt/doris/be
mkdir -p /opt/doris/be/storage ####路径必须、必须、必须提前创建好
vim conf/be.conf
###############添加下面两列信息###############
####################开始####################
storage_root_path = /opt/doris/be/storage 
priority_networks = 10.218.223.96/22 
####################结束####################
    2. FE 中添加所有 BE 节点
    host 为 FE 所在节点 ip；port 为 fe/conf/fe.conf 中的 query_port；默认使用 root 账户，无密码登录。进入fe，如果端口没改，默认是9030
    # mysql -h host -P port -uroot
mysql -h 10.218.223.96 -P 9030 -uroot

    host 为 BE 所在节点 ip；port 为 be/conf/be.conf 中的 heartbeat_service_port

    # ALTER SYSTEM ADD BACKEND "host:port";
ALTER SYSTEM ADD BACKEND "10.218.223.96:9050" ;
ALTER SYSTEM ADD BACKEND "10.218.223.97:9050" ;
ALTER SYSTEM ADD BACKEND "10.218.223.98:9050" ;
    3.启动(三台都操作),日志默认存放在 be/log/ 目录下
    cd /opt/doris/be
sh bin/start_be.sh --daemon
    4. 查看be状态(isAlive 列应为 true)
    mysql -h 10.218.223.96 -P 9030 -uroot 
SHOW PROC '/backends';

    四、安装FS_Broker(三台都装)

    将源码编译生成的 output 下的 apache_hdfs_broker文件夹拷贝到 三台机器 指定部署路径 /opt/doris 下

    scp -r output/apache_hdfs_broker/ 10.218.223.96:/opt/doris/
scp -r output/apache_hdfs_broker/ 10.218.223.97:/opt/doris/
scp -r output/apache_hdfs_broker/ 10.218.223.98:/opt/doris/
    1. 删除原来的 hdfs-site.xml 将自己hadoop的core-site.xml和hdfs-site.xml 放到 /opt/doris/apache_hdfs_broker/conf 目录下
    rm -rf conf/hdfs-site.xml
cp /etc/hadoop/conf.cloudera.hdfs/hdfs-site.xml conf/
    2.启动
    sh bin/start_broker.sh --daemon
    3.添加Broker
    host 为 FE 所在节点 ip；port 为 fe/conf/fe.conf 中的 query_port；默认使用 root 账户，无密码登录。进入fe，如果端口没改，默认是9030
    # mysql -h host -P port -uroot
mysql -h 10.218.223.96 -P 9030 -uroot

    host 为 Broker 所在节点 ip；port 为 Broker 配置文件中的 broker_ipc_port

    # ALTER SYSTEM ADD BROKER broker_name "host1:port1","host2:port2",...;
ALTER SYSTEM ADD BROKER broker_name "10.218.223.96:8000","10.218.223.97:8000","10.218.223.98:8000";
    4. 查看Broker状态(isAlive 列应为 true)
    SHOW PROC '/brokers';

    五、安装FE-Observer

    将源码编译生成的 output 下的 fe 文件夹拷贝到 10.218.223.97 指定部署路径 /opt/doris 下

    1.配置文件(priority_networks 的ip要加上网关，不知道自己的网关，用 ip a 查看 )
    cd /opt/doris/fe
mkdir /opt/doris/fe/doris-meta ####路径必须、必须、必须提前创建好
vim conf/fe.conf
###############添加下面两列信息###############
####################开始####################
meta_dir = /opt/doris/fe/doris-meta
priority_networks = 10.218.223.97/22
####################结束####################
    2.启动
    host 为 Leader 所在节点 ip, port 为 Leader 的配置文件 fe.conf 中的 edit_log_port。–helper 参数仅在 follower 和 observer 第一次启动时才需要
    cd /opt/doris/fe
# sh bin/start_fe.sh --helper host:port --daemon
sh bin/start_fe.sh --helper 10.218.223.96:9010--daemon
    3.添加Observer
    host 为 FE 所在节点 ip；port 为 fe/conf/fe.conf 中的 query_port；默认使用 root 账户，无密码登录。进入fe，如果端口没改，默认是9030
    # mysql -h host -P port -uroot
mysql -h 10.218.223.96 -P 9030 -uroot

    host 为 Follower 或 Observer 所在节点 ip，port 为其配置文件 fe.conf 中的 edit_log_port

    # ALTER SYSTEM ADD OBSERVER "host:port";
ALTER SYSTEM ADD OBSERVER "10.218.223.97:9010";

    六、使用测试 :  参考官网：http://doris.incubator.apache.org/master/zh-CN/getting-started/basic-usage.html#_1-%E5%88%9B%E5%BB%BA%E7%94%A8%E6%88%B7
  • 相关阅读:
    结构化程序的三种基本逻辑结构
    总结程序设计几大原则
    [转]AutoResetEvent 与 ManualResetEvent区别
    ASP.NET高并发解决方案
    关于SQL SERVER高并发解决方案
    【转】sql server开启全文索引方法
    SQL Server技术问题之自定义函数优缺点
    SQL Server技术问题之视图优缺点
    SQL Server技术问题之触发器优缺点
    SQL Server技术问题之索引优缺点
  • 原文地址：https://www.cnblogs.com/lshan/p/14783966.html
Copyright © 2011-2022 走看看