zoukankan      html  css  js  c++  java

  • Doris 集群部署

    关于open file limit问题解决

    如果遇到open file limit问题

    Configuration of maximum open file limit is too low: 1024 (expected at least 32768). Please consult https://goo.gl/LgvGFl

    修改方法：
    （1）ulimit -HSn 102400
    这只是在当前终端有效，退出之后，open files 又变为默认值。
    （2）将ulimit -HSn 102400写到/etc/profile中，因为每次登录终端时，都会自动执行/etc/profile。
    （3）令修改open files的数值永久生效，则必须修改配置文件：/etc/security/limits.conf. 在这个文件后加上：
    * soft nofile 102400
    * hard nofile 102400
    这种方法需要重启机器才能生效。

    环境：Ubuntu16.04  jdk8    

     doris编译：

    ## 1. 开启
    ```bash
    docker run -d -it
    --name doris
    --net=host
    -v /volume1/doris/incubator-doris:/root/incubator-doris/ apachedoris/doris-dev:build-env-1.2

    docker exec -it 514efb88fa99 bash
    ```

    ## 2. 修改
    ```bash
    vim /usr/share/maven/conf/settings.xml
    ```
    ```xml
    <mirror>
    <id>alimaven</id>
    <name>aliyun maven</name>
    <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
    <mirrorOf>central</mirrorOf>
    </mirror>
    ```

    ## 3. 下载
    ```bash
    git clone https://github.com/apache/incubator-doris.git

    建议直接下载： https://github.com/baidu-doris/incubator-doris/releases     sudo docker cp  incubator-doris-DORIS-0.13.12-release.tar.gz  10fc0e2c0608:/root/    
    ```

    ## 4. 编译  be  fe
    ```bash
    sh build.sh
    ```

    编译完成后，产出文件在 output/ 目录中。

    5.编译——broker
    cd /root/incubator-doris-DORIS-0.13.12-release/incubator-doris/fs_brokers/apache_hdfs_broker/
    sh build.sh

    编译完成后如下图，产出文件在 output/ 目录中

    集群规划:   原文：https://blog.csdn.net/weixin_42003671/article/details/111282079

    可能有小白会问，为啥只有 FE-Follower ，却没有FE-Leader？因为Leader是从Follower中选举出来的，如果自由一个Follower ，那么它就呗选举为Leader

    hostnameFE-FollowerFE-ObserverBEmysql
    10.218.223.96 √   √ √
    10.218.223.97   √ √  
    10.218.223.98     √

    二、安装FE-Follower

    将源码编译生成的 output 下的 fe 文件夹拷贝到 10.218.223.96 指定部署路径 /opt/doris 下

    1.配置文件(priority_networks 的ip要加上网关，不知道自己的网关，用 ip a 查看 )
    cd /opt/doris/fe
mkdir /opt/doris/fe/doris-meta ####路径必须、必须、必须提前创建好
vim conf/fe.conf
###############添加下面两列信息###############
####################开始####################
meta_dir = /opt/doris/fe/doris-meta
priority_networks = 10.218.223.96/22
####################结束####################
    2.启动，日志默认存放在 fe/log/ 目录下，成功后有守护进程 PaloFe
    cd /opt/doris/fe sh
bin/start_fe.sh --daemon

    三、安装BE

    将源码编译生成的 output 下的 be 文件夹拷贝到 三台机器 指定部署路径 /opt/doris 下

    scp -r output/be/ 10.218.223.96:/opt/doris/
scp -r output/be/ 10.218.223.97:/opt/doris/
scp -r output/be/ 10.218.223.98:/opt/doris/
    1.配置文件(每台机器priority_networks写自己的地址,ip要加上网关，不知道自己的网关，用 ip a 查看 )
    cd /opt/doris/be
mkdir -p /opt/doris/be/storage ####路径必须、必须、必须提前创建好
vim conf/be.conf
###############添加下面两列信息###############
####################开始####################
storage_root_path = /opt/doris/be/storage 
priority_networks = 10.218.223.96/22 
####################结束####################
    2. FE 中添加所有 BE 节点
    host 为 FE 所在节点 ip；port 为 fe/conf/fe.conf 中的 query_port；默认使用 root 账户，无密码登录。进入fe，如果端口没改，默认是9030
    # mysql -h host -P port -uroot
mysql -h 10.218.223.96 -P 9030 -uroot

    host 为 BE 所在节点 ip；port 为 be/conf/be.conf 中的 heartbeat_service_port

    # ALTER SYSTEM ADD BACKEND "host:port";
ALTER SYSTEM ADD BACKEND "10.218.223.96:9050" ;
ALTER SYSTEM ADD BACKEND "10.218.223.97:9050" ;
ALTER SYSTEM ADD BACKEND "10.218.223.98:9050" ;
    3.启动(三台都操作),日志默认存放在 be/log/ 目录下
    cd /opt/doris/be
sh bin/start_be.sh --daemon
    4. 查看be状态(isAlive 列应为 true)
    mysql -h 10.218.223.96 -P 9030 -uroot 
SHOW PROC '/backends';

    四、安装FS_Broker(三台都装)

    将源码编译生成的 output 下的 apache_hdfs_broker文件夹拷贝到 三台机器 指定部署路径 /opt/doris 下

    scp -r output/apache_hdfs_broker/ 10.218.223.96:/opt/doris/
scp -r output/apache_hdfs_broker/ 10.218.223.97:/opt/doris/
scp -r output/apache_hdfs_broker/ 10.218.223.98:/opt/doris/
    1. 删除原来的 hdfs-site.xml 将自己hadoop的core-site.xml和hdfs-site.xml 放到 /opt/doris/apache_hdfs_broker/conf 目录下
    rm -rf conf/hdfs-site.xml
cp /etc/hadoop/conf.cloudera.hdfs/hdfs-site.xml conf/
    2.启动
    sh bin/start_broker.sh --daemon
    3.添加Broker
    host 为 FE 所在节点 ip；port 为 fe/conf/fe.conf 中的 query_port；默认使用 root 账户，无密码登录。进入fe，如果端口没改，默认是9030
    # mysql -h host -P port -uroot
mysql -h 10.218.223.96 -P 9030 -uroot

    host 为 Broker 所在节点 ip；port 为 Broker 配置文件中的 broker_ipc_port

    # ALTER SYSTEM ADD BROKER broker_name "host1:port1","host2:port2",...;
ALTER SYSTEM ADD BROKER broker_name "10.218.223.96:8000","10.218.223.97:8000","10.218.223.98:8000";
    4. 查看Broker状态(isAlive 列应为 true)
    SHOW PROC '/brokers';

    五、安装FE-Observer

    将源码编译生成的 output 下的 fe 文件夹拷贝到 10.218.223.97 指定部署路径 /opt/doris 下

    1.配置文件(priority_networks 的ip要加上网关，不知道自己的网关，用 ip a 查看 )
    cd /opt/doris/fe
mkdir /opt/doris/fe/doris-meta ####路径必须、必须、必须提前创建好
vim conf/fe.conf
###############添加下面两列信息###############
####################开始####################
meta_dir = /opt/doris/fe/doris-meta
priority_networks = 10.218.223.97/22
####################结束####################
    2.启动
    host 为 Leader 所在节点 ip, port 为 Leader 的配置文件 fe.conf 中的 edit_log_port。–helper 参数仅在 follower 和 observer 第一次启动时才需要
    cd /opt/doris/fe
# sh bin/start_fe.sh --helper host:port --daemon
sh bin/start_fe.sh --helper 10.218.223.96:9010--daemon
    3.添加Observer
    host 为 FE 所在节点 ip；port 为 fe/conf/fe.conf 中的 query_port；默认使用 root 账户，无密码登录。进入fe，如果端口没改，默认是9030
    # mysql -h host -P port -uroot
mysql -h 10.218.223.96 -P 9030 -uroot

    host 为 Follower 或 Observer 所在节点 ip，port 为其配置文件 fe.conf 中的 edit_log_port

    # ALTER SYSTEM ADD OBSERVER "host:port";
ALTER SYSTEM ADD OBSERVER "10.218.223.97:9010";

    六、使用测试 :  参考官网：http://doris.incubator.apache.org/master/zh-CN/getting-started/basic-usage.html#_1-%E5%88%9B%E5%BB%BA%E7%94%A8%E6%88%B7
  • 相关阅读:
    centos 安装 TortoiseSVN svn 客户端
    linux 定时任务 日志记录
    centos6.5 安装PHP7.0支持nginx
    linux root 用户 定时任务添加
    composer 一些使用说明
    laravel cookie写入
    laravel composer 安装指定版本以及基本的配置
    mysql 删除重复记录语句
    linux php redis 扩展安装
    linux php 安装 memcache 扩展
  • 原文地址：https://www.cnblogs.com/lshan/p/14783966.html
Copyright © 2011-2022 走看看