zoukankan      html  css  js  c++  java
  • 记录一次doris BE重启故障(BE无法启动,file descriptors limit is too small)

    在测试环境上安装了3台BE节点,按照业务要求尽可能压入多的数据,观察doris的入库速度及大数据量下的查询响应速度。使用测试程序压入了20亿条记录,过程中运行一直都很稳定。完成压入后,因为感觉count(*)效率变低、压入新的表数据发生超时的问题,于是决定重启BE节点,结果发现BE无法启动了。

    ——链接FE查看BE的状态,三个节点均拒绝连接,Alive=false:

    ——查看BE的警告日志be.WARNING(文件在be/log目录下),赫然写着file descriptors limit is too small:

    ——百度了一下说这种情况应该是BE服务器上的文件操作数量太小,应该是在安装BE的时候就要设置一下(我应该是在初始部署BE的时候忘记设置了):

    修改 /etc/security/limits.conf, 加入

    echo "* soft nofile 204800" >> /etc/security/limits.conf
    echo "* hard nofile 204800" >> /etc/security/limits.conf
    echo "* soft nproc 204800" >> /etc/security/limits.conf
    echo "* hard nproc 204800 " >> /etc/security/limits.conf

    修改 /etc/sysctl.conf, 加入
    echo fs.file-max = 6553560 >> /etc/sysctl.conf

    ——重启BE服务器,重启BE进程,好了:

     

  • 相关阅读:
    DWZ中刷新dialog的方案解决
    C#开源资源
    css 布局
    js 事件
    css 1-3
    get post
    jquery ..... deferred
    arguments -- 仅仅是百度面试问了一下,大致就这些。不深
    git push
    [转载] ie 8 兼容性, 最重要的一点是,xp 最高支持ie8
  • 原文地址:https://www.cnblogs.com/coldlight/p/15211642.html
Copyright © 2011-2022 走看看