zoukankan      html  css  js  c++  java
  • dolphinscheduler1.3.3部署中踩到的坑

    ==背景==

    我目前在做的项目属于物联网场景,数据实时流处理之后已经存储到了时序数据库当中,

    需要从时序数据库中,根据具体的业务特性来生成一些具体的业务数据(如报表数据),

    这个部分的架构,在我们项目中目前还是一个盲点,需要解决掉它。

    经朋友介绍,dolphinscheduler这个调度工具出现在了我的视野当中,进行了一次部署尝试。

    ==下载==

    https://dolphinscheduler.apache.org/zh-cn/docs/release/download.html

    直接去官网下载就可以了,我这里下载的是1.3.3版本

    ==部署==

    官网的部署文档非常的详细,基本上按照步骤直接操作就可以部署成功。

    https://dolphinscheduler.apache.org/zh-cn/docs/1.3.3/user_doc/quick-start.html

    需要注意的是,不要看错了文档,默认的是1.2.1版本的文档哦。 

    ==踩过的坑==

    【小插曲1】

    问题描述:

    由于我验证的环境在阿里云ecs服务器当中,为了应对阿里云的安全检查,将zookeeper配置了acl权限验证。

    结果在ds启动的时候,提示错误KeeperErrorCode = NoAuth,告诉我无法在zk中创建/dolphinscheduler路径,

    解决办法:

    1、进入zkCli客户端
    sh /home/radmin/zookeeper-3.5.6/bin/zkCli.sh
    2、获取auth用户
    addauth digest zk_admin:RexelZkAdmin#982
    3、手动创建路径
    create /dolphinscheduler

    【小插曲2】

    问题描述:

    执行了install.sh之后,发现3个节点当中,只有1个节点启动成功了,另外两个节点的jps进程中没有ds的进程。

    问题原因:

    是因为我太过于心急了,对另外两个节点没有创建ds的用户。按照官网提示的操作,创建用户即可。

    # 创建用户需使用root登录,设置部署用户名,请自行修改,后面以dolphinscheduler为例
    useradd dolphinscheduler;
    
    # 设置用户密码,请自行修改,后面以dolphinscheduler123为例
    echo "dolphinscheduler123" | passwd --stdin dolphinscheduler
    
    # 配置sudo免密
    echo 'dolphinscheduler  ALL=(ALL)  NOPASSWD: NOPASSWD: ALL' >> /etc/sudoers
    sed -i 's/Defaults    requirett/#Defaults    requirett/g' /etc/sudoers

    【小插曲3】

    问题描述:

    web页面启动不起来

    解决办法:

    打开以下两个配置项,都使用默认值就可以。

    文件:master.properties,配置项:master.listen.port=5678

    文件:worker.properties,配置项:worker.listen.port: 1234

    --END--

  • 相关阅读:
    HDU4932——二分——Miaomiao's Geometry
    DFS HDOJ 2181 哈密顿绕行世界问题
    Codeforces Round #331 (Div. 2)
    二分+贪心 hihocoder 1249 Xiongnu's Land (15北京A)
    构造 hihocoder 1257 Snake Carpet (15北京I)
    暴力 hihoCoder 1251 Today Is a Rainy Day (15北京C)
    2015北京赛区总结
    Trie UVALive 7192 Chip Factory (15长春J)
    DFS(剪枝) POJ 1724 ROADS
    DFS POJ 2676 Sudoku
  • 原文地址:https://www.cnblogs.com/quchunhui/p/14071038.html
Copyright © 2011-2022 走看看