==背景==
我目前在做的项目属于物联网场景,数据实时流处理之后已经存储到了时序数据库当中,
需要从时序数据库中,根据具体的业务特性来生成一些具体的业务数据(如报表数据),
这个部分的架构,在我们项目中目前还是一个盲点,需要解决掉它。
经朋友介绍,dolphinscheduler这个调度工具出现在了我的视野当中,进行了一次部署尝试。
==下载==
https://dolphinscheduler.apache.org/zh-cn/docs/release/download.html
直接去官网下载就可以了,我这里下载的是1.3.3版本
==部署==
官网的部署文档非常的详细,基本上按照步骤直接操作就可以部署成功。
https://dolphinscheduler.apache.org/zh-cn/docs/1.3.3/user_doc/quick-start.html
需要注意的是,不要看错了文档,默认的是1.2.1版本的文档哦。
==踩过的坑==
【小插曲1】
问题描述:
由于我验证的环境在阿里云ecs服务器当中,为了应对阿里云的安全检查,将zookeeper配置了acl权限验证。
结果在ds启动的时候,提示错误KeeperErrorCode = NoAuth,告诉我无法在zk中创建/dolphinscheduler路径,
解决办法:
1、进入zkCli客户端 sh /home/radmin/zookeeper-3.5.6/bin/zkCli.sh 2、获取auth用户 addauth digest zk_admin:RexelZkAdmin#982 3、手动创建路径 create /dolphinscheduler
【小插曲2】
问题描述:
执行了install.sh之后,发现3个节点当中,只有1个节点启动成功了,另外两个节点的jps进程中没有ds的进程。
问题原因:
是因为我太过于心急了,对另外两个节点没有创建ds的用户。按照官网提示的操作,创建用户即可。
# 创建用户需使用root登录,设置部署用户名,请自行修改,后面以dolphinscheduler为例 useradd dolphinscheduler; # 设置用户密码,请自行修改,后面以dolphinscheduler123为例 echo "dolphinscheduler123" | passwd --stdin dolphinscheduler # 配置sudo免密 echo 'dolphinscheduler ALL=(ALL) NOPASSWD: NOPASSWD: ALL' >> /etc/sudoers sed -i 's/Defaults requirett/#Defaults requirett/g' /etc/sudoers
【小插曲3】
问题描述:
web页面启动不起来
解决办法:
打开以下两个配置项,都使用默认值就可以。
文件:master.properties,配置项:master.listen.port=5678
文件:worker.properties,配置项:worker.listen.port: 1234
--END--