CentOS 7.x 部署 Dolphindb 集群

目录

• Dolphindb 简单说明
• Dolphindb 集群部署
• Dolphindb 常用操作

 
 

Dolphindb 简单说明

 

  Dolphindb Cluster 有三种节点：控制节点、代理节点和数据节点。简单理解其关系：控制节点控制代理节点启动数据。节点作用说明：

• 控制节点用于集群元数据的管理和协调，不能作为任务的主入口。
• 代理节点用于关闭或开启数据节点。
• 数据节点用于数据存储，以及查询计算任务的入口。

 

  假设我们的 license 是两个数据节点，dolphindb1 作为控制节点，那么节点部署分布如下（如果两个数据节点部署在一台物理机上，那么一个代理节点就可以）：

主机名	IP地址	部署节点
dolphindb1	172.16.1.11	控制节点、代理节点、控制节点
dolphindb2	172.16.1.12	代理节点、数据节点

 

Dolphindb 集群部署

 

1. Dolphindb 集群部署步骤见 GitHub文档。首先去Dolphindb官网下载最新的zip包，然后上传至两台 CentOS 服务器上。

2. 解压缩安装包（此步骤两台主机都操作）。

  0 14:16:14 root@dolphindb1,172.16.1.11:~ # mkdir -p /datas/app/dolphindb
  0 14:16:18 root@dolphindb1,172.16.1.11:~ # cd /datas/app/
  0 14:16:30 root@dolphindb1,172.16.1.11:/datas/app # unzip DolphinDB_Linux64_V1.30.9.zip -d dolphindb

3. 软件授权许可更新（许可证是需要购买）（此步骤两台主机都操作）。

  0 14:41:40 root@dolphindb1,172.16.1.11:/datas/app # cd dolphindb/server/
  0 14:41:42 root@dolphindb1,172.16.1.11:/datas/app/dolphindb/server # ll dolphindb.lic       # 将你购买的许可证替换此文件即可
-rw-r--r--. 1 root root 387 May 17 15:56 dolphindb.lic

4. 配置控制节点。

  0 15:02:38 root@dolphindb1,172.16.1.11:/datas/app/dolphindb/server # mkdir -p config data log
# 创建控制节点配置文件
  0 15:04:48 root@dolphindb1,172.16.1.11:/datas/app/dolphindb/server # vim config/controller.cfg
mode=controller
localSite=172.16.1.11:8990:master
localExecutors=3
maxConnections=512
maxMemSize=16
webWorkerNum=2
workerNum=4
dfsReplicationFactor=2
dfsReplicaReliabilityLevel=0
dfsMetaDir=/datas/app/dolphindb/server/dfsMeta
dataSync=1
lanCluster=0
# 创建集群成员配置文件。
  0 15:13:16 root@dolphindb1,172.16.1.11:/datas/app/dolphindb/server # vim config/cluster.nodes
localSite,mode
172.16.1.11:8960:dolphindb1-agent,agent
172.16.1.11:8961:dolphindb1-NODE1,datanode
172.16.1.12:8960:dolphindb2-agent,agent
172.16.1.12:8961:dolphindb2-NODE1,datanode
# 创建集群中数据节点的配置文件。
  0 16:18:23 root@dolphindb1,172.16.1.11:/datas/app/dolphindb/server # vim config/cluster.cfg
maxConnections=512
maxMemSize=32
workerNum=4
localExecutors=3
webWorkerNum=2
newValuePartitionPolicy=add
chunkCacheEngineMemSize=8
dolphindb1-NODE1.chunkMetaDir=/datas/app/dolphindb/server/chunkMeta
dolphindb2-NODE1.chunkMetaDir=/datas/app/dolphindb/server/chunkMeta
dolphindb1-NODE1.volumes=/datas/dolphindbData/dolphindb1-NODE1,/data/dolphindbData/dolphindb1-NODE1    # 分散两个磁盘做存储，有助于加快速度。
dolphindb2-NODE1.volumes=/datas/dolphindbData/dolphindb2-NODE1,/data/dolphindbData/dolphindb2-NODE1
diskIOConcurrencyLevel=2
dolphindb1-NODE1.persistenceDir=/datas/app/dolphindb/server/persistence
dolphindb2-NODE1.persistenceDir=/datas/app/dolphindb/server/persistence
maxPubConnections=32
subExecutors=4
dolphindb1-NODE1.subPort=8962
dolphindb2-NODE1.subPort=8962
lanCluster=0
preloadModules=plugins::parquet
persistenceWorkerNum=1

5. 配置代理节点。

# 代理配置文件中的 controllerSite 值应该与 controller.cfg 中的 localSite 配置保持一致。
# dolphindb1 配置
  0 16:20:27 root@dolphindb1,172.16.1.11:/datas/app/dolphindb/server # vim config/agent.cfg
mode=agent
workerNum=3
localExecutors=2
maxMemSize=4
localSite=172.16.1.11:8960:dolphindb1-agent
controllerSite=172.16.1.11:8990:master
lanCluster=0
# dolphindb2 配置。
  0 16:28:15 root@dolphindb2,172.16.1.12:/datas/app/dolphindb/server # mkdir -p config data log
  0 16:28:26 root@dolphindb2,172.16.1.12:/datas/app/dolphindb/server # vim config/agent.cfg
mode=agent
workerNum=3
localExecutors=2
maxMemSize=4
localSite=172.16.1.12:8960:dolphindb2-agent
controllerSite=172.16.1.11:8990:master
lanCluster=0

6. 启动集群。

# dolphindb1 操作。
## 编写简单的启动脚本，启动代理节点。
  0 10:23:14 root@dolphindb1,172.16.1.11:/datas/app/dolphindb/server # vim startAgent.sh 
#!/bin/sh

nohup ./dolphindb -console 0 -mode agent -home data -script dolphindb.dos -config config/agent.cfg -logFile log/agent.log &
## 启动控制节点。
  0 10:23:18 root@dolphindb1,172.16.1.11:/datas/app/dolphindb/server # vim startController.sh 
#!/bin/sh

nohup ./dolphindb -console 0 -mode controller -home data -script dolphindb.dos -config config/controller.cfg -logFile log/controller.log -nodesFile config/cluster.nodes -clusterConfig config/cluster.cfg &
  0 10:36:57 root@dolphindb1,172.16.1.11:/datas/app/dolphindb/server # chmod +x startAgent.sh startController.sh
  0 10:37:15 root@dolphindb1,172.16.1.11:/datas/app/dolphindb/server # ./startAgent.sh
  0 10:37:26 root@dolphindb1,172.16.1.11:/datas/app/dolphindb/server # ./startController.sh
# dolphindb2 操作。
  0 10:37:50 root@dolphindb2,172.16.1.12:/datas/app/dolphindb/server # chmod +x startAgent.sh 
  0 10:37:58 root@dolphindb2,172.16.1.12:/datas/app/dolphindb/server # ./startAgent.sh

7. 启动数据节点，在浏览器输入 controller 的地址和端口，http://172.16.1.11:8990，默认账户：admin，默认密码：123456。

 

Dolphindb 常用操作

 

1. 修改 DolphinDB Cluster Manager 的密码。首先需要在 Dolphindb官网 下载客户端连接程序。

2. 同样在 GUI 客户端中操作，添加插件。

# 首先需要先将下载的插件上传到 dolphindb 服务中，随便哪一台都可以。
  0 11:46:22 root@dolphindb1,172.16.1.11:~ # ll /datas/app/dolphindb/server/plugins/parquet/
total 16996
-rw-r--r--. 1 root root 17395928 May 18 14:42 libPluginParquet.so
-rw-r--r--. 1 root root      323 May 18 14:42 PluginParquet.txt
# 在 GUI 添加数据上面上传插件的那个节点，加载插件。

 
 

写作不易，转载请注明出处，谢谢~~