zoukankan      html  css  js  c++  java
  • tachyon 配置项


    Tachyon 配置参数分为4类:Master,Worker, Common (Master and Worker), and User configurations。

    环境变量配置文件在$TACHYON_HOME/conf/tachyon-env.sh,这些变量将会被TACHYON_JAVA_OPTS调用,这个文件的配置模版为$TACHYON_HOME/conf/tachyon-env.sh.template

    额外的Java VM选项可以添加到TACHYON_MASTER_JAVA_OPTS和TACHYON_WORKER_JAVA_OPTS配置中。在模板文件,TACHYON_JAVA_OPTS将会被TACHYON_MASTER_JAVA_OPTS和TACHYON_WORKER_JAVA_OPTS调用


    二、Tachyon常用配置

    属性名 默认值 含义
    tachyon.home "/mnt/tachyon_default_home" Tachyon的安装目录
    tachyon.underfs.address $tachyon.home + "/underfs" Tachyon底层文件系统目录
    tachyon.data.folder $tachyon.underfs.address + "/tachyon/data" Tachyon底层文件系统数据目录
    tachyon.workers.folder $tachyon.underfs.address + "/tachyon/workers"
    Tachyon worke目录
    tachyon.usezookeeper false 是否使用zookeeper来进行master容错
    tachyon.zookeeper.address null Zookeeper地址
    tachyon.zookeeper.election.path "/election" Zookeeper选举文件夹
    tachyon.zookeeper.leader.path "/leader" Zookeeperleader文件夹
    tachyon.underfs.hdfs.impl "org.apache.hadoop.hdfs.DistributedFileSystem" HDFS底层文件系统实现类
    tachyon.max.columns
    1000 RawTable允许的最大列数,必须在客户端和服务器端设置
    tachyon.table.metadata.byte 5242880 RawTable的元数据中最大允许多少字节
    fs.s3n.awsAccessKeyId null S3 AWS访问密钥ID
    fs.s3n.awsSecretAccessKey null S3 aws 加密访问Key ID
    tachyon.underfs.glusterfs.mounts null Glusterfs卷装入点,如/卷
    tachyon.underfs.glusterfs.volumes null Glusterfs卷名,如tachyon_vol
    tachyon.underfs.glusterfs.mapred.system.dir glusterfs:///mapred/system 根据需要指定GLusterfs中MapReduce的数据子目录

    三、Master配置

    tachyon.master.journal.folder $tachyon.home +"/journal/" master journal log 存储目录
    tachyon.master.hostname localhost Master主机名
    tachyon.master.port 19998 Master节点运行端口
    tachyon.master.web.port 19999 WEB接口运行端口
    tachyon.master.whitelist / 缓存路径

    四、Wroker配置

    tachyon.worker.port 29998 Worker节点运行端口
    tachyon.worker.data.port 29999 Worker数据服务运行端口
    tachyon.worker.data.folder /mnt/ramdisk Worker节点数据目录
    tachyon.worker.memory.size 128 MB Worker几点内存容量

    五、用户配置

    tachyon.user.failed.space.request.limits 3 文件系统终止之前的时间
    tachyon.user.quota.unit.bytes 8 MB 客户端请求Worker几点的最小大小
    tachyon.user.file.buffer.bytes 1 MB 文件缓冲区大小
    tachyon.user.default.block.size.byte 1 GB Tachyon文件默认的block size
    tachyon.user.remote.read.buffer.size.byte 1 MB 从远程worker读取数据的缓冲区大小

    欲为大树,何与草争;心若不动,风又奈何。
  • 相关阅读:
    go基础系列:结构struct
    梯度下降法解决线性回归
    梯度下降法解决线性回归
    梯度下降法解决线性回归
    【 Linux 】单台服务器上并发TCP连接数(转)
    【 Linux 】单台服务器上并发TCP连接数(转)
    【 Linux 】单台服务器上并发TCP连接数(转)
    axios在vue项目中的一种封装方法
    快速排序算法(C#实现)
    你必须知道的261个Java语言问题
  • 原文地址:https://www.cnblogs.com/admln/p/tachyon-configuration.html
Copyright © 2011-2022 走看看