zoukankan      html  css  js  c++  java
  • Alluxio 安装与配置

    一、概述

    Alluxio, formerly Tachyon, enables any application to interact with any data from any storage system at memory speed.
    From http://www.alluxio.org/

    Alluxio,原名为 Tachyon,使任何应用以内存级速度进行文件系统上的数据交换。

    二、安装与配置

    2.1 解压

    tar -xzf alluxio-1.4.0-bin.tar.gz
    cd alluxio-1.4.0

    2.2 配置

    从模板文件中创建 conf/alluxio-env.sh ,也可通过命令配置:

    ./bin/alluxio bootstrapConf localhost

    三、运行

    3.1 单机启动 Alluxio

    3.1.1 格式化

    格式化 Alluxio 为启动 Alluxio 做准备。如下命令会格式化Alluxio的日志和worker存储目录,以便接下来启动master和worker。

    ./bin/alluxio format

    3.1.2 本地启动

    Alluxio 默认配置成在 localhost 启动 master 和 worker 。使用如下命令在 localhost 启动 Alluxio:

    ./bin/alluxio-start.sh local

    3.1.3 验证启动

    http://localhost:19999 --》 查看 Alluxio master 的运行状态
    http://localhost:30000 --》 查看 Alluxio worker 的运行状态

    或者,在运行命令 jps,查看当前 java 进程中 AlluxioMaster、AlluxioWorker 信息。

    3.2 集群运行 Alluxio

    3.2.1 集群内节点的配置

    为使集群的 master 与 worker 方便沟通,需要对 ssh 进行配置。

    首先,在将要运行 master 的节点上通过如下命令生成相应公私钥。

    ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
    cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
    chmod 0600 ~/.ssh/authorized_keys

    其次,将此处生成的 authorized_keys 分发到集群的 workers 中,放在 worker的 ~/.ssh/authorized_keys

    然后,修改好所有节点的 /etc/hosts 文件,为各个节点取别名,方便沟通。

    再者,修改 master 的配置文件 ./conf/alluxio-env.sh ,有三个关键点:

    export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64 # java 的安装目录
    export ALLUXIO_HOME=/root/alluxio # alluxio 的安装目录
    export ALLUXIO_MASTER_HOSTNAME=master # 我的 host 文件中有一条记录,“[master节点的ip] master”记录

    随后,修改 master 的配置文件 ./conf/workers :(workers 的别名,需要在 host 文件上配置,才能被解析)

    最后,将 master 节点上的配置分发到各个 worker 节点上。使用如下命令

    ./bin/alluxio copyDir

    ./bin/alluxio copyDir ./conf/workers 即可将该文件分发到各个节点的相同目录下。需要保持一致的文件有:./conf/workers全部配置,./conf/alluxio-env.sh中的部分配置

    更一般的,你甚至可以无需在 worker 节点上安装 alluxio ,而是通过 ./bin/alluxio copyDir . ,将本节点上的 alluxio 目录分发到各个节点上。

    3.2.2 在集群内运行

    上述配置完成后,即可在 master 上通过命令 ./bin/alluxio format./bin/alluxio-start.sh all Mount 在集群内运行 Alluxio。

    同样的,你可以通过 jps 去检查运行状态。

    • master 上:出现 proxy、master
    • worker 上:出现 proxy、worker

    使用./bin/alluxio-start.sh all 停止运行 Alluxio。

    3.2.3 错误

    在集群内运行的时候,可能会出现 worker 启动不了的问题。表现为 master 上的 AlluxioMaster、AlluxioProxy 正在运行,且通过 stop 命令无法关闭。

    解决:我是通过查找到这两个命令运行的父进程 id ,然后将父进程杀掉,再按 3.2.2 的命令。

    3.3 文件系统操作

    相关命令见:http://www.alluxio.org/docs/1.4/cn/Command-Line-Interface.html

  • 相关阅读:
    Construct Binary Tree from Preorder and Inorder Traversal
    Construct Binary Tree from Inorder and Postorder Traversal
    Maximum Depth of Binary Tree
    Sharepoint 2013 创建TimeJob 自动发送邮件
    IE8 不能够在Sharepoint平台上在线打开Office文档解决方案
    TFS安装与管理
    局域网通过IP查看对方计算机名,通过计算机名查看对方IP以及查看在线所有电脑IP
    JS 隐藏Sharepoint中List Item View页面的某一个字段
    SharePoint Calculated Column Formulas & Functions
    JS 两个一组数组转二维数组
  • 原文地址:https://www.cnblogs.com/neillee/p/6410842.html
Copyright © 2011-2022 走看看