zoukankan      html  css  js  c++  java
  • presto 0.166安装部署

    系统:linux

    java:jdk 8,64-bit

    Connector:hive

    分布式,node1-3

    node1:Coordinator 、 Discovery service

    node2-3:Worker

    开始安装部署

    除了标红的需要在node2-3上特殊处理,其他设置和node1一样,下面以node1为例

    Presto Server配置

    解压缩presto-server-0.166.tar.gz
    tar zxvf presto-server-0.166.tar.gz
    
    在presto-server-0.166目录下创建etc目录
    cd presto-server-0.166
    mkdir etc
    
    在etc目录下创建catalog目录
    cd etc
    mkdir catalog
    
    在catalog目录下创建文件hive.properties,文件内容如下:
    connector.name=hive-hadoop2
    hive.metastore.uri=thrift://node1:9083
    hive.config.resources=/home/orco/resources/hadoop-2.7.3/etc/hadoop/core-site.xml, /home/orco/resources/hadoop-2.7.3/etc/hadoop/hdfs-site.xml
    
    在etc目录下创建config.properties文件,文件内容如下:
    # 在非node1上设置为false coordinator
    =true # 实验环境下一般是true,生产环境还是让coordinator那个节点别干worker的事情吧,设置成false node-scheduler.include-coordinator=false # zeeplin是8080 http-server.http.port=8081 query.max-memory=512MB query.max-memory-per-node=512MB discovery-server.enabled=true discovery.uri=http://node1:8081 在etc目录下创建jvm.config文件,文件内容如下: -server -Xmx1G -XX:+UseG1GC -XX:G1HeapRegionSize=32M -XX:+UseGCOverheadLimit -XX:+ExplicitGCInvokesConcurrent -XX:+HeapDumpOnOutOfMemoryError -XX:OnOutOfMemoryError=kill -9 %p 在etc目录下创建node.properties文件,文件内容如下: node.environment=production
    # id要唯一,node2的id是node2等 node.id
    =node1 node.data-dir=/home/orco/resources/presto-server-0.166/presto_data

    Presto Client配置

    把客户端jar包放置在presto-server-0.166/bin目录下
    mv presto-cli-0.166-executable.jar presto-server-0.166/bin/
    
    修改客户端jar包名为presto
    mv presto-cli-0.166-executable.jar presto
    
    修改presto客户端jar包权限
    chmod +x presto
    
    把presto添加到环境变量中(~/.bash_profile)
    export PRESTO_HOME=/home/orco/resources/presto-server-0.166
    export PATH=$PRESTO_HOME/bin:$PATH
    
    使得环境变量立即生效
    source ~/.bash_profile

    启动Presto

    Presto依赖HDFS和Hive metastore
    
    启动HDFS
    /home/orco/resources/hadoop-2.7.3/sbin/start-dfs.sh
    
    启动Hive metastore
    sudo service mysqld start
    nohup hive --service metastore >> /home/orco/resources/apache-hive-2.1.1-bin/metastore.log 2>&1 &
    
    启动Presto,三台都各自启动
    /home/orco/resources/presto-server-0.166/bin/launcher start
    
    查看Presto Web UI
    http://node1:8081
    
    
    启动Presto客户端
    presto --server node1:8081 --catalog hive --schema default
    
    server:指的是Coordinator的地址,配置在config.properties 中
    
    hive:用的是hive的connector
    
    default:用的是hive的default数据库
  • 相关阅读:
    一个非常棒的jQuery 评分插件好东西要分享
    Visual Studio 2012 更新包2发布,附离线安装方法及下载
    ECC Copy Client 之后的SAP*登陆问题 沧海
    使用现有ECC数据库进行安装或者恢复系统 沧海
    SAP 登陆平衡(SAP Logon Balancing) 沧海
    Target host or target server ***** is not in operation mode 沧海
    如何获得系统设置参数列表 沧海
    IDES安装之后的配置 沧海
    关于Basware的使用随想 沧海
    Information About the SAP Load Generator (SGEN) 沧海
  • 原文地址:https://www.cnblogs.com/sorco/p/7060263.html
Copyright © 2011-2022 走看看