zoukankan      html  css  js  c++  java
  • Linux 平台下 lzo和hadoop-lzo安装与集成

    Linux 【Ubuntu 】 平台下lzo和hadoop-lzo安装与集成

    说明:下载文件
      apache-maven-3.3.9-bin.tar.gz ---集成编译软件(生成hadoop与lzo集成jar包)
      lzo-2.06.tar.gz ---lzo安装文件
      hadoop-lzo-release-0.4.20.tar.gz --hadoop lzo 集成文件
    此过程分为三大部分
    一.maven 环境配置
      1.tar 开文件apache-maven-3.3.9-bin.tar.gz
      2.配置环境变量
      3.mvn -version 测试是否安装成功
      4.配置settings.xml为私服【nexus】
    二.lzo安装
      1.tar 开文件lzo-2.06.tar.gz
      2.在解压目录运行.configure --enable-shared
      3.在解压目录运行.make && sudo make install
      4.检查/usr/local/lib目录下是否有lzo2开头的文件,如果有证明安装成功
      5.检查/usr/lib目录下是否有lzo2开头的文件,如果没有,将/usr/local/lib下的lzo2* 文件拷贝到/usr/lib目录下
    三.hadoop-lzo jar文件集成
      1.tar 开文件hadoop-lzo-release-0.4.20.tar.gz
      2.进入tar开目录,运行命令:mvn -package -DskiPTests
      3.生成target目录,该目录下有hadoop-lzoXX jar文件【hadoop-lzo-0.4.20.jar】
      4.eclipse引入hadoop-lzo-0.4.20.jar包进行lzo压缩

  • 相关阅读:
    Elasticsearch集群+kibana
    kafka集群搭建
    Zookeeper集群搭建
    Hadoop+Hbase+Zookeeper分布式存储构建
    正则文本处理
    Haproxy+keepalived高可用集群实战
    httpsqs消息队安装
    LVS-TUN模式
    一.4.序列化使用之机柜资源及序列化高级用法
    一.3.序列化使用之idc资源与api文档
  • 原文地址:https://www.cnblogs.com/zhangxiaolin/p/6586364.html
Copyright © 2011-2022 走看看