impala编译

impala编译 编译系统centos 5.10

说明：版本1.3.x----2.1.x都能编译

一、预装库

1.gcc安装

yum install gcc44

yum install gcc44-c++

下面的单独安装在编译过程中会与系统自带的低版本冲突

mpc-0.9.tar.gz

mpfr-3.1.2.tar.gz

gmp-5.0.1.tar.bz2

gcc-4.4.7.tar.gz

gcc-g++-4.4.7.tar.gz

http://blog.sina.com.cn/s/blog_868618f00101ij4a.html

注：安装之后中需要将原来的/usr/bin 下的4.1.2的cc,gcc 指向4.4.7版本

并且指向的是 /usr/bin/x86_64-redhat-linux6E-gcc44而不是gcc44

g++同样指向/usr/bin/x86_64-redhat-linux6E-g++44

卸载掉gcc-c++，它是4.1.2版本。因为有在编译时使用的有可能是c++而不是g++编译器，造成版本过低会引起无法识别msse4.2参数。具体情况没有证明，我只是把它卸载了。

2.boost库安装

boost_1_53_0.tar.gz

安装到系统默认路径

编译参数

./bjam   --toolset=gcc  --layout=tagged --build-type=complete     --with-regex  --with-system  --with-thread  --with-filesystem install --with-date_time

3.其它库安装

git-1.9.4.tar.gz  ./configure  --prefix=/usr/local/git-1.9.2

Python-2.7.8.tgz  ./configure  --prefix=/usr/local/python-2.7.8

lzo-2.06.tar.gz  ./configure  --enable-shared

yum install cmake libtool zlib-devel openssl-devel bzip2-devel cyrus-sasl-devel

下面的两个LZO库直接解压

hadoop-lzo-0.4.15-gplextras5.0.1-SNAPSHOT.tar.gz

或

hadoop-lzo-release-0.4.19.tar.gz

impala-lzo-1.3.1-gplextras5.0.1-SNAPSHOT.tar.gz

文件下载地址

http://archive.cloudera.com/gplextras/

不同操作系统下对应的rpm包找到后直接解压就会找到jar包。

4.工具安装

jdk-6u45-linux-x64.bin              

apache-maven-3.0.4-bin.tar.gz

setuptools-0.6c11.tar.gz 此工具用来编译python脚本

安装过程：

tar zxvf setuptools-0.6c11.tar.gz
cd setuptools-0.6c11
python setup.py build
python setup.py install

5 .LLVM安装

llvm-3.3.src.tar.gz, cfe-3.3.src.tar.gz, compiler-rt-3.3.src.tar

所需要的包以及放位置参考或文档《LLVM编译安装.txt》

有一个已经将以上三个包打好的完全源码包vip-llvm-3.3.src.tar

直接解压可编译安装

http://clang.llvm.org/get_started.html

二、环境变量

其它库的环境变量是否需要看安装路径，如果安装在默认路径就不需要，以下库安装在指定路径，其它库在默认路径

export GIT_HOME=/usr/local/git-1.9.2

export HADOOP_LZO=/root/hadoop-lzo-0.4.15

export IMPALA_LZO=/root/impala-lzo-1.3.1

export PYTHON2_HOME=/usr/local/python-2.7.8

export MAVEN_HOME=/root/apache-maven-3.0.4

export JAVA_HOME=/root/jdk

export PATH=$GIT_HOME/bin:$PYTHON2_HOME/bin:$JAVA_HOME/bin:$MAVEN_HOME/bin:$PATH

三、编译

./buildall.sh  -noclean  -skiptests  -codecoverage_release  -codecoverage_debug

错误0：

/usr/local/lib/../lib/libstdc++.so: could not read symbols: File in wrong format

表示没有安装boost库到标准路径，而直接使用了标准C++造成的，直接将上面编译boosts时安装到标准路径 ，

错误一：

/home/flh/impala-1.3.0-cdh5.0.0/be/src/statestore/failure-detector.cc: In member function ‘virtual impala::FailureDetector::PeerState impala::TimeoutFailureDetector::UpdateHeartbeat(const std::string&, bool)’:

/home/flh/impala-1.3.0-cdh5.0.0/be/src/statestore/failure-detector.cc:41: 错误：‘lock_guard’ 在此作用域中尚未声明

解决：修改头文件failure-detector.h加入#include <boost/thread/lock_guard.hpp>

错误二：

/home/flh/boost_1_53_0/build/include/boost/move/core.hpp:48: 错误：放松 ‘boost::rv<T>::~rv() [with T = impala::TNetworkAddress]’ 的 throw 限定

/home/flh/impala-1.3.0-cdh5.0.0/be/generated-sources/gen-cpp/Types_types.h:180: 错误：  覆盖了 ‘virtual impala::TNetworkAddress::~TNetworkAddress() throw ()’

解决：Types_types.h头文件中产生的所有类的析构函数的后面的throw() 关键词去掉

错误三：

/home/flh/impala-1.3.0-cdh5.0.0/be/src/util/simple-logger.cc: In member function ‘impala::Status impala::SimpleLogger::AppendEntry(const std::string&)’:

/home/flh/impala-1.3.0-cdh5.0.0/be/src/util/simple-logger.cc:77: 错误：‘lock_guard’ 在此作用域中尚未声明

解决：修改头文件simple-logger.h添加#include <boost/thread/lock_guard.hpp>

错误四：

/home/flh/impala-1.3.0-cdh5.0.0/be/src/transport/TSaslServerTransport.cpp: In member function ‘virtual boost::shared_ptr<apache::thrift::transport::TTransport> apache::thrift::transport::TSaslServerTransport::Factory::getTransport(boost::shared_ptr<apache::thrift::transport::TTransport>)’:

/home/flh/impala-1.3.0-cdh5.0.0/be/src/transport/TSaslServerTransport.cpp:110: 错误：‘lock_guard’ is not a member of ‘boost’

解决：修改头文件TSaslServerTransport.h添加#include <boost/thread/lock_guard.hpp>

Impala 编译6.5以上系统

一、预装库

1.gcc编译器安装

yum install gcc

yum install gcc-c++

默认都是4.4.7版本

2.boost库安装

同上

3.其它库安装

同上

4.工具安装

同上

5.LLVM安装

同上

如果有错误，删除了多编译几次

二、环境变量

其它库的环境变量是否需要看安装路径，如果安装在默认路径就不需要，以下库安装在指定路径，其它库在默认路径

 export HADOOP_LZO=/root/hadoop-lzo-0.4.15

export IMPALA_LZO=/root/impala-lzo-1.3.1

export PYTHON2_HOME=/usr/local/python-2.7.8

export MAVEN_HOME=/root/apache-maven-3.0.4

export JAVA_HOME=/root/jdk

export PATH=$PYTHON2_HOME/bin:$JAVA_HOME/bin:$MAVEN_HOME/bin:$PATH

三、编译

同上