Hive记录-单机impala配置

1.先决条件配置了hadoop、hive等

2.官网查看版本信息下载相应的安装包

http://archive.cloudera.com/cdh5/redhat/5/x86_64/cdh/5.10/RPMS/x86_64/

3.安装一些依赖包：mysql-connector-java、bigtop-jscv、bigtop-utils、libevent、libevent-devel、redhat-lsb、python-setuptools、cyrus-sasl.x86_64、sentry等

4.依次执行rpm   -ivh  上述包  --nodeps

NameNode---impala-2.7.0   impala-catalog  impala-state-store impala-udf-devel

DataNode---impala-2.7.0    impala-shell   impala-udf-devel  impala-server

5.find / -name impala查看位置

/etc/default/impala
/etc/alternatives/impala
/etc/impala
/usr/lib/impala
/var/lib/alternatives/impala
/var/lib/impala
/var/run/impala
/var/log/impala

6.修改配置，hdfs.site.xml添加以下内容：

#mkdir -p /var/run/hadoop-hdfs

<property>
    <name>dfs.client.read.shortcircuit</name>
    <value>true</value>
</property>
<property>
    <name>dfs.domain.socket.path</name>
    <value>/var/run/hadoop-hdfs/dn._PORT</value>
</property>
<property>
    <name>dfs.client.file-block-storage-locations.timeout.millis</name>
    <value>10000</value>
</property>

----------------单机合并在一起，多机，以下为DataNode要加上超时参数,以上为NameNode

<property>
   <name>dfs.client.use.legacy.blockreader.local</name>
   <value>true</value>
</property>
<property>
   <name>dfs.datanode.data.dir.perm</name>
   <value>750</value>
</property>
<property>
   <name>dfs.block.local-path-access.user</name>
   <value>root</value>
</property>

-----------------------------------------------------------------------------------------

7.修改hive-site.xml配置：

<property>
 <name>hive.metastore.uris</name>
 <value>thrift://192.168.66.66:9083</value>
</property>
<property>
<name>hive.metastore.client.socket.timeout</name>
<value>3600</value>
</property>

8. 配置impala的参数，impala的配置文件在/etc/default/impala之中

IMPALA_CATALOG_SERVICE_HOST=192.168.66.66
IMPALA_STATE_STORE_HOST=192.168.66.66
IMPALA_STATE_STORE_PORT=24000
IMPALA_BACKEND_PORT=22000
IMPALA_LOG_DIR=/var/log/impala

IMPALA_CATALOG_ARGS=" -log_dir=${IMPALA_LOG_DIR} "
IMPALA_STATE_STORE_ARGS=" -log_dir=${IMPALA_LOG_DIR} -state_store_port=${IMPALA_STATE_STORE_PORT}"
IMPALA_SERVER_ARGS="
    -log_dir=${IMPALA_LOG_DIR}
    -catalog_service_host=${IMPALA_CATALOG_SERVICE_HOST}
    -state_store_port=${IMPALA_STATE_STORE_PORT}
    -use_statestore
    -state_store_host=${IMPALA_STATE_STORE_HOST}
    -be_port=${IMPALA_BACKEND_PORT}
    -mem_limit=60%"


ENABLE_CORE_DUMPS=false

LIBHDFS_OPTS=-Djava.library.path=/usr/lib/impala/lib
MYSQL_CONNECTOR_JAR=/usr/app/tomcat8089/lib/mysql-connector-*.jar
IMPALA_BIN=/usr/lib/impala/sbin
IMPALA_HOME=/usr/lib/impala
HIVE_HOME=/usr/app/hive
HBASE_HOME=/usr/app/hbase
IMPALA_CONF_DIR=/etc/impala/conf
HADOOP_CONF_DIR=/usr/app/hadoop/etc/hadoop
HIVE_CONF_DIR=/usr/app/hive/conf
HADOOP_HOME=/usr/app/hadoop
HBASE_CONF_DIR=/usr/app/hbase/conf

9. 在/etc/default/bigtop-utils中设置JAVA_HOME

export JAVA_HOME=/usr/app/jdk1.8.0
export CLASSPATH=./:$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$HIVE_HOME/bin:$PATH

10. 

进入/etc/init.d目录  修改impala-catalog操作权限，将impala改成集群的用户名。

进入/etc/init.d目录修改impala-state-store操作权限，将impala改成集群的用户名。

进入/etc/init.d目录修改impala-server操作权限，将impala改成集群的用户名。

将hadoop安装目录下的hdfs-site.xml，core-site.xml拷贝到/etc/impala/conf目录下

将hive安装目录下的hive-site.xml拷贝到/etc/impala/conf目录下

将hbase安装目录下的hbase-site.xml拷贝到/etc/impala/conf目录下

运行软件提示：
error while loading shared libraries: libssl.so.6: cannot open shared object file: No such file or directory
执行find  / -name libssl.so*
/usr/lib64/libssl.so.1.0.1e
/usr/lib64/libssl.so.10
解决方法：
for 32bit
ln -sf /usr/lib/libssl.so.10 /usr/lib/libssl.so.6
ln -sf /usr/lib/libcrypto.so.10 /usr/lib/libcrypto.so.6

for 64bit
ln -sf /usr/lib64/libssl.so.10 /usr/lib64/libssl.so.6
ln -sf /usr/lib64/libcrypto.so.10 /usr/lib64/libcrypto.so.6

11.根据实际情况安装的hadoop、hive、hbase调整lib库等文件

#删掉/usr/lib/impala/lib相关hadoop、hive、hbase lib jar文件,拷贝已经安装的hadoop/hive/hbase lib jar包，

包名要与删除前的一致。

12.启动

#启动hadoop

#启动hbase

#启动hive

#nohup hive --service metastore &
#nohup hive --service hiveserver2 &

/etc/init.d/impala-state-store start
/etc/init.d/impala-catalog start

/etc/init.d/impala-server start

13.验证
　　第一种方式:
　　　　ps -aux|grep impala-catalog
　　　　ps -aux|grep impala-state
　　　　ps -aux|grep impalad
　　第二种方式:
　　　　impala-shell(默认连接本机的server)
　　　　impala-shell -i 192.168.66.66 //连接指定ip的server impala-shell 如果是no connect状态 可以输入connect 192.168.66.66进行连接
　  第三种方式(webUI):
　　　　192.168.66.66:25000
　　　　192.168.66.66:25010
　　　　192.168.66.66:25020
6.其他
　　Impala Daemon(Impala 守护进程前端端口):21000 >> impala-shell, Beeswax, Cloudera ODBC 1.2 驱动 用于传递命令和接收结果
　　Impala Daemon(Impala 守护进程前端端口):21050 >> 被使用 JDBC 或 Cloudera ODBC 2.0 及以上驱动的诸如 BI 工具之类的应用用来传递命令和接收结果
　　Impala Daemon(Impala 守护进程后端端口):22000 >> Impala 守护进程用该端口互相通讯
　　Impala Daemon(StateStore订阅服务端口):23000 >> Impala 守护进程监听该端口接收来源于 state store 的更新
　　StateStore Daemon(StateStore 服务端口):24000 >> State store 监听该端口的 registration/unregistration 请求
　　Catalog Daemon(StateStore 服务端口):26000 >> 目录服务使用该端口与Imp
　　Impala Daemon(HTTP 服务器端口):25000 >> Impala web 接口，管理员用于监控和故障排除
　　StateStore Daemon(HTTP 服务器端口):25010 >> StateStore web 接口，管理员用于监控和故障排除
　　Catalog Daemon(HTTP 服务器端口):25020 >> 目录服务 web 接口，管理员用于监控和故障排除，Impala 1.2 开始使用