hbase、pig、hive配置与应用

---

---

------------------HBASE----------
[root@iClient~]#sudo yum install hbase                  #iClient安装Hbase客户端
[root@cMaster-]#sudo yum install hbase-master           #cMaster 安装主服务HMaster
[root@cSlave0~]#sudo yum install hbase-regionserver     #eSlave0安装从服务
[root@cSlavel~]#sudo yum install hbase-regionserver      #cSlavel安装从服务
[root@cSlave2~]#sudo yum install hbase-regionserver      #eSlave2安装从服务


4）配置Hbase编辑/etc/hbase/conf/hbase-site.xml将下面内容添加到configuration便笺切记iClient，cMaster，cSlave0~2这五台机器都要进行配置，且要求配置相同。
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.rootdir</name>
<value>hdfs://cMaster:8020/hbase</value>       
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>cSlave0,cSlavel,cSlave2</value>
</property>


5）HDFS里新建Hbase存储目录
[root@iClient~]#sudo -u hdfs hdfs dfs -mkdir /hbase
[root@iClient~]#sudo -u hdfs hdfs dfs -chown -R hbase /hbase

6）启动Hbase集群
共分三步，即启动ZooKeeper集群（参考ZooKeeper部署），启动主服务HMaster和启动从服务HRegionServer。
[root@cMaster~]#sudo service hbase-master start    #cMaster开启主服务命令S
sudo service hbase-regionserver start     #cSlave0，cSlavel，cSlave2开启regionserver


Hbase后动好后，在iClient上浏览蓄打井“cMaster：60010”，即可以看到Hbase的Web页面。



2.Hbase接口
[root@iClient~]#hbase shell                      #进入Hbase命令行
hbase（main）：001：0>list                    #查看所有表
hbase（main）：002：0>create 'member'，'id'，'personalAttr'，'socialAttr'  #创建member表
hbase（main）：003：0>list 
hbase（main）：004：0>scan 'member'               #查看member内容
hbase（main）：005：0>put 'member'，'201401'，'personalAttr:name'，'aa'  #向member表中插入数据
hbase（main）：006：0>put 'member'，'201401'，'personalAtr:gender'，'0'
hbase（main）：007：0>put 'member'，'201401'，'personalAttr:age'，'21'
hbase（main）：008：0>put 'member'，'201401'，'socialAttr:edu'，'e0'
hbase（main）：009：0>put 'member'，'201401，'socialAttr:job'， 'p3'
hbase（main）：010：0>put 'member'，'201401'，'socialAttr:imcome'，'m'
hbase（main）：011：0>scan 'member'
hbase（main）：012：0>disable  'member'               #废弃member表
hbase（main）：013：0>drop 'member'                   #删除member表
hbase（main）：014：0>quit





--------------------------- Pig------------------------
[root@iClient ~]# sudo yum install pig        #只在iclient上安装


2.Pig访问接口
[root@iClient~]#sudo -u joe pig                    #进入joe用户的Pig命令行
grunt> help；                                    #查看Pig操作
grunt>A=load 'input'；                   #载入待处理文件夹input 
grunt>B=foreach A generate flatten (TOKENIZE((chararray)$0)) as word；  #划分单词
grunt>C=group B by word；                    #指定按单词聚合，即同一个单词到一起
grunt>D=foreach C generate COUNT(B),group；   #同一个单词出现次数相加
grunt>store D into 'out/wc-19'；           #将处理好的文件存入HDFS下/user/joe/out/wc-19
grunt> dump D into；                     #将处理结果D打印到屏幕





------------------------------------------Hive-----------------------
[root@iClient～]# sudo yum install hive         #只在iclient上安装
   

（2）HDFS里新建Hive存储目录。
[root@iClient ~]#sudo -u hdfs hdfs dfs-mkdir /user/hive         #HDFS里新建 Hive存储目录
[root@iClient~]#sudo -u hdfs hdfs dfs-chmod -R 1777    /user/hive    #为目录设置适当权限

只需上述两步就可以直接使用Hive了，当然，也可以使用jps命令查看Hive进程。
2.Hive接口
[root@iClient~]#Hive         #进入Hive命令行
hive>show functions；            #获取Hhive所有函数列表
hive>describe function count；    #查看count函数用法

首先为表准备数据，即在iClient目录“/root”下新建文件memberData并写入如下内容，注意记录间为换行符，字段间以Tab键分割。
201401    aa    0    21    e0    p3    m
201402    bb    1    22    el    p2    1
201403    cc    1    22    e2    pl    m




hive>show tables；          #查看当前 Hive仓库中所有表（以确定当前无member表）
hive>create table member(id int,name string,gender tinyint,age tinyint,edu string,prof string,income string)row format delimited fields terminated by	'；          
                #使用合适字段与类型，新建member表
hive>show tables；                                             #次查看，将显示member表
hive>load data local inpath '/root/memberData' into table member；  #将本地文件memberData载入HDFS 
hive>select * from member；                                       #查看表中所有记录
hive>select * from member where gender=1；                #查看表中gender值为1的记录
hive>select * from member where gender=1 AND age=23；        #查看表中gender值为1且age为23的记录
hive>select gender,count(*)from member group by gender；    #统计男女出现总次数
hive>drop table member；                                    #删除member表
hive>quit；                                      #退出Hive命令行接口