zoukankan      html  css  js  c++  java
  • 《Programming Hive》读书笔记(一)Hadoop和hive环境搭建

    《Programming Hive》读书笔记(一)Hadoop和Hive环境搭建

                先把主要的技术和工具学好,才干更高效地思考和工作。

     

    Chapter 1.Introduction 简单介绍

    Chapter 2.Getting Started 环境配置

    Hadoop版本号会更新,以官方安装教程为准

    http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/SingleCluster.html#Standalone_Operation

    For most of the book, it won’t matterwhich mode you’re using. We’llassume you’re

    working on a personal machine in local mode and we’ll discussthe cases where the

    mode matters.

    When working with small data sets, usinglocal mode execution

    will make Hive queries much faster. Settingthe property set

    hive.exec.mode.local.auto=true;willcause Hive to use this mode more

    aggressively, even when you are runningHadoop in distributed or pseudodistributed

    mode. To always use this setting, add thecommand to

    your $HOME/.hiverc file (see “The.hiverc File” on page 36).

    对于Hadoop的不同模式,他们在不同的使用情境下性能也是各异的。

    少量的数据,用local mode模式性能会更好。

    两个Hadoop程序样例:

    1 hadoop jarshare/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.1.jarwordcount input output

    这是wordcount词频统计程序。

    2 hadoop jarshare/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.1.jargrep input output 'dfs[a-z.]+'

    这是grep程序,类似linux下的命令。

    当中,input为输入文件夹,output为输出文件夹。输入文件夹须要先创建,输出文件夹不须要创建,且不能已存在。

    Hive的官方安装

    https://cwiki.apache.org/confluence/display/Hive/GettingStarted#GettingStarted-InstallingHivefromaStableRelease

    事实上Hadoop和hive的安装就是解压和配置环境变量。

    只是hive须要创建两个文件夹才干正确执行

    $ $HADOOP_HOME/bin/hadoop fs -mkdir       /tmp
      $ $HADOOP_HOME/bin/hadoop fs -mkdir       /user/hive/warehouse
      $ $HADOOP_HOME/bin/hadoop fs -chmod g+w   /tmp
      $ $HADOOP_HOME/bin/hadoop fs -chmod g+w   /user/hive/warehouse

    不用hdfs也能够,本地模式直接创建。

    另外mkdir须要加上-p才干一次创建多层文件夹

    Linux须要注意的是,你用普通用户执行hive,假设hive程序须要在某些文件夹创建文件或者文件夹可是没有权限,那么就会执行出错。

    比方上面的tmp和warehouse文件夹。

    还有,在当前文件夹执行hive命令,

    会自己主动在当前文件夹创建

    -rw-rw-r-- 1 linger linger  678 Nov 12 00:03derby.log

    drwxrwxr-x 5 linger linger 4096 Nov 12 00:03 metastore_db/

    一个文件,一个文件夹。

    假设hive在当前文件夹没有创建的权限。又会出错。

    另外发现/etc/profile是用户登录时会自己主动生效的,

    暂时生效办法能够 source /etc/profile

    另外,root没有登录。所以注销或者重新启动后,sudo su进入root,发现/etc/profile还是没有生效,眼下的解决方法是用source了。

    只是能用普通用户先用普通用户。用普通用户得注意权限不足的问题。


    额外资料:

    http://wangshuxing123-126-com.iteye.com/blog/695653

    chmod是Linux下设置文件权限的命令,后面的数字表示不同用户或用户组的权限。

    通常是三个数字:
    第一个数字表示文件全部者的权限
    第二个数字表示与文件全部者同属一个用户组的其它用户的权限
    第三个数字表示其他用户组的权限。

         权限分为三种:读(r=4),写(w=2),运行(x=1 。

     综合起来还有可读可运行(rx=5=4+1)、可读可写(rw=6=4+2)、可读可写可运行(rwx=7=4+2+1)。

         所以,chmod 755 设置用户的权限为:

    1.文件全部者可读可写可运行                                  --7

    2.与文件全部者同属一个用户组的其它用户可读可运行 --5 
    3.其他用户组可读可运行                                       --5

    常见使用方法:

    Chmod –R 777 target_dir

    Chmod –R 755 target_dir



    本文作者:linger
    本文链接:http://blog.csdn.net/lingerlanlan/article/details/41025431



       
  • 相关阅读:
    【PAT甲级】1034 Head of a Gang (30分):图的遍历DFS
    循环的嵌套
    0.1+07 !=0.8的原因
    java script-页面交互
    java script-逻辑分支
    java script-数据类型转换&&运算符
    java script概述
    浏览器内核
    网格布局
    让一个元素在父元素上下左右居中
  • 原文地址:https://www.cnblogs.com/mengfanrong/p/5078230.html
Copyright © 2011-2022 走看看