zoukankan      html  css  js  c++  java
  • Hadoop学习笔记三

    一、设置HDFS不进行权限检查

         默认的HDFS上的文件类似于Linux中的文件,是有权限的。例如test用户创建的文件,root用户如果没有写权限,则不能进行删除。

         有2种办法进行修改,修改文件的权限。或者设置不进行HDFS的权限检查,在hdfs-site.xml中添加:

         <property>

             <name>dfs.permissions</name>

             <value>false</value>

        </property>

    二、启动HDFS和YARN的几种方式

         方式一:逐一启动/sbin/hadoop-deamon.sh   /sbin/yarn-deamon.sh 

         方式二:分开启动/sbin/start-dfs.sh      /sbin/start-yarn.sh

         方式三:一起启动/sbin/start-all.sh

         第三种方式不建议使用,因为要分别启动dfs和yarn,要求namenode和resourcemanager在同一个节点上,且在该节点上运行start-all.sh命令。

    三、SSH登录过程

         

    四、SSH免密码登录过程

                

       客户端会先将自己的公钥保存在服务器端中,以供解密使用。

       建立SSH免密码登录的过程如下:

       1.ssh -keygen -t -rsa连续回车生成公钥和私钥,分别存储在/home/user/.ssh/id_rsa.pub和/home/user/.ssh/id_rsa下。

           2.将公钥放到远程主机上,scp ~/.ssh/id_rsa.pub node2:/.ssh/authorized_keys。

           这里是将客户端公钥放到服务器端,如果希望服务器也能免密码登录客户端,需要将服务器的公钥也在客户端放一份。

    四、默认的配置文件

          Hadoop自定义的配置文件在etc目录下。默认的配置文件在/share/hadoop各文件夹的jar包中。

          默认的配置文件包括core-default.xml,hdfs-default.xml,yarn-default.xml,mapred-default.xml。

          自定义配置文件中的配置将会覆盖默认配置文件中的配置。

          从默认配置文件中拷贝配置项,修改后加入到自定义配置文件。不要修改默认配置文件中的内容。

    五、默认使用本地文件系统还是HDFS文件系统

          core-site.xml中的fs.defaultFS属性,默认的值是file:///,就是本地文件系统。配置为hdfs://hadoop-cloudy.com:8020时用的就是HDFS文件系统。

    六、删除HDFS文件时,保留到回收站中的时间

          core-site.xml中的fs.trash.interval属性,单位为分钟。默认为0,将直接删除。

          HDFS默认的文件副本数为3.

    七、MapReduce运行在本地还是yarn上

          mapred-site.xml的属性mapreduce.framework.name默认为local,运行在本地。配置为yarn,运行在yarn上。

    八、决定各进程所在主机的配置文件 

          namenode所在主机: core-site.xml中的fs.defaultFS属性

          datanode所在主机:slaves文件指定

          secondarynamenode所在主机:hdfs-site.xml中没有指定,就在默认的配置文件hdfs-default.xml

          resourcemanager所在主机:yarn-site.xml中没有指定,就在默认的配置文件yarn-default.xml

          nodemanager所在主机:slaves文件指定

          jobhistoryserver所在主机:mapred-site.xml中没有指定,就在默认的配置文件mapred-default.xml

  • 相关阅读:
    强烈推荐好用的文本编辑器Notepad++
    MSP430学习笔记9PS2键盘解码
    MSP430学习笔记8ST7920 12864液晶显示并行接口
    MSP430学习笔记74*4键盘的对应数码管显示
    MSP430学习笔记6动态数码管的显示
    MSP430寄存器中文注释
    MSP430学习小结3MSP430基本时钟模块
    ST7920 12864液晶图片取模,显示你想显示的图片。
    MSP430学习小结2程序主体结构安排及低功耗转载
    Windows Phone开发之路(4) XAML基础(上)
  • 原文地址:https://www.cnblogs.com/lnlvinso/p/6486618.html
Copyright © 2011-2022 走看看