zoukankan      html  css  js  c++  java
  • Hadoop科普文—常见的45个问题解答 · Hadoop

    1.Hadoop集群能够执行的3个模式

    · 单机(本地)模式

    · 伪分布式模式

    · 全分布式模式

    2.  单机(本地)模式中的注意点?

    在单机模式(standalone)中不会存在守护进程,全部东西都执行在一个JVM上。

    这里相同没有DFS,使用的是本地文件系统。单机模式适用于开发过程中执行MapReduce程序,这也是最少使用的一个模式。

    3.  伪分布模式中的注意点?

    伪分布式(Pseudo)适用于开发和測试环境,在这个模式中,全部守护进程都在同一台机器上执行。

    4.  VM能否够称为Pseudo

    不是,两个事物。同一时候Pseudo仅仅针对Hadoop

    5.  全分布模式又有什么注意点?

    全分布模式通常被用于生产环境,这里我们使用N台主机组成一个Hadoop集群,Hadoop守护进程执行在每台主机之上。这里会存在Namenode执行的主机。Datanode执行的主机。以及task tracker执行的主机。在分布式环境下。主节点和从节点会分开。

    6.  Hadoop是否遵循UNIX模式?

    是的,在UNIX用例下,Hadoop还拥有“conf”文件夹。

    7.  Hadoop安装在什么文件夹下?

    ClouderaApache使用同样的文件夹结构,Hadoop被安装在cd/usr/lib/hadoop-0.20/

    8.  NamenodeJob trackertask tracker的port号是?

    Namenode70Job tracker30Task tracker60

    9.  Hadoop的核心配置是什么?

    Hadoop的核心配置通过两个xml文件来完毕:1hadoop-default.xml2hadoop-site.xml。这些文件都使用xml格式,因此每一个xml中都有一些属性,包含名称和值,可是当下这些文件都已不复存在。

    10.  那当下又该怎样配置?

    Hadoop如今拥有3个配置文件:1core-site.xml2hdfs-site.xml3mapred-site.xml。这些文件都保存在conf/子文件夹下。

    11.  RAM的溢出因子是?

    溢出因子(Spill factor)是暂时文件里储存文件的大小。也就是Hadoop-temp文件夹。

    12.  fs.mapr.working.dir仅仅是单一的文件夹?

    fs.mapr.working.dir仅仅是一个文件夹。

    13.  hdfs-site.xml3个主要属性?

    · dfs.name.dir决定的是元数据存储的路径以及DFS的存储方式(磁盘或是远端)

    · dfs.data.dir决定的是数据存储的路径

    · fs.checkpoint.dir用于第二Namenode

    14.  怎样退出输入模式?

    退出输入的方式有:1。按ESC2。键入:q(假设你没有输入不论什么当下)或者键入:wq(假设你已经输入当下),而且按下Enter

    15.  当你输入hadoopfsck /造成“connection refused java exception’”时,系统到底发生了什么?

    这意味着Namenode没有执行在你的VM之上。

    16.  我们使用UbuntuCloudera。那么我们该去哪里下载Hadoop,或者是默认就与Ubuntu一起安装?

    这个属于Hadoop的默认配置。你必须从Cloudera或者Edurekadropbox下载。然后在你的系统上执行。当然。你也能够自己配置,可是你须要一个Linux boxUbuntu或者是Red Hat。在Cloudera站点或者是EdurekaDropbox中有安装步骤。

    17.  “jps”命令的用处?

    这个命令能够检查NamenodeDatanodeTask Tracker、 Job Tracker是否正常工作。

    18.  怎样重新启动Namenode

    · 点击stop-all.sh,再点击start-all.sh

    · 键入sudo hdfsEnter),su-hdfs Enter)。/etc/init.d/haEnter),及/etc/init.d/hadoop-0.20-namenode startEnter)。

    19.  Fsck的全名?

    全名是:File System Check

    20.  怎样检查Namenode是否正常执行?

    假设要检查Namenode是否正常工作,使用命令/etc/init.d/hadoop-0.20-namenode status或者就是简单的jps

    21.  mapred.job.tracker命令的作用?

    能够让你知道哪个节点是Job Tracker

    22.  /etc /init.d命令的作用是?

    /etc /init.d说明了守护进程(服务)的位置或状态。事实上是LINUX特性。和Hadoop关系不大。

    23.  怎样在浏览器中查找Namenode

    假设你确实须要在浏览器中查找Namenode。你不再须要localhost:8021Namenode的port号是50070

    24.  怎样从SU转到Cloudera

    SU转到Cloudera仅仅须要键入exit

    25.  启动和关闭命令会用到哪些文件?

    SlavesMasters

    26.  Slaves由什么组成?

    Slaves由主机的列表组成。每台1行,用于说明数据节点。

    27.  Masters由什么组成?

    Masters相同是主机的列表组成。每台一行。用于说明第二Namenodeserver。

    28.  hadoop-env.sh是用于做什么的?

    hadoop-env.sh提供了Hadoop. JAVA_HOME的执行环境。

    29.  Master文件是否提供了多个入口?

    是的你能够拥有多个Master文件接口。

    30.  hadoop-env.sh文件当下的位置?

    hadoop-env.sh如今位于conf

    31.  Hadoop_PID_DIR中,PID代表了什么?

    PID代表了“Process ID”

    32.  /var/hadoop/pids用于做什么?

    /var/hadoop/pids用来存储PID

    33.  hadoop-metrics.properties文件的作用是?

    hadoop-metrics.properties被用做“Reporting”。控制Hadoop报告,初始状态是“not to report”

    34.  Hadoop需求什么样的网络?

    Hadoop核心使用ShellSSH)来驱动从节点上的server进程。并在主节点和从节点之间使用password-less SSH连接。

    35.  全分布式环境下为什么需求password-less SSH

    这主要由于集群中通信过于频繁,Job Tracker须要尽可能快的给Task Tracker公布任务。

    36.  这会导致安全问题吗?

    全然不用操心。

    Hadoop集群是全然隔离的,通常情况下无法从互联网进行操作。与众不同的配置。因此我们全然不须要在意这样的级别的安全漏洞。比方说通过互联网侵入等等。Hadoop为机器之间的连接提供了一个相对安全的方式。

    37.  SSH工作的port号是?

    SSH工作的port号是NO.22。当然能够通过它来配置,22是默认的port号。

    38.  SSH中的注意点还包含?

    SSH仅仅是个安全的shell通信,能够把它当做NO.22上的一种协议,仅仅须要配置一个password就能够安全的訪问。

    39.  为什么SSH本地主机须要password?

    SSH中使用password主要是添加安全性。在某些情况下也根本不会设置password通信。

    40.  假设在SSH中加入key,是否还须要设置password?

    是的,即使在SSH中加入了key,还是须要设置password。

    41.  假如Namenode中没有数据会怎么样?

    没有数据的Namenode就不能称之为Namenode,通常情况下,Namenode肯定会有数据。

    42.  Job Tracker宕掉时,Namenode会发生什么?

    Job Tracker失败时。集群仍然能够正常工作,仅仅要Namenode没问题。

    43.  是client还是Namenode决定输入的分片?

    这并非client决定的,在配置文件里以及决定分片细则。

    44.  能否够自行搭建Hadoop集群?

    是的,仅仅要对Hadoop环境足够熟悉。你全然能够这么做。

    45.  能否够在Windows上执行Hadoop

    你最好不要这么做,Red Hat Linux或者是Ubuntu才是Hadoop的最佳操作系统。

    Hadoop安装中,Windows通常不会被使用。由于会出现各种各样的问题。因此。Windows绝对不是Hadoop的推荐系统。

  • 相关阅读:
    40_接口类型的使用
    39_方法值和方法表达式
    38_方法的重写
    37_匿名字段方法的继承
    36_方法集的使用
    文件方式实现完整的英文词频统计实例
    组合数据类型练习,英文词频统计实例上
    英文词频统计预备,组合数据类型练习
    凯撒密码、GDP格式化输出、99乘法表
    字符串基本操作‘’
  • 原文地址:https://www.cnblogs.com/wzzkaifa/p/7263556.html
Copyright © 2011-2022 走看看