hadoop面试复习笔记(1)

0.Mappereduce采用的是Master/Slaves模型

1.Hadoop是一个开源软件框架，支持支持大数据集的存储和处理。Apache Hadoop是存储和处理大数据的解决方案你是因为：

　　(1)可扩展性。添加任意数量的节点来提高性能

　　(2)可靠。尽管机器出现故障，但是仍能可靠的存储数据

　　(3)高可用。尽管机器出现故障，但是Hadoop仍然能够存储数据。如果机器硬件崩溃，可以从另一个路径进行访问。

　　(4)经济。

2.Hadoop的核心组件是什么？

　　Hadoop是一个开源软件框架，用于分布式存储和处理大数据集。Apache Hadoop核心组件是HDFS，MapReduce和YARN

　　HDFS:Hadoop分布式文件系统(HDFS)是Hadoop的主要存储系统。工作原理:存储少量的大文件而不是存储大量的小文件，即使是在硬件故障的情况下，HDFS也可以可靠的存储数据。通过并行访问提供对应用程序的高吞吐量的访问

　　MapReduce:是Hadoop的数据处理层。是能够处理存储在HDFS中的大型结构化和非结构化数据的应用程序。MapReduce能够并行处理大量的数据。通过将作业划分为一组独立的子任务来进行处理，MapReduce的工作阶段可以分为Map阶段和Reduce阶段

　　YARN:资源调度框架。提供资源管理并允许多个数据引擎处理。

3.Hadoop的特点。

　　(1)开源。

　　(2)分布式处理：因为HDFS以分布式的方式在整个集群上存储数据，所以MapReduce在集群上是并行的处理数据

　　(3)可靠性：尽管机器出现故障，但是仍然能够在集群上可靠的存储数据

　　(4)高可用性：尽管硬件出现故障，我们能够从另一路径访问数据

　　(5)可扩展性：可以将新硬件添加带节点上

　　(6)经济

　　(7)易于使用

4.比较Hadoop和RDBMS?

　(1):架构，传统RDBMS具有ACID的属性。而Hadoop是一个计算框架，具有两个主要的组件:分布式文件系统(HDFS)和MapReduce

　(2)数据接收。RDBMS仅能狗接收结构化的数据，而hadoop能够接收结构化数据和非结构数据

　(3)传统RDBMS支持OLTP(实时数据处理)，而hadoop不支持的。

5.Hadoop的运行模式有哪些？

　　(1)本地模式:单节点非分布式模式运行，作为单个的java进程进行运行。

　　(2)为分布式

　　(3)完全分布式。

6.本地模式有哪些功能？

　　hadoop作为单个java进程以单节点非分布式模式来运行，使用本地文件系统进行相关的输入和输出。仅在测试和调试的时候比较有用

7.伪分布模式有哪些特点？

等同于完全分布式，但是所有的节点都运行在一个节点上

　　配置core-site.xml文件：　　

<?xml version="1.0"?>　　　　　　
<!-- core-site.xml -->
<configuration>
        <property>
                <name>fs.defaultFS</name>　　　//这个地方配置类默认的文件系统，如果是本地模式就是localhost，使用的主机名和端口，最常用的是9000
                <value>hdfs://localhost/</value>
        </property>
</configuration>

　　配置hddfs-site.xml文件

　　

<?xml version="1.0"?>
<!-- hdfs-site.xml -->
<configuration>
        <property>
                <name>dfs.replication</name>
                <value>1</value>        //查看配置的副本数
        </property>
</configuration>

　　配置mapreduce　　

<configuration>
        <property>
                <name>mapreduce.framework.name</name>　　//为MapReduce指定框架名称
                <value>yarn</value>
        </property>
</configuration>

配置shuffle以及资源管理器的地址

　　

<configuration>
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>localhost</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>

8.列举出hadoop中定义的最常用的InputFormat哪个是默认的