8:00 2019/3/141：什么是hadoop?
hadoop是解决大数据问题的一整套技术方案
2：hadoop的组成?
核心框架
分布式文件系统
分布式计算框架
分布式资源分配框架
hadoop对象存储
机器计算
3：hadoop 云计算 大数据 微服务 人工智能关系
参见word学习文档
1. 现阶段，云计算的两大底层支撑技术为“虚拟化”和“大数据技术”
2. 而HADOOP则是云计算的PaaS层的解决方案之一，并不等同于PaaS，更不等同于云计算本身。
4：大数据项目的通常结构
采集数据
数据分析统计
数据展示
5：大数据项目的通常技术架构
见画图
Hadoop Common:
为其他Hadoop模块提供基础设施。
Hadoop DFS:
一个高可靠、高吞吐量的分布式文件系统
Hadoop MapReduce:
一个分布式的离线并行计算框架
Hadoop YARN:
一个新的MapReduce框架，任务调度与资源管理
6：安装一个伪分布式的hdfs
a:准备安装介质
hadoop-2.8.2.tar.gz
b:把安装介质上传到linux
c:在linux使用hostname命令确认主机名
d:编辑/etc/hosts文件 完成ip地址和主机名的映射
在分布式的每一台机器中都需要把所有机器的ip地址和主机名的映射关系配置
注意:关闭每台机器的防火墙
systemctl stop firewalld.service 关闭
systemctl disable firewalld.service 禁止开机启动
e:配置ssh免密码登录
f:从/export/software/下面把hadoop-2.8.2.tar.gz 解压到/export/servers/下
常用目录说明:
bin sbin hadoop常用的命令目录 配置到/etc/profile中
etc hadoop常用配置文件目录
share hadoop核心jar包目录
g:完成配置文件
hadoop-env.sh 配置java环境
core-site.xml hadoop核心配置
hdfs-site.xml hdfs核心配置
mapred-site.xml mr的核心配置
yarn-site.xml yarn的核心配置
h:格式化namenode环境
创建namenode保存数据的环境
hdfs namenode -format
i:使用命令启动hdfs
start-dfs.sh
start-yarm.sh
执行完成回到命令行
可以使用jps查看关键进程是否已经在运行
namenode
SecondaryNameNode
datanode
还要从web页面使用http连接管理页面查看
http://192.168.21.134:50070 可以看到hdfs的管理页面 证明hdfs安装并启动成功
http://192.168.21.134:8088 可以看到mr计算任务的管理页面 证明mr yarn安装并启动成功
注意事项:
a:如果某个进程没有正确启动 要学会看日志
eg:
starting namenode, logging to /export/service/hadoop-2.8.2/logs/hadoop-root-namenode-text4.out
以上输出信息是说明namenode启动过程写入了哪一个日志
假设最终namenode没有启动成功 需要打开日志查看原因
b:常用命令中还有单独启动某个进程的命令
hdfs单独启动各个进程服务
hadoop-daemon.sh start namenode
hadoop-daemon.sh start datanode
hadoop-daemon.sh start secondarynamenode
yarn单独启动各个进程服务
yarn-daemon.sh start resourcemanager
yarn-daemon.sh start nodemanager
7:安装分布式
a:已有一台虚拟机基础环境配置完毕 text4
b:利用有的虚拟机复制出2台 一共3台虚拟机
复制以已及每台配置网络 参照文档即可
b1：配置每台机器的主机名(提前规划好)(text4 text5 text6)
text4 —— namenode datanode secondarynamenode resourcemanager nodemanager
text5 —— datanode nodemanager
text6 —— datanode nodemanager
b2：修改网卡配置(每台机器的ip地址是提前规划好)(192.168.21.134 192.168.21.138 192.168.21.139)
b3：修改/etc/hosts文件 配置每台机器和ip地址的映射关系
c:配置3台之间可以ssh免密登录
ssh-keygen
ssh-copy-id root@机器名称
c1:配置text4 text5 text6互相都可以ssh免密登录
c2:选取一台虚拟机做namenode 配置它到text5 text6免密登录
可以在多个机器之间使用scp传输文件 如果不需要输入密码 则ssh免密配置正确
scp -r（目录整体复制） 目录/文件名称 用户名@机器名:目的机器的路径
d:确保所有机器防火墙都是关闭
e:修改每台机器的hadoop配置文件
e1:把每个block(数据块)修改为有2个备份
e2:把namenode相关的ip地址都修改成了主机名
f:把已有的namenode datanode配置好的数据文件夹删除
g:在namenode节点 执行namenode格式化 hdfs namenode -format
h:在namenode执行start-dfs.sh 启动hdfs
使用jps查看每台机器的进程规划
8:namenode datanode 数据目录结构讲解
namenode：
存放数据目录位置 /data/hadoop/dfs/name
datanode:
存放数据目录位置 /data/hadoop/dfs/data
实际上传到datanote中的文件数据都是保存在finalized目录下
eg:从linux 往hdfs上传一个文件 a0001.data
因为配置的block副本是2分 所以3台datanode节点中只有text4 text5有数据
经验证和原有的上传文件内容一致 就以2个副本的方式保证了数据的完整性
eg:从linux往hdfs上传一个大于128m的文件hadoop-2.8.2.tar.gz(240m)
因为它大于128m（128m是hdfs中默认的一个block的大小） 所以这个压缩包被分成2个block上传
每个block还是2个备份文件
hdfs dfs -put 待上传的文件名称 要上传的hdfs的目的地路径
secondarynamenode:
存放数据目录位置 /data/hadoop/tmp/dfs/namesecondary
start-all.sh
启动所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、JobTracker、 TaskTrack
stop-all.sh
停止所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、JobTracker、 TaskTrack
start-dfs.sh
启动Hadoop HDFS守护进程NameNode、SecondaryNameNode和DataNode
stop-dfs.sh
停止Hadoop HDFS守护进程NameNode、SecondaryNameNode和DataNode
hadoop-daemons.sh start namenode
单独启动NameNode守护进程
hadoop-daemons.sh stop namenode
单独停止NameNode守护进程
hadoop-daemons.sh start datanode
单独启动DataNode守护进程
hadoop-daemons.sh stop datanode
单独停止DataNode守护进程
hadoop-daemons.sh start secondarynamenode
单独启动SecondaryNameNode守护进程
hadoop-daemons.sh stop secondarynamenode
单独停止SecondaryNameNode守护进程
start-mapred.sh
启动Hadoop MapReduce守护进程JobTracker和TaskTracker
stop-mapred.sh
停止Hadoop MapReduce守护进程JobTracker和TaskTracker
hadoop-daemons.sh start jobtracker
单独启动JobTracker守护进程
hadoop-daemons.sh stop jobtracker
单独停止JobTracker守护进程
hadoop-daemons.sh start tasktracker
单独启动TaskTracker守护进程
hadoop-daemons.sh stop tasktracker
单独启动TaskTracker守护进程
sc文件：hdfs dfs -put aa.data /logs
io nio aio思想
b:编写hdfs java客户端程序
b1:建立开发工程
建立maven工程
在pom文件中引入开发hdfs客户端需要的jar包
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>2.8.2</version>
</dependency>
建立普通的java工程
引入jar包 目前只是开发hdfs的java客户端 只引入hadoop安装包下share目录中common和hdfs jar包即可
b2:规划包结构
b3:编写demo测试类
创建一个配置信息封装对象(客户端处理hdfs 编写mr 处理hive 处理hase都是需要配置信息)
创建一个文件系统的客户端对象 方便处理文件数据
对文件的增删改查的java api接口使用
对某个指定目录下所有文件或者目录基本信息的查看
hdfs复习点:
1:hdfs就是一个文件系统 在操作系统之上。
通常操作系统针对hdfs叫做本地
2:hdfs的重要组成部分
namenode:存储元数据
元数据中数据都有什么?
a:某个文件的某个block存储在哪个datanode上
b:每个datanode资源使用情况
c:每个文件的属性 修改时间等等信息
datanode:
真正存储文件数据
所以一个hdfs没有namenode或者namenode出问题则不能再使用
但是如果是datanode出问题 只可能是数据部分丢失 而不是hdfs不能使用
secondary namenode namenode datanode 关系
https://www.cnblogs.com/chenyaling/p/5521464.html
3:基本的理论知识
13:49 2019/3/1413:49 2019/3/14https://blog.csdn.net/lvtula/article/details/82354989
a:hdfs中namenode datanode secondarynamenode 某些主要目录或者文件的作用
https://blog.csdn.net/baiye_xing/article/details/76268495
namenode:edits fsimage version
datanode:finalized version blc文件每个都有一个meta文件
secondarynamenode:edits fsimage
b:namenode中edits和fsimage的作用以及其和内存的相互关系
c:namenode和secondarynamenode的工作机制
d:hdfs写流程
hdfs读流程
4:hdfs shell
5:java api操作hdfs
HA hadoop集群搭建步骤:
1:对集群每一台机器需要安装什么服务进行规划。
text4：zk nn dn zkfc jn nm rm
text5: zk nn dn zkfc jn nm rm
text6: zk dn jn nm
2:准备每台机器的基本环境
a:3台机器之间需要免密登录
b:每台机器必须安装好jdk 8.0以上
c:集群每台机器之间时间同步
c1:设定每台机器的正确时区
timedatectl set-timezone Asia/Shanghai
timedatectl set-local-rtc 1
date
c2:选择集群中一台机器为主 master 让其它机器和这台机器完成时间同步
使用rdate完成集群之间时间同步
具体操作请参见保存的时间同步页面说明
3:修改hadoop集群的配置文件
按照样例配置文件修改即可
4:启动集群过程(安装过程的启动)
a：启动zk
b: 启动jn
hadoop-daemon.sh start journalnode
c:格式化nn (选取text4)
d:格式化zkfc
hdfs zkfc -formatZK
e:把text4的nn结构复制到text5
先在text4启动nn
在text5执行 hdfs namenode bootstrapstandby
如果出现此时在text5并没有能成功复制text4的nn的目录机构
则直接可以从text4复制到text5 完成2台nn之间的复制
f:启动集群
zk启动
zkfc启动
start-dfs.sh
start-yarn.sh(如果那个rm没有启动 直接可以使用守护进程)
1：什么是hadoop?
hadoop是解决大数据问题的一整套技术方案
2：hadoop的组成?
核心框架
分布式文件系统
分布式计算框架
分布式资源分配框架
hadoop对象存储
机器计算
3：hadoop 云计算 大数据 微服务 人工智能关系
参见word学习文档
4：大数据项目的通常结构
采集数据
数据分析统计
数据展示
hadoop-env.sh 配置java环境
core-site.xml hadoop核心配置
hdfs-site.xml hdfs核心配置
mapred-site.xml mr的核心配置
yarn-site.xml yarn的核心配置
namenode：
存放数据目录位置 /data/hadoop/dfs/name
namenode的数据文件:
namenode保存的是整个hdfs的元数据
eg:
上传文件的所属 大小 修改日期
以及文件每一个block所在哪个datanode对应关系都是namenode元数据保存的
edtis:保存的是最近的日志记录(namenode接收到的命令以及解析)
fsimage:保存的是namenode内存信息的镜像
seen_txid:集群状态的恢复标识
步骤解析1：
上传
1、根namenode通信请求上传文件，namenode检查目标文件是否已存在，父目录是否存在
2、namenode返回是否可以上传
3、client请求第一个 block该传输到哪些datanode服务器上
4、namenode返回3个datanode服务器ABC
5、client请求3台dn中的一台A上传数据（本质上是一个RPC调用，建立pipeline），A收到请求会继续调用B，然后B调用C，将真个pipeline建立完成，逐级返回客户端
6、client开始往A上传第一个block（先从磁盘读取数据放到一个本地内存缓存），以packet为单位，A收到一个packet就会传给B，B传给C；A每传一个packet会放入一个应答队列等待应答
7、当一个block传输完成之后，client再次请求namenode上传第二个block的服务器。
详细步骤解析2：
下载
1、跟namenode通信查询元数据，找到文件块所在的datanode服务器
2、挑选一台datanode（就近原则，然后随机）服务器，请求建立socket流
3、datanode开始发送数据（从磁盘里面读取数据放入流，以packet为单位来做校验）
4、客户端以packet为单位接收，现在本地缓存，然后写入目标文件
HA hadoop集群搭建步骤:
1:对集群每一台机器需要安装什么服务进行规划。
text4：zk nn dn zkfc jn nm rm
text5: zk nn dn zkfc jn nm rm
text6: zk dn jn nm
2:准备每台机器的基本环境
a:3台机器之间需要免密登录
b:每台机器必须安装好jdk 8.0以上
c:集群每台机器之间时间同步
c1:设定每台机器的正确时区
timedatectl set-timezone Asia/Shanghai
timedatectl set-local-rtc 1
date
c2:选择集群中一台机器为主 master 让其它机器和这台机器完成时间同步
使用rdate完成集群之间时间同步
具体操作请参见保存的时间同步页面说明
3:修改hadoop集群的配置文件
按照样例配置文件修改即可
4:启动集群过程(安装过程的启动)
a：启动zk
b: 启动jn
hadoop-daemon.sh start journalnode
c:格式化nn (选取text4)
d:格式化zkfc
hdfs zkfc -formatZK
e:把text4的nn结构复制到text5
先在text4启动nn
在text5执行 hdfs namenode bootstrapstandby
如果出现此时在text5并没有能成功复制text4的nn的目录机构
则直接可以从text4复制到text5 完成2台nn之间的复制
f:启动集群
zk启动
zkfc启动
start-dfs.sh
start-yarn.sh(如果那个rm没有启动 直接可以使用守护进程)
Zookeeper是一个分布式协调服务；就是为用户的分布式应用程序提供协调服务
A、zookeeper是为别的分布式程序服务的
B、Zookeeper本身就是一个分布式程序（只要有半数以上节点存活，zk就能正常服务）
C、Zookeeper所提供的服务涵盖：主从协调、服务器节点动态上下线、统一配置管理、分布式共享锁、统一名称服务……
D、虽然说可以提供各种服务，但是zookeeper在底层其实只提供了两个功能：
管理(存储，读取)用户程序提交的数据；
并为用户程序提供数据节点监听服务；
1、Znode有两种类型：
短暂（ephemeral）（断开连接自己删除）
持久（persistent）（断开连接不删除）
2、Znode有四种形式的目录节点（默认是persistent ）
PERSISTENT
PERSISTENT_SEQUENTIAL（持久序列/test0000000019 ）
EPHEMERAL
EPHEMERAL_SEQUENTIAL
3、创建znode时设置顺序标识，znode名称后会附加一个值，顺序号是一个单调递增的计数器，由父节点维护
4、在分布式系统中，顺序号可以被用于为所有的事件进行全局排序，这样客户端可以通过顺序号推断事件的顺序
1、Zookeeper：一个leader，多个follower组成的集群
2、全局数据一致：每个server保存一份相同的数据副本，client无论连接到哪个server，数据都是一致的
3、分布式读写，更新请求转发，由leader实施
4、更新请求顺序进行，来自同一个client的更新请求按其发送顺序依次执行
5、数据更新原子性，一次数据更新要么成功，要么失败
6、实时性，在一定时间范围内，client能读到最新数据
4.2. zookeeper数据结构
1、层次化的目录结构，命名符合常规文件系统规范(见下图)
2、每个节点在zookeeper中叫做znode,并且其有一个唯一的路径标识
3、节点Znode可以包含数据和子节点（但是EPHEMERAL类型的节点不能有子节点，下一页详细讲解）
4、客户端应用可以在节点上设置监视器（后续详细讲解）
yarn的流程：1：客户端向yarn发送请求，开始运行job
2：resourcemanager反馈信息，把切片资源在hdfs的存放目录发送给客户端
3：客户端调用fileinputformat的getsplits方法完成数据切片计算
4：客户端把切片资源上传到yarn指定的hdfs目录下
5：通知yarn资源已上传，请分配mrappmaster开始执行任务
6：yarn吧客户端待执行的任务放入任务队列
7：resourcemanager从某个namemodemanager选择一台机器准备运行环境（根据充足的空间判定）
8：制定后 mappermaster从指定位置获取任务资源（job.split jar job.xml）
9：mappermaster从job.spilit中确认需要运行多少maptask，想yarn的rm申请运行资源
10resourcemanager给mrappmaster反馈可用的运行maptask的资源
11mrappmaster根据yarn提供的资源开始运行maptask
12：当maptask运行完毕，mrappmaster会知道
13：重复申请资源的步骤 开始运行reducetask
14当reducetask运行完毕 回收mappmaster的占用资源
yarn只是一个分布式资源分配系统，核心是resourcemanager和nodemanager
yarn只负责资源分配，不负责xuanfayunsuan
sheff运行流程
map()输出结果->内存(环形缓冲区,当内存大小达到指定数值,如80%,开始溢写到本地磁盘)
溢写之前,进行了分区partition操作,分区的目的在于数据的reduce指向,分区后进行二次排序,第一次是对partitions进行排序,
第二次对各个partition中的数据进行排序,之后如果设置了combine,就会执行类似reduce的合并操作,还可以再进行压缩,
因为reduce在拷贝文件时消耗的资源与文件大小成正比
内存在达到一定比例时,开始溢写到磁盘上
当文件数据达到一定大小时,本地磁盘上会有很多溢写文件,需要再进行合并merge成一个文件
reduce拷贝copy这些文件,然后进行归并排序(再次merge),合并为一个文件作为reduce的输入数据
wordcount流程：
计算在某个目录下有n多份文件，每个文件中有n多个单词，计算每个单词出现的个数
1：yarn的resourcemanager会反馈给客户端吧切片信息存放到那个目录下，然后客户端通过调用fileinputformat的getsplits进行切片机算，得到3样数据（
a：切片的描述信息jobsplit b：计算所有单词个数的jar包 c：把这次计算任务job的配置信息放入文件中的job。xml
）
2：放置后会通知yarn分配mappermaster任务，会挑选一台nodemanager机器作为mrappmaster
3：mrappmaster会根据job的描述信息 根据job。split确定需要几个 maptaskxiang yarn申请计算资源，
4：yarn反馈给mrappmaster明确的可用的计算资源
5：mrappmaster根据yarn提供的资源开始运行maptask
6：maptask从hdfs中依据job。spilt的描述的数据从hdfs 复制到本地的server，调用wordcount程序完成计算
（计算：maptask运行map方法，map方法接受的是文本中的每一行的偏移量， v是每次map方法执行时读取的一行单词）
7：map阶段执行完后在执行reduce阶段， reduce完成对map阶段输出的解过进行合并操作
reducetask的数量是程序员根据需求制定，如果不指定是1
8：reduce完成后会输出问结果文件
1yarn的resourcemanager会反馈给客户端切片信息放置的目录，然后客户端通过调用fileinputformat的getsplits进行切片机算，得到三杨树局，
（a切片的描述信息b机损所有单词的jar包c将job的藐视信息放入job。xml）
2客户端放置后通知yarn分配mrappmaster执行任务，yarn会挑选一台namenodemanager作为mrappmaster
3mrappmaster会从指定位置下获取资源，根据job。splits计算需要多少个maptask，并向yarn申请及资源
4yarn反馈资源，mrappmaster给句yarn提供的资源开始运行maptask
5maptask从hdfs中依据job。split的描述的数据从hdfs复制到本地的server，调用wordcount完成计算
1.hadoop运行原理
MapReduce
HDFS 分布式文件系统（HDFS客户端的读写流程）
写：
客户端接收用户数据，并缓存到本地
当缓存足够一个HDFS大小的时候
客户端同NameNode通讯注册一个新的块
注册成功后 NameNode给客户端返回一个DateNode的列表
客户端向列表中的第一个DateNode写入块
收到所有的DateNode确认信息后，客户端删除本地缓存
客户端继续发送下一个块
重复以上步骤 所有数据发送完成后，写操作完成
读：
客户端与NameNode通讯获取文件的块位置信息，包括块的所有冗余备份的位置信息：DateNode列表
客户端获取文件位置信息后直接同有文件块的DateNode通讯，读取文件
如果第一个DateNode无法连接，客户端将自动联系下一个DateNode
如果块数据的校验值出错，则客户端需要向NameNode报告，并自动联系下一个DateNode
客户端的hadoop环境：与集群的hadoop包一样
集群入口：core-site.xml、fs.default.name
缓存块大小：fs.block.size
存多少份：fs.replication
2.mapreduce的原理
mapreduce的原理：一个MapReduce框架由一个单独的master JobTracker和集群节点每一个slave TaskTracker共同组成。
master负责调度构成一个作业的所有任务，在这些slave上，master监控它们的执行，并且重新执行已经失败的任务。
而slave仅负责执行由maste指派的任务。
3.Mapreduce数据倾斜是什么意思？怎么处理?
Mapreduce数据倾斜是指我们在分片的时候导不同分片上的数据不均，导致这些分片在并行处理的时候，有的分片执行事件过长，
有的执行时间过短，导致总的执行时间过长的一种现象，通常是由：1.map端的key值过多或者有空值；
2.业务本身的特性；3.某些sql就有数据倾斜；4.建表的时候考虑不周等原因造成的。
处理：* a:增加reducetask的数量
* b:在不改变整体统计结果的前提下，可以修改key的设定方式
* c:在做关联时，尽量避免reducetask端的join 可以使用maptask端的join
4.combiner的作用，使用时机？
Combiner其实也是一种reduce操作，是map运算的后续操作，在map后续对于相同key值做一个简单合并，减小后续的reduce的计算压力。
数据量小的时候，且输入的结果不会影响到reduce输入的结果，且不做平均值的时候，用基于map端之后shuffle端之前的reduce操作。
1
5.MapReduce–如何设置Reducer的个数
1.在代码中通过：JobConf.setNumReduceTasks(Int numOfReduceTasks)方法设置reducer的个数；
2.在hive中：set mapred.reduce.tasks；
3.reducer的最优个数与集群中可用的reducer的任务槽数相关，一般设置比总槽数微少一些的reducer数量；Hadoop文档中推荐了两个公式：
0.95*NUMBER_OF_NODES*mapred.tasktracker.reduce.tasks.maximum
1.75*NUMBER_OF_NODES*mapred.tasktracker.reduce.tasks.maximum
备注：NUMBER_OF_NODES是集群中的计算节点个数；
mapred.tasktracker.reduce.tasks.maximum：每个节点所分配的reducer任务槽的个数；
6.MR的过程：
input —–>spilt—–>map—–>combiner—–>shuffer—> partition—–>reduce—–>output
spilt :对数据进行split分片处理，产生K1值和V1值，传给map
map: 数据整理，把数据整理成K2和V2,
combiner:如果map输出内容比较多，reduce计算比较慢，我们可以加个combiner
map端的本地化reduce，减少map输出;
shuffer:相同的数据放到一个分区
partiton:如果reduce不是一个，shuffler做一个分区，将相同的K值，分到一个区；
排序方式：hash方式；
reduce：shuffer分区结束后交给reduce进行计算，形成K3 V 3
output: 将reduce处理完的 K3和V3交给output输出；
a. 客户端编写好mapreduce程序，提交job到jobtracker；
b. Jobtracker进行检查操作，确定输出目录是否存在，存在抛出错误；
c. Jobtracker根据输入计算输入分片input split、配置job的资源、初始化作业、分配任务；
d. 每个input split创建一个map任务，tasktracker执行编写好的map函数；
e. Combiner阶段是可选的，它是一个本地化的reduce操作，合并重复key的值；
f. Shuffle一开始就是map做输出操作，并对结果进行排序，内存使用达到阀值就会spill，把溢出文件写磁盘，写磁盘前有个排序操作，map输出全部做完后，
会合并溢出文件，这个过程中还有个Partitioner操作，一个partitioner对应一个reduce作业，reduce开启复制线程，复制对应的map输出文件，复制时候reduce还会进行排序操作和合并文件操作
g. 传输完成，执行编写好的reduce函数，结果保存到hdfs上。
7.MR怎么处理小文件：
1.输入过程合并处理：1.在linux 10000个文件上传到HDFS时候，用脚本形成二进制文件流上传，上传的过程中就合并成了一个文件。
2.如果在hdfs中有大量小文件，首先进行清洗，把10000个小文件清洗成一个文件或者几个文件，写个map(1.前提10000小文件格式相同，
2.不会有太多的小文件 一千万个小文件，首先会在操作系统上传时就处理完了，但是要是问可以说，分批做，每一万个存储到一个目录中，对一个目录进行map清洗）)，其次，进行reduce计算
清洗会产生数据倾斜: 很多小文件是数据倾斜(解决方法）：2.1.基于map端的离散方法；2.2.combiner;
//hdfs为什么怕很多小文件：因为很多小文件的话也会占用namenode目录树的空间，一般一个文件的元数据会占到150字节；
而NameNode是要接收集群中所有的DataNode的心跳信息，来确定元数据的信息变化的，当小文件一旦过多，namenode的元数据读取就会变慢。
（在HDFS中，namenode将文件系统中的元数据存储在内存中，因此，HDFS所能存储的文件数量会受到namenode内存的限制）
8.如何从编程的角度讲解MR的过程
对数据进行底层默认分片把数据解析成k1/v1形式传给map；
Map对k1/v1进行截取、运算等操作生成k2/v2传给reduce；
Reduce对相同key的值进行计算，生成最终结果k3/v3输出
9.MR中有没有只有Map的
有，只对数据进行分片，解析成key/value形式后，直接输出结果不进行reduce端的去重和数组化的。
eg：比如说我把所有的经过split（map）形成的元素都放到context的key做标签就不会用到reduce。
10.Map输出端的组成部份
Combiner、shuffle、partitioner
11.如何用MR实现join
1) reduce side join（在reduce端做join操作）
在map阶段，map函数同时读取两个文件File1和File2，为了区分两种来源的key/value数据对，对每条数据打一个标签 （tag）,
比如：tag=0表示来自文件File1，tag=2表示来自文件File2。即：map阶段的主要任务是对不同文件中的数据打标签。
在reduce阶段，reduce函数获取key相同的来自File1和File2文件的value list， 然后对于同一个key，对File1和File2中的数据进行join（笛卡尔乘积）。即：reduce阶段进行实际的连接操作。
2) map side join（在map端做join操作）
之所以存在reduce side join，是因为在map阶段不能获取所有需要的join字段，即：同一个key对应的字段可能位于不同map中。Reduce side join是非常低效的，因为shuffle阶段要进行大量的数据传输。
Map side join是针对以下场景进行的优化：两个待连接表中，有一个表非常大，而另一个表非常小，以至于小表可以直接存放到内存中。这样，我们可以将小表复制多份，
让每个map task内存中存在一份（比如存放到hash table中），然后只扫描大表：对于大表中的每一条记录key/value，在hash table中查找是否有相同的key的记录，
如果有，则连接后输出即可。为了支持文件的复制，Hadoop提供了一个类DistributedCache，使用该类的方法如下：
（1）用户使用静态方法DistributedCache.addCacheFile()指定要复制的文件，它的参数是文件的URI（如果是 HDFS上的文件，可以这样：
hdfs://namenode:9000/home/XXX/file，其中9000是自己配置的NameNode端口 号）。JobTracker在作业启动之前会获取这个URI列表，并将相应的文件拷贝到各个TaskTracker的本地磁盘上。
（2）用户使用 DistributedCache.getLocalCacheFiles()方法获取文件目录，并使用标准的文件读写API读取相应的文件。
DistributedCache方法：（DistributedCache 是一个提供给Map/Reduce框架的工具，用来缓存文件（text, archives, jars and so on）文件的默认访问协议为(hdfs://).
DistributedCache将拷贝缓存的文件到Slave节点在任何Job在节点上执行之前。
文件在每个Job中只会被拷贝一次，缓存的归档文件会被在Slave节点中解压缩。）
符号链接
每个存储在HDFS中的文件被放到缓存中后都可以通过一个符号链接使用。
URI hdfs://namenode/test/input/file1#myfile 你可以在程序中直接使用myfile来访问 file1这个文件。 myfile是一个符号链接文件。
12.MAP如何排序
在map端一共经历两次的排序：
当map函数产生输出时，会首先写入内存的环形缓冲区，当达到设定的阈值，在刷写磁盘之前，
后台线程会将缓冲区的数据划分成相应的分区。在每个分区中，后台线程按键进行内排序，在Map任务完成之前，
磁盘上存在多个已经分好区，并排好序的、大小和缓冲区一样的溢写文件，
这时溢写文件将被合并成一个已分区且已排序的输出文件。
由于溢写文件已经经过第一次排序，所以合并分区文件时只需要再做一次排序就可使输出文件整体有序。
13.什么是inputsplit
InputSplit是MapReduce对文件进行处理和运算的输入单位，只是一个逻辑概念，每个InputSplit并没有对文件实际的切割
，只是记录了要处理的数据的位置（包括文件的path和hosts）和长度（由start和length决定）。
14.MR中使用了哪些接口？（或者是抽象类）
FileinputFormat、Mapper、Reducer、FileoutputFormat、Combiner、Partitioner等
---------------------
作者：QianShiK
来源：CSDN
原文：https://blog.csdn.net/QianShiK/article/details/81480854
版权声明：本文为博主原创文章，转载请附上博文链接！
这个业务中map输出value包含日志数据中每一行的上行流量 下行流量
* 因为一次要输出3个值 所以我们通常都是编写一个自定义的类型
*
* 自定义map reducer的输出值类型?
* a:需要编写一个java类封装每一行日志数据中的上行流量和下行流量
* b:还需要在a中封装根据上行流量和下行流量计算总流量
* c:因为a中的java类做的是map的输出值类型 所以它需要符合hadoop io类型
* LongWritable Text IntWritable都实现了WritableComparable接口
* 反推就是想编写hadoop io类型就需要实现WritableComparable接口
*
* WritableComparable接口又包括了
* Writable接口(write,readFields两个方法) 这个接口是负责这个对象的序列化和反序列化
* Comparable接口(compareTo一个方法) 这个接口是负责对象比较大小/排序使用的
* 所以两个接口中Writable接口才是标识是否属于hadoop io的类型
*
* 又以为map的输出值不需要排序 只需要序列化 所以我们在这需求需要编写的map输出自定义类型只
* 需要实现Writable接口即可
切片怎么切的：切片的数量不是越大或者越小写好，而是要根据每次计算的实际数据凉，自定义优化的切片大小来控制切片的数量
比如有一共300m，前128m以一个切片，如果129到300m的存储空间小可以直接是一个切片
NIO
1:什么是NIO？
NIO是基于通道和缓存的非阻塞IO。
2:IO 和 NIO的区别?
a:通道在IO中只是一个便于理解的虚拟概念 而在NIO中通道是一个实际的概念
b:在IO中最底层的传输数据是字节 而在NIO中最小的传输都是缓存
c:在IO中 虚拟的通道直接会和数据接触 在NIO中通道直接面对的不是数据 而是缓存
d:在IO中某一个通道通常都是单向的 在NIO中通道是双向的
e:IO和NIO针对数据传输内存使用的方式不同
IO是面向流的 NIO是面向缓存的
3：NIO中的缓存
在NIO中传输数据 都是把数据先放入某个缓存中 再在某个通道中 按照缓存传输
在java中原有针对NIO的开发包 java.nio.*
在java.nio包下直接都是可以使用的缓存类:
ByteBuffer
CharBuffer
DoubleBuffer
FloatBuffer
IntBuffer
LongBuffer
MappedByteBuffer
ShortBuffer
4:直接缓冲区和非直接缓冲区
a：系统内存(系统内核内存) 和 JVM内存(程序内存的区别)
b:IO是把数据先传入JVM内存 再从JVM内存复制到系统内存 组后从系统内存写入目的硬盘
NIO是把数据可以先传入硬盘内存区 再从硬盘内存区直接写入目的硬盘
buffer.allocate方法创建的缓冲区是在非直接缓冲区申请的内存
buffer.allocateDirect一旦使用 就是在直接缓冲区申请的内存
5：通道
通道是为了替代cpu完成io操作 从而提升cpu的利用率