hadoop多节点配置，压缩，序列化，快照，回收站

节点的多目录配置：
--------------------------------------
　　namenode：配置两个文件夹为工作目录(容错) //两文件夹数据相同
　　datanode：配置两个文件夹为工作目录(扩容) //两文件夹数据不同

namenode配置：hdfs-site.xml
<property>
<name>dfs.namenode.name.dir</name>
<value>file://${hadoop.tmp.dir}/dfs/name,file://${hadoop.tmp.dir}/dfs/name2</value>
<description>以逗号分隔的路径列表，用于冗余(提供备份) </description>
</property>

datanode配置：hdfs-site.xml
<property>
<name>dfs.datanode.data.dir</name>
<value>file://${hadoop.tmp.dir}/dfs/data,file://${hadoop.tmp.dir}/dfs/data2</value>
</property>

之后将/soft/hadoop/etc文件夹进行分发

格式化文件系统：
　　1、停止所有进程：stop-all.sh
　　2、删除/soft/hadoop/logs
　　3、删除~/hadoop
　　4、hdfs namenode -format

启动：start-dfs.sh

容错和容灾：
------------------------------------
容错：能够容忍故障的发生，正常对外提供服务
容灾：对火灾、断电等一切不可抗因素有恢复能力

配额：
-------------------------------------
目录配额：限定目录能存放的文件个数(限于整个目录树，包括当前目录)
hdfs dfsadmin -setQuota 3 data
hdfs dfsadmin -clrQuota data

空间配额：限定目录能够存放的文件总大小(计算块大小x副本数)
hdfs dfsadmin -setSpaceQuota <quota> <dirname>...<dirname>
hdfs dfsadmin -clrSpaceQuota <dirname>...<dirname>

查看hadoop命令帮助
hdfs dfs -help mkdir
hdfs dfsadmin -help setQuota

hdfs默认最小块大小是1m
配置文件：dfs.namenode.fs-limits.min-block-size

手动设置hdfs文件的块大小，副本数
FSDataOutputStream fos = fs.create(p,true,1024,(short)2,1048576);

快照：
对当前资源的一个快速备份(投影)，快照不会发生改变
hdfs dfs -createSnapshot <snapshotDir> [<snapshotName>]
hdfs dfs -deleteSnapshot <snapshotDir> <snapshotName>
hdfs dfs -renameSnapshot <snapshotDir> <oldName> <newName>

hdfs dfsadmin -allowSnapshot <snapshotDir>
hdfs dfsadmin -disallowSnapshot <snapshotDir>

hdfs dfs -appendToFile 1.sh data/1.txt //将指定文件追加到hdfs文件末尾

1、快照会将当前状态的文件进行快速备份，元数据指向源文件

2、和Linux的硬链接类似，但是快照不会进行改变

3、快照存放的路径在被快照的文件夹路径下的.snapshot文件夹

4、不同文件夹创建的快照可以重名

5、无法删除快照或删除源文件夹

回收站：如果怕删除文件，需要启动回收站机制(core-site.xml)
<property>
<name>fs.trash.interval</name>
<value>1</value>
<description>
默认为0，即禁用回收站；配置文件说明垃圾回收的分钟数；
如果服务端禁用，则需要检查客户端是否启用回收站。
如果服务端启动，则客户端配置就可以忽略
</description>
</property>

<property>
<name>fs.trash.checkpoint.interval</name>
<value>0</value>
<description>
创建检查点间隔，需要小于等于fs.trash.interval
</description>
</property>

hdfs dfs -expunge //清空回收站过期文件

序列化：
将结构化的对象转化为字节流，以便在网络上进行传输或者进行永久存储的过程

序列化经常在两个领域出现：进程间通信，永久存储

hadoop中节点的进程间通信是通过RPC实现

RPC是一种协议，使用的是序列化技术

序列化技术特点：
紧凑：体积小，节省带宽
快速：序列化过程快速
可扩展：新的api完整兼容旧数据格式
支持互操作：跨语言

hadoop的序列化：writable

java writable
----------------------------------------
byte ByteWritable
short ShortWritable
int
long
float
double
char
boolean
String Text

IntWritable
Text

归档：启动yarn

archive
har文件 //hadoop归档文件

创建har文件：
　　hadoop archive -archiveName my.har -p /user/data data1 data2 /

查看归档文件：
　　hdfs dfs -lsr har:///my.har

hdfs性能：
不适合存储海量小文件：
　　　　namenode:在启动的时候将fsimage中的文件索引加载到内存。

　　　　平均一个文件，占用namenode内存150字节。

如果存储海量小文件，namenode内存占用量会特别大

小文件处理：
　　1、归档 //har
　　2、压缩 //
　　3、创建序列文件 //sequenceFile

hadoop的压缩：
压缩格式           压缩工具 　　算法 　　 文件扩展名 　　是否可切割
DEFLATE　　　　 N/A　　 DEFLATE　　 .deflate 　　　　No 
gzip　　　　　　  gzip 　　 DEFLATE　　 .gz　　　　　　 No 
bzip2　　　　　　 bzip2　　 bzip2 　　　 .bz2 　　　　　 Yes 
LZO　　　　　　 lzop　　　　 LZO　　   .lzo　　　　　　 No
LZ4　　　　　　 N/A　　　　 LZ4　　　　 .lz4　　　　　　 No 
Snappy 　　　　 N/A 　　　　 Snappy　　 .snappy　　　　 No

压缩格式 　　　　　　　　　　压缩编解码器
DEFLATE　　　　　　　　 　　 org.apache.hadoop.io.compress.DefaultCodec √
gzip　　　　　　　　　　　　    org.apache.hadoop.io.compress.GzipCodec √
bzip2　　　　　　　　　　　　 org.apache.hadoop.io.compress.BZip2Codec √
LZO　　　　　　　　　　　　　　 com.hadoop.compression.lzo.LzopCodec
LZ4 　　　　　　　　　　　　　　 org.apache.hadoop.io.compress.Lz4Codec √
Snappy 　　　　　　　　　　　　 org.apache.hadoop.io.compress.SnappyCodec √