今日公司一个网络共享盘600G，活生生的被我们塞满到了只剩下300MB，我就在想如何可以从中释放出更多的空间来。共享盘的使用时间有很多年，其中必定有很多文件其实是重复的，被不同的人存了好几份，久而久之就导致了硬盘空间的极度浪费。我们平时在自己电脑中可能也会存在这种文件，特别是mp3啊，图片啊啥么的。
为了解决这个问题，我写了一个简单的小程序来遍历制定的目录，并找出其中相同的两个文件。想法很简单，遍历目录下的所有文件（包含所有子目录），算出遍历到的文件的MD5值，如果有多个文件的MD5值相等就说明这几个文件就是冗余的。说白了这个程序主要就三个主要功能需要实现：遍历目录 + 计算MD5值 + 找到相等后处理。
核心代码如下，利用递归的方法遍历制定目录下的所有文件，并计算哈希值。
/// <summary>< xmlnamespace prefix ="o" ns ="urn:schemas-microsoft-com:office:office" />
/// A Recursive way to traverse all file in the root path
/// </summary>
/// <param name="path">root path need to traverse</param>
/// <param name="level">the max level need to traverse</param>
private void TraverseAll(string path, int level)
{
if (level > maxLevel)
return;
DirectoryInfo curDirInfo = new DirectoryInfo(path);
DirectoryInfo[] childDirs = curDirInfo.GetDirectories();
FileInfo[] childFiles = curDirInfo.GetFiles();
TraverseFiles(childFiles);//此方法遍历所有文件，并记录下重复的
foreach (DirectoryInfo dir in childDirs)
{
TraverseAll(dir.FullName, level + 1);
}
}
/// <summary>
/// Traverse all files pass in, if duplicate record
/// </summary>
/// <param name="files">file list</param>
private void TraverseFiles(FileInfo[] files)
{
foreach (FileInfo f in files)
{
string hashCode = GetFileHashCode(f.FullName);//计算MD5值
try
{
fileTraversed.Add(hashCode, path);
}
catch//如果hashCode已经存在则会抛一个异常
{
if (duplicatedFile.IndexOf(fileTraversed[hashCode].ToString()) < 0)
{
duplicatedFile.Add(fileTraversed[hashCode].ToString());
}
duplicatedFile.Add(path);
}
}
}
完整的Traverse类：http://goo.gl/Og9bX
很愉快的完成了这个功能，但是这个程序的执行速度是蜗牛般的慢，这个我一开始就料到了，只是想写一个实现这个功能。
有以下几点可以改进：
1. 不需要每一个文件都计算MD5值，这个对于大文件太耗时间，可以大概分三层过滤，首先判断文件大小，大小相等计算可以用CRC校验（我不知道这个效率如何）或者可以取文件的几个部分进行校验，如果这步还相等则最后计算MD5值；
2. 计算HashCode对大文件来说是一个很漫长的过程，可以起多个线程来对文件进行计算，这样就会因为一个大文件而让其他没被计算的小文件无法快速计算。（而且现在计算机都是多核的，不用白不用）；
3. TraverseFiles这个方法的参数可以通过引用传入，这样如果目录下文件很多的情况下就不用浪费很多内存。
-- The End --