读取文本文件时<U+FEFF> 导致的奇怪问题

项目中经常会从一些文本文件中读取数据进行业务处理，最近遇到一个问题，另外一个部门提供一个txt文本给我们进行业务处理，当我们使用字符流读取文本之后，处理时，发现第一行数据无法匹配，其他数据可以正常处理，第一反应是文本文件可能有问题，可能有一些不可见字符，于是把文本文件拷贝到linux上通过命令查看，发现第一行最前面多了一个<U+FEFF>，问题可能就出在这个地方了，简单测试如下：

1、新建一个txt文件，文件中第一行放一个词语"程序猿"，然后保存为UTF-8编码：

2、从文本文件读取数据，然后比较：

    public static void main(String[] args) throws Exception {
        String firstline=readFirstLine("wordFile.txt");
        System.out.println(firstline.trim());
        System.out.println("程序猿".equals(firstline));

    }
    
    private static String  readFirstLine(String filename)throws Exception{
        try(
                BufferedReader reader=new BufferedReader(new FileReader(new File(ClassLoader.getSystemResource(filename).getPath())));
            ){
            String str=null;
            while((str=reader.readLine())!=null){
                return str;
            }
        }
        return null;
    } 

3、运行程序查看结果：

发现读取第一行数据，进行空格处理之后，两个词语不相等。

4、将文件放到linux上查看(使用less命令，其他命令可能看不到效果)：

发现词语之前多了一个<U+FEFF> ，问题可能就出在这个地方

 5、去掉多余的字符

1）In your terminal, open the file using vim:
vim file_name
2) Remove all BOM characters:
:set nobomb
3) Save the file:
:wq

6、用新文件覆盖之后，再次测试就正常了。

通过上面这几步，一切都很清楚了吧。