Tika

【目的】

Lucene在读取非txt文档时将无法正常建立索引.因为非txt文档一般其内容为二进制的.

通过Tika可以将非txt文档内容进行解析并提取到相关的文档内容.

【概述】

Tika是Apache公司在2008年推出一个项目,目的是为了在Lucene和其他格式的文件之间建立一个桥梁.通过Tika可以解析到非文本文件的内容.

【方式一】

    /**
     * 读取文件内容
     * @param file
     */
    public void read(File file){
        //AutoDetecParser：自动检测符合文件的Parser并进行返回
        Parser parser = new AutoDetectParser();
        InputStream stream = null;

        try {
            //创建输入流对象
            stream = new FileInputStream(file);
            //内容的存放对象
            BodyContentHandler handler = new BodyContentHandler();
            //定义元数据存放对象
            Metadata metaData = new Metadata();
            //增加元数据的信息
            metaData.add(metaData.RESOURCE_NAME_KEY, file.getName());
            
            //创建ParseContext对象
            //通过对象存储相关的变量信息
            ParseContext context = new ParseContext();
            
            //参数1    ：输入流对象（转换内容的对象）
            //参数2    ：内容的存放对象
            //参数3    ：元数据存放对象
            //参数4    ：上下文对象
            parser.parse(stream,handler, metaData,context );
            
            //输出文件的内容
            System.out.println(handler);
            
            //输出元数据信息            
            for(String temp : metaData.names()){
                System.out.println(temp + " = " + metaData.get(temp));
            }
            
        } catch (IOException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        } catch (SAXException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        } catch (TikaException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }
        finally{
            try {
                stream.close();
            } catch (IOException e) {
                // TODO Auto-generated catch block
                e.printStackTrace();
            }
        }
    }

    /**
     * 测试Tika读取文件内容
     */
    @Test
    public void testTika(){
        TikaUtil util = new TikaUtil();
        //util.read(new File("E:\lucene\files3\story2.docx"));
        //util.read(new File("E:\lucene\files3\Linux20个常用命令.pdf"));
        util.read(new File("E:\lucene\files3\学员末班申请表 - 模板.xls"));
        System.out.println("内容读取完成");
    }

【方式二】

    /**
     * 读取文件内容
     * @param file
     */
    public void read2(File file){
        Tika tika = new Tika();
        
        try {
            String content = tika.parseToString(file);
            System.out.println(content);
        } catch (IOException e) {        
            // TODO Auto-generated catch block
            e.printStackTrace();
        } catch (TikaException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }
    }

注意:方式2的执行效率低于方式1

【Tika创建索引】

    /**
     * 为指定路径下的文件创建索引
     * @param filePath
     */
    public  void createIndex( String filePath){
        IndexWriter writer = null;
        
        try{
            //创建Writer
            writer = util.getWriter(this.getDirectory(path), this.getConfig());
            
            //创建Document
            Document doc = null;
            
            //获取文件列表
            File list = new File(filePath);
            Tika tika = new Tika();
            
            //创建索引
            int i = 0;
            for(File file : list.listFiles()){
                doc = new Document();
                //建立Id列
                doc.add(new Field("id",String.valueOf(i++),Field.Store.YES,Field.Index.NOT_ANALYZED));
                doc.add(new Field("filename",file.getName(),Field.Store.YES,Field.Index.NOT_ANALYZED_NO_NORMS));
                doc.add(new Field("modifydate",Long.toString(file.lastModified()),Field.Store.YES,Field.Index.NOT_ANALYZED_NO_NORMS ));
                //doc.add(new Field("size",getSize(file.length()),Field.Store.YES,Field.Index.NOT_ANALYZED_NO_NORMS));
                
                doc.add(new NumericField("size",Field.Store.YES,true).setLongValue(getSize(file.length())));
                doc.add(new NumericField("score2",Field.Store.YES,true).setDoubleValue(Math.random()));
                doc.add(new Field("path",file.getAbsolutePath(),Field.Store.YES,Field.Index.NOT_ANALYZED_NO_NORMS));
                //doc.add(new Field("content",new FileReader(file)));
                //使用Tika读取文件内容并建立分词
                doc.add(new Field("content",new StringReader(tika.parseToString(file))));
                
                writer.addDocument(doc);
            }
        }
        catch(Exception ex){
            ex.printStackTrace();
        }
        finally{
            try {
                writer.close();
            } catch (CorruptIndexException e) {
                e.printStackTrace();
            } catch (IOException e) {
                e.printStackTrace();
            }
        }
    }