POI & easyExcel快速使用

常用信息

1. 将用户信息导出为Excel表格(导出数据)
2. 将Excel表中的信息录入到网站数据库(习题上传...),可以大大减轻网站录入量

开发中经常涉及到Excel的处理，如导出Excel,导入数据到Excel中

操作Excel目前比较流行的就是 Apache POI 和 阿里巴巴的 easyExcel

Apache POI

Apache POI 官网 ： https://poi.apache.org/

POI（Poor Obfuscation Implementation），直译为“可怜的模糊实现”，利用POI接口可以通过 Java 操作 Microsoft office 套件工具的读写功能。POI支持office的所有版本。

基本功能

结构：

HSSF － 提供读写Microsoft Excel格式档案的功能。（03版本，行数最多支持65536行）

XSSF － 提供读写Microsoft Excel OOXML格式档案的功能。(07版本，行数无限制)

HWPF － 提供读写Microsoft Word格式档案的功能。

HSLF － 提供读写Microsoft PowerPoint格式档案的功能。

HDGF － 提供读写Microsoft Visio格式档案的功能。

POI 较为原生和复杂，操作起来比较麻烦，POI 会将数据先加载到内存中，然后再写入到文件中，处理大量数据时可能出现OOM(Out Of Memory，内存溢出)问题。

easyExcel

easyExcel 官网： https://github.com/alibaba/easyexcel

官方文档：https://www.yuque.com/easyexcel/doc/easyexcel

介绍

easyExcel 是阿里巴巴开源的一个Excel处理框架，以使用简单，节省内存著称。

easyExcel能大大减少占用内存的主要原因是在解析Excel时没有将文件数据一次性全部加载到内存中，而是从磁盘上一行行读取数据，进行逐个解析。

easyExcel 和 POI 在解析Excel时的对比图

POI - Excel 写

创建一个项目，创建普通Maven的Module

导入依赖

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.shiguang</groupId>
    <artifactId>poi-easyExcel</artifactId>
    <version>1.0-SNAPSHOT</version>

    <!--导入依赖-->
    <dependencies>
        <!-- xls (03) -->
        <dependency>
            <groupId>org.apache.poi</groupId>
            <artifactId>poi</artifactId>
            <version>4.1.2</version>
        </dependency>
        <!-- xlsx (07) -->
        <dependency>
            <groupId>org.apache.poi</groupId>
            <artifactId>poi-ooxml</artifactId>
            <version>4.1.2</version>
        </dependency>
        <!-- 日期格式化工具 -->
        <dependency>
            <groupId>joda-time</groupId>
            <artifactId>joda-time</artifactId>
            <version>2.10.8</version>
        </dependency>
        <!-- 单元测试 -->
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.13</version>
            <scope>test</scope>
        </dependency>
    </dependencies>
</project>

注意：2003和2007版本存在兼容性的问题！03版本最多只有65535行！

可以将Excle 抽象出工作簿，工作表，行，列 这几个对象

Workbook接口下的实现类

示例代码

package com.shiguang;


import org.apache.poi.hssf.usermodel.HSSFWorkbook;
import org.apache.poi.ss.usermodel.Cell;
import org.apache.poi.ss.usermodel.Row;
import org.apache.poi.ss.usermodel.Sheet;
import org.apache.poi.ss.usermodel.Workbook;
import org.joda.time.DateTime;
import org.junit.Test;


import java.io.FileOutputStream;
import java.io.IOException;

public class ExcelWriteTest {
    String PATH = "D:\Desktop\"; //表输出路径
    @Test
    public void testWrite03() throws IOException {
        //1.创建一个工作簿
        Workbook workbook = new HSSFWorkbook();
        //2.创建一个工作表
        Sheet sheet = workbook.createSheet("時光收支统计表");
        //3.创建一个行
        Row row1 = sheet.createRow(0);
        //4.创建一个单元格

        // 第一行一列数据(1,1)
        Cell cell11 = row1.createCell(0);
        cell11.setCellValue("今日新增收入");
        //第一行二列数据(1,2)
        Cell cell12 = row1.createCell(1);
        cell12.setCellValue("统计时间");

        //第二行
        Row row2 = sheet.createRow(1);
        //第二行第一列（2,1）
        Cell cell21 = row2.createCell(0);
        cell21.setCellValue("888");
        //第二行第二列(2,2)
        Cell cell22 = row2.createCell(1);
        String time = new DateTime().toString("yyyy-MM-dd HH:mm:ss");
        cell22.setCellValue(time);

        //生成一张表(IO操作,需要使用流) 03版本使用xls结尾，
        FileOutputStream fileOutputStream = new FileOutputStream(PATH + "時光收支情况统计表03.xls");
        //输出
        workbook.write(fileOutputStream);

        //关闭流
        fileOutputStream.close();
        System.out.println("Excle文件生成完毕ヾ(•ω•`)o");

    }



}

效果

07版本只需要将对象该为 XSSFWorkbook() ,并将表名称后缀改为 xlsx 即可

数据批量导入

大文件写HSSF

示例代码

@Test
    public void testWrite03BigData() throws IOException {
        long begin = System.currentTimeMillis();
        //创建一个工作簿
        Workbook workbook = new HSSFWorkbook();
        //创建表
        Sheet sheet = workbook.createSheet();
        //写入数据
        for(int rowNum = 0; rowNum<65536;rowNum++){
            Row row = sheet.createRow(rowNum);
            for (int cellNum = 0; cellNum < 10; cellNum++) {
                Cell cell = row.createCell(cellNum);
                cell.setCellValue(cellNum);
            }
        }
        System.out.println("工作表创建成功ヾ(^▽^*)))");
        FileOutputStream OutputStream = new FileOutputStream(PATH + "大数据测试03.xls");
        workbook.write(OutputStream);
        OutputStream.close();
        long end = System.currentTimeMillis();
        System.out.println((double) (end-begin)/1000);
    }

缺点：最多只能处理 65536 行数据，否则会抛出异常

优点: 先写入缓存，最后一次性写入磁盘，速度快

大文件写XSSF

示例代码

@Test
    public void testWrite07BigData() throws IOException {
        long begin = System.currentTimeMillis();
        //创建一个工作簿
        Workbook workbook = new XSSFWorkbook();
        //创建表
        Sheet sheet = workbook.createSheet();
        //写入数据
        for(int rowNum = 0; rowNum<100000;rowNum++){
            Row row = sheet.createRow(rowNum);
            for (int cellNum = 0; cellNum < 10; cellNum++) {
                Cell cell = row.createCell(cellNum);
                cell.setCellValue(cellNum);
            }
        }
        System.out.println("工作表创建成功ヾ(^▽^*)))");
        FileOutputStream OutputStream = new FileOutputStream(PATH + "大数据测试07.xlsx");
        workbook.write(OutputStream);
        OutputStream.close();
        long end = System.currentTimeMillis();
        System.out.println((double) (end-begin)/1000);
    }

缺点：写数据时速度非常慢，非常小号内存，并且会发生内存溢出，如处理100万条数据时

优点：可以写较大的数据量，如20万条

大文件写SXSSF

示例代码

 @Test
    public void testWrite07BigDataS() throws IOException {
        long begin = System.currentTimeMillis();
        //创建一个工作簿
        Workbook workbook = new SXSSFWorkbook();
        //创建表
        Sheet sheet = workbook.createSheet();
        //写入数据
        for(int rowNum = 0; rowNum<100000;rowNum++){
            Row row = sheet.createRow(rowNum);
            for (int cellNum = 0; cellNum < 10; cellNum++) {
                Cell cell = row.createCell(cellNum);
                cell.setCellValue(cellNum);
            }
        }
        System.out.println("工作表创建成功ヾ(^▽^*)))");
        FileOutputStream OutputStream = new FileOutputStream(PATH + "大数据测试07S.xlsx");
        workbook.write(OutputStream);
        OutputStream.close();
        //清除临时文件
        ((SXSSFWorkbook) workbook).dispose();
        long end = System.currentTimeMillis();
        System.out.println((double) (end-begin)/1000);
    }

优点：可以写非常大的数据量，如100万条甚至更多条，写数据速度快，占用更少的内存

注意：

过程中会产生临时文件，需要清理临时文件

默认有100条记录被保存在内存中，如果超出这个数量，则最前面的数据会被写入临时文件中。

如果想自定义内存中数据的数量，可以使用 new SXSSFWorkbook(数量)

SXSSFWorkbook官方解释：“BigGridDemo”策略的流式XSSFWorkbook版本，这允许写入非常大的文件而不会耗尽内存，因为任何时候只有可配置的行部分被保存在内存中。

请注意，仍可能会消耗大量内存，这些内存基于您正在使用的功能，如合并区域，注释...这些功能仍然只存储在内存中，因此如果广泛使用，可能需要大量内存。

POI-Excle 读

03版本

表数据

示例代码

package com.shiguang;

import org.apache.poi.hssf.usermodel.HSSFWorkbook;
import org.apache.poi.ss.usermodel.Cell;
import org.apache.poi.ss.usermodel.Row;
import org.apache.poi.ss.usermodel.Sheet;
import org.apache.poi.ss.usermodel.Workbook;
import org.apache.poi.xssf.usermodel.XSSFWorkbook;
import org.joda.time.DateTime;
import org.junit.Test;

import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.IOException;

public class ExcelReadTest {
    String PATH = "D:\Desktop\"; //Excel表所在路径
    @Test
    public void testRead03() throws IOException {
        //1.创建一个工作簿 03

        // 获取文件流
        FileInputStream inputStream = new FileInputStream(PATH + "時光收支情况统计表03.xls");
        Workbook workbook = new HSSFWorkbook(inputStream);
        //2.获取一个工作表
        Sheet sheet = workbook.getSheetAt(0);
        //获取第一行
        Row row = sheet.getRow(1);
        //获取第一行第一列
        Cell cell = row.getCell(0);

        //读取值时一定要注意类型
        //getStringCellValue() 字符串类型
        //System.out.println(cell.getStringCellValue());
        //getNumericCellValue() 数值类型
        System.out.println(cell.getNumericCellValue());
        //关闭流
        inputStream.close();
    }

}

07 版本

示例代码

@Test
    public void testRead07() throws IOException {
        //1.创建一个工作簿 07

        // 获取文件流
        FileInputStream inputStream = new FileInputStream(PATH + "時光收支情况统计表07.xlsx");
        Workbook workbook = new XSSFWorkbook(inputStream);
        //2.获取一个工作表
        Sheet sheet = workbook.getSheetAt(0);
        //获取第一行
        Row row = sheet.getRow(1);
        //获取第一行第一列
        Cell cell = row.getCell(0);

        //读取值时一定要注意类型
        //getStringCellValue() 字符串类型
        //System.out.println(cell.getStringCellValue());
        //getNumericCellValue() 数值类型
        System.out.println(cell.getNumericCellValue());
        //关闭流
        inputStream.close();
    }

注意：读取值时一定要注意类型

读取不同数据类型

示例代码

@Test
    public void testRead07demo() throws IOException {
        //获取文件流
        FileInputStream fileInputStream = new FileInputStream(PATH + "销售信息统计表.xls");
        //创建一个工作簿
        Workbook workbook = new HSSFWorkbook(fileInputStream);
        Sheet sheet = workbook.getSheetAt(0);
        //获取表头信息
        Row rowTitle = sheet.getRow(0);
        if(rowTitle != null){
            //获取总列数
            int cellCount = rowTitle.getPhysicalNumberOfCells();
            //遍历所有列信息
            for (int cellNum = 0; cellNum < cellCount ; cellNum++) {
                Cell cell = rowTitle.getCell(cellNum);
                if(cell != null){
                    //获取当前列信息数据类型
                    CellType cellType = cell.getCellType();
                    String stringCellValue = cell.getStringCellValue();
                    System.out.print(stringCellValue + "|");
                }
            }
            System.out.println();

        }

        //获取表中的内容

        //获取所有行数
        int rowCount = sheet.getPhysicalNumberOfRows();
        //由于第0行是表头信息,所以从第一行开始遍历
        for (int rowNum = 1; rowNum < rowCount ; rowNum++) {
            Row rowData = sheet.getRow(rowNum);
            if(rowData != null){
                //读取行中的列信息

                //获取总列数
                //int cellCount = rowTitle.getPhysicalNumberOfCells();
                int cellCount = rowData.getPhysicalNumberOfCells();
                for (int celNum = 0; celNum <cellCount ; celNum++) {
                    System.out.print("[" + (rowNum+1) + "-" + (celNum+1) + "]");
                    Cell cell = rowData.getCell(celNum);
                    //匹配列的数据类型
                    if(cell != null){
                        //获取当前列的数据类型
                        CellType cellType = cell.getCellType();
                        String cellValue = "";
                        switch (cellType){
                            case BLANK: // 空
                                System.out.println("[BLANK]");
                                break;
                            case STRING: //字符串
                                System.out.println("[STRING]");
                                cellValue = cell.getStringCellValue();
                                break;
                            case BOOLEAN: //布尔类型
                                System.out.println("[BOOLEAN]");
                                //强制转换为字符串类型
                                cellValue= String.valueOf(cell.getBooleanCellValue());
                                break;
                            case NUMERIC: //数字（日期,普通数字）
                                System.out.print("[Numeric]");
                                //新版本HSSFDateUtil方法过时,使用DataUtil
                                if (DateUtil.isCellDateFormatted(cell)){
                                    // 日期
                                    System.out.print("[日期]");
                                    Date dateCellValue = cell.getDateCellValue();
                                    cellValue = new DateTime(dateCellValue).toString("yyyy-MM-dd");
                                }else {
                                    System.out.print("[转换为字符串输出]");
                                    // 不是日期格式，防止数字过长,转换为字符串类型
//                                    cell.setCellType(CellType.STRING); 5.0 版本后过时,使用如下方法
                                    HSSFDataFormatter hssfDataFormat = new HSSFDataFormatter();
                                    cellValue = hssfDataFormat.formatCellValue(cell).toString();
                                }
                                break;
                            case ERROR: //错误
                                System.out.println("[数据类型错误！！]");
                                break;

                        }
                        System.out.println(cellValue);

                    }
                }

            }
        }
        //关闭流
        fileInputStream.close();
    }

公式计算

表数据

示例代码

@Test
    public void testFormula() throws IOException {
        FileInputStream fileInputStream = new FileInputStream(PATH + "公式.xls");
        Workbook workbook = new HSSFWorkbook(fileInputStream);
        Sheet sheet = workbook.getSheetAt(0);
        Row row = sheet.getRow(5);
        Cell cell = row.getCell(0);
        //拿到计算公式
        FormulaEvaluator FormulaEvaluator = new HSSFFormulaEvaluator((HSSFWorkbook) workbook);
        //输出单元格的内容
        CellType cellType = cell.getCellType();
        switch (cellType){
            case FORMULA: //公式
                //获取当前单元格的计算公式
                String cellFormula = cell.getCellFormula();
                System.out.println("使用公式:	" + cellFormula);
                //计算得到计算结果
                CellValue evaluate = FormulaEvaluator.evaluate(cell);
                //将计算结果转换为字符串类型
                String cellValue = evaluate.formatAsString();
                System.out.println("计算结果为:	" + cellValue);
                break;
        }
    }

EasyExcel基本使用

easyExcel 官网： https://github.com/alibaba/easyexcel

官方文档：https://www.yuque.com/easyexcel/doc/easyexcel

导入依赖

<groupId>com.alibaba</groupId>
<artifactId>easyexcel</artifactId>
<version>2.2.10</version>
<!-- lombok -->
<dependency>
    <groupId>org.projectlombok</groupId>
    <artifactId>lombok</artifactId>
    <version>1.18.20</version>
</dependency>

写入测试

实体类

@Data
public class DemoData {
    @ExcelProperty("字符串标题")
    private String string;
    @ExcelProperty("日期标题")
    private Date date;
    @ExcelProperty("数字标题")
    private Double doubleData;
    /**
     * 忽略这个字段
     */
    @ExcelIgnore
    private String ignore;
}

测试类

package com.shiguang.easy;

import com.alibaba.excel.EasyExcel;
import org.junit.Test;

import java.util.ArrayList;
import java.util.List;
import java.util.Date;

public class easyTest {
    String PATH = "D:\Desktop\";
    private List<DemoData> data() {
        List<DemoData> list = new ArrayList<DemoData>();
        for (int i = 0; i < 10; i++) {
            DemoData data = new DemoData();
            data.setString("字符串" + i);
            data.setDate(new Date());
            data.setDoubleData(0.56);
            list.add(data);
        }
        return list;
    }

    /**
     * 最简单的写
     * <p>1. 创建excel对应的实体对象 参照{@link DemoData}
     * <p>2. 直接写即可
     */
    @Test
    public void simpleWrite() {
        // 写法1
        String fileName = PATH + "EasyTest.xlsx";
        // 这里 需要指定写用哪个class去写，然后写到第一个sheet，名字为模板 然后文件流会自动关闭
        // 如果这里想使用03 则 传入excelType参数即可
        EasyExcel.write(fileName, DemoData.class).sheet("模板").doWrite(data());

    }
}

此处运行时遇到了一个错误

官方解释：

此错误在组织slf4j.inf.strestcoperbinder类无法装入内存时报告。当在类路径上找不到合适的slf4j绑定时，就会发生这种情况。slf4j-nop.jar放置一个(且只有一个), slf4j-simple.jar, slf4j-log4j12.jar, slf4j-jdk14.jar 或 logback-classic.jar 的类路径应该解决这个问题。

解决方法：

在Maven工程的pom文件中新增如下依赖

<dependency>  
  <groupId>org.slf4j</groupId> 
  <artifactId>slf4j-nop</artifactId> 
  <version>1.7.2</version> 
</dependency>

重新刷新依赖就可以了

运行 simpleWrite() 方法后生成的Excel表如下所示

读测试

实体类

参考上文

监听器

// 有个很重要的点 DemoDataListener 不能被spring管理，要每次读取excel都要new,然后里面用到spring可以构造方法传进去
public class DemoDataListener extends AnalysisEventListener<DemoData> {
    private static final Logger LOGGER = LoggerFactory.getLogger(DemoDataListener.class);
    /**
     * 每隔5条存储数据库，实际使用中可以3000条，然后清理list ，方便内存回收
     */
    private static final int BATCH_COUNT = 5;
    List<DemoData> list = new ArrayList<DemoData>();
    /**
     * 假设这个是一个DAO，当然有业务逻辑这个也可以是一个service。当然如果不用存储这个对象没用。
     */
    private DemoDAO demoDAO;
    public DemoDataListener() {
        // 这里是demo，所以随便new一个。实际使用如果到了spring,请使用下面的有参构造函数
        demoDAO = new DemoDAO();
    }
    /**
     * 如果使用了spring,请使用这个构造方法。每次创建Listener的时候需要把spring管理的类传进来
     *
     * @param demoDAO
     */
    public DemoDataListener(DemoDAO demoDAO) {
        this.demoDAO = demoDAO;
    }
    /**
     * 这个每一条数据解析都会来调用
     *
     * @param data
     *            one row value. Is is same as {@link AnalysisContext#readRowHolder()}
     * @param context
     */
    @Override
    public void invoke(DemoData data, AnalysisContext context) {
        LOGGER.info("解析到一条数据:{}", JSON.toJSONString(data));
        list.add(data);
        // 达到BATCH_COUNT了，需要去存储一次数据库，防止数据几万条数据在内存，容易OOM
        if (list.size() >= BATCH_COUNT) {
            saveData();
            // 存储完成清理 list
            list.clear();
        }
    }
    /**
     * 所有数据解析完成了 都会来调用
     *
     * @param context
     */
    @Override
    public void doAfterAllAnalysed(AnalysisContext context) {
        // 这里也要保存数据，确保最后遗留的数据也存储到数据库
        saveData();
        LOGGER.info("所有数据解析完成！");
    }
    /**
     * 加上存储数据库
     */
    private void saveData() {
        LOGGER.info("{}条数据，开始存储数据库！", list.size());
        demoDAO.save(list);
        LOGGER.info("存储数据库成功！");
    }
}

持久层

/**
 * 假设这个是你的DAO存储。当然还要这个类让spring管理，当然你不用需要存储，也不需要这个类。
 **/
public class DemoDAO {
    public void save(List<DemoData> list) {
        // 如果是mybatis,尽量别直接调用多次insert,自己写一个mapper里面新增一个方法batchInsert,所有数据一次性插入
    }
}

注意：

如果 DemoDataListener 的 @Override 错误，将Modules该为8版本即可

另外，还需要导入fastjson 依赖

<dependency>
    <groupId>com.alibaba</groupId>
    <artifactId>fastjson</artifactId>
    <version>1.2.75</version>
</dependency>

测试代码

@Test
    public void simpleRead() {
        // 有个很重要的点 DemoDataListener 不能被spring管理，要每次读取excel都要new,然后里面用到spring可以构造方法传进去
        // 写法1：
        String fileName = PATH + "EasyTest.xlsx";
        // 这里 需要指定读用哪个class去读，然后读取第一个sheet 文件流会自动关闭
        EasyExcel.read(fileName, DemoData.class, new DemoDataListener()).sheet().doRead();
    }

执行效果如下：

总结

写入：根据固定类格式写入

读取：根据监听器设置的规则进行读取