Excel流式多线程带进度条功能的导入框架

形貌

利用Java代码封装的一个Excel批量导入框架，利用EasyExcel完成excel文件方面的交互，重在整合功能，仅需少量代码就可以在本身的项目中快速引入该功能。可以流式分批读取Excel中的数据，克制OOM，利用多线程进步处置惩罚速率，异步线程处置惩罚便于前端查察导入进度与处置惩罚效果。
框架代码采取了操持模式中的战略模式，只必要实现此中的战略类（针对本身的业务来处置惩罚每行数据），就可以快速利用导入功能，而且给出了前端的配套代码示例（vue）。
demo项目所在：https://github.com/destinyol/excel-multi-import-progress
（demo项目不包罗数据库交互部门，以是无法运行，只是演示代码怎样利用）
框架项目文件结构：

ps：修改ExcelImportMainTool 中的 BATCH_COUNT 可自界说每次从excel中读取多少行数据，默认1000行
效果展示

可调参数

ExcelImportMainTool类中有一些可以根据现实情况自行调解的参数

1. public static final int BATCH_COUNT = 1000; // 批量处理，每批从excel中读取并处理的数据行数，可根据情况自行修改
3. public int BATCH_INSERT_COUNT = 200; // 使用批量插入时的每批次处理数量（传入handleMultiDataAndSave函数的数组大小），可根据情况自行修改，可动态设置
5. public static final boolean PROCESS_SAVE_RESULT_LIST = true; // redis保存进度条时是否保存报错结果数组ExcelResDto，true保存，false不保存

复制代码

利用方法

1、继续EasyExcelReadDataAbstract抽象类并实现此中EasyExcelReadData接口的方法，该子类是对应EasyExcel导入的实体类，用来存储单行数据，必要实现此中的方法

1. public interface EasyExcelReadData {
3.     /**
4.      * 去掉每个字段首尾空格（若不需要则方法体为空即可）
5.      *      （处理过程中每行会调用一次）
6.      */
7.     public void trimAllFields();
9.     /**
10.      * 为了排除表格空行（建议实现该方法，空行比较容易出现）
11.      *      检查该行中的每个属性是否都为null或空字符串，如果是，则返回true；否则返回false
12.      *      （处理过程中每行会调用一次）
13.      */
14.     public boolean dataIsAllEmpty();
16. }

复制代码

比方：

1. @Data
2. public class CustomerImportDto extends EasyExcelReadDataAbstract {
4.     @ExcelProperty(value = "客户名称")
5.     private String name;
6.     @ExcelProperty(value = "手机号")
7.     private String phone;
8.         // ***********************
9.     // 省略各种字段
10.    
11.    
12.     @Override
13.     public boolean dataIsAllEmpty(){
14.         return (name == null || name.isEmpty()) &&
15.                 (phone == null || phone.isEmpty());
16.     }
18.     @Override
19.     public void trimAllFields() {
20.         if (name != null) name = name.trim();
21.         if (phone != null) phone = phone.trim();
22.     }
23. }

复制代码

2、实现DataDealHandler接口及对应方法，该实现类是用于自界说的数据处置惩罚与生存，便于衔接差别的业务场景
（要用批量插入就实现handleMultiDataAndSave方法，要用逐条插入就实现handleOneDataAndSave）

1. public interface DataDealHandler {
3.     /**
4.      * 返回模板表头行数（根据对应模板配置实现该方法，例如表头三行：return 3;）
5.      * @return
6.      */
7.     public Integer getHeadRows();
9.     /**
10.      * 处理单条数据（比如去重，特殊判断，或者其他自定义业务）
11.      *  并自行保存该条数据到数据库
12.      * @param importData EasyExcelReadDataAbstract的子类
13.      * @return 返回结果内容（显示给前端，表格行号+错误内容）。若返回类为null，则该条数据导入成功，不用显示；若不为null，则将其放入错误结果集中
14.      */
15.     @Transactional(rollbackFor = Exception.class)
16.     default public ExcelResDto handleOneDataAndSave(EasyExcelReadData importData){
17.         throw new RuntimeException("未实现逐条插入数据处理函数handleOneDataAndSave");
18.     }
20.     /**
21.      * 批量处理数据（比如去重，特殊判断，或者其他自定义业务）
22.      *  并自行保存数据到数据库，若抛出错误则这一批全部回滚
23.      * @param importDataList EasyExcelReadDataAbstract的子类list
24.      * @return 返回结果内容数组（显示给前端，表格行号+错误内容）。若数组长度为0，则全部成功；如果长度大于0，则将其放入错误结果集中
25.      */
26.     @Transactional(rollbackFor = Exception.class)
27.     default public List<ExcelResDto> handleMultiDataAndSave(List<EasyExcelReadData> importDataList){
28.         throw new RuntimeException("未实现批量插入数据处理函数handleMultiDataAndSave");
29.     }
31. }

复制代码

3、直接调用

1. // --------------------------------------导入任务启动的地方---------------------------------
2. // 构造DataDealHandler的实现类的实例对象
3. DataDealHandlerImpl handler = new DataDealHandlerImpl(xxxxx,xxxxx自定义构造);
4. // 启动导入主函数并异步执行，返回redis中保存的该进度的processKey，可以直接返回给前端用于查询进度
5. // （逐条插入，需实现对应方法）
6. String processKey = ExcelImportMainTool.buildImport(
7.     EasyExcelReadDataAbstract的子类.class,
8.     handler,
9.     redisTemplate        // 进度保存在redis中，所以需要自行注入redisTemplate
10. ).runAsyncSingle(multipartFile);
12. // （批量插入，需实现对应方法）
13. String processKey = ExcelImportMainTool.buildImport(
14.     EasyExcelReadDataAbstract的子类.class,
15.     handler,
16.     redisTemplate        // 进度保存在redis中，所以需要自行注入redisTemplate
17. ).setBatchInsertCount(250) // 设置批量插入每批传入`DataDealHandler`中的数据量，不设置则默认200行
18. .runAsyncMulti(multipartFile);

复制代码

1. // ---------------------------------------轮询或其他手段，获取任务进度-----------------------
2. // 获取进度（静态方法，需传入redisTemplate）
3. ImportProgress progress = ExcelImportMainTool.getProgress(redisTemplate, processKey);

复制代码

至此整个功能就跑起来了
利用示例

数据实体类实现类

1. /**
2. * 示例：easyExcel导入的数据实体类
3. *      （ EasyExcelReadDataAbstract的子类 ）
4. */
5. @Data
6. public class CustomerImportDto extends EasyExcelReadDataAbstract {
8.     @ExcelProperty(value = "销售")
9.     private String saleUserName;
11.     @ExcelProperty(value = "客户名称")
12.     private String name;
14.     @ExcelProperty(value = "联系人")
15.     private String contacts;
17.     @ExcelProperty(value = "联系电话")
18.     private String phone;
20.     @ExcelProperty(value = "统一社会信用代码")
21.     private String sucCode;
23.     @ExcelProperty(value = "法人")
24.     private String legalPerson;
26.     @ExcelProperty(value = "注册资本(单位万元)")
27.     private String registerMoney;
29.     @ExcelProperty(value = "客户地址")
30.     private String address;
32.     /**
33.      * 检查类中的每个属性是否为null或空字符串，如果是，则返回true；否则返回false
34.      * @return
35.      */
36.     @Override
37.     public boolean dataIsAllEmpty(){
38.         return (saleUserName == null || saleUserName.isEmpty()) &&
39.                 (name == null || name.isEmpty()) &&
40.                 (contacts == null || contacts.isEmpty()) &&
41.                 (phone == null || phone.isEmpty()) &&
42.                 (sucCode == null || sucCode.isEmpty()) &&
43.                 (legalPerson == null || legalPerson.isEmpty()) &&
44.                 (registerMoney == null || registerMoney.isEmpty()) &&
45.                 (address == null || address.isEmpty());
46.     }
48.     @Override
49.     public void trimAllFields() {
50.         if (saleUserName != null){
51.             saleUserName = saleUserName.replaceAll("\\s+", "");
52.         }
53.         if (name != null) name = name.trim();
54.         if (contacts != null) contacts = contacts.trim();
55.         if (phone != null) phone = phone.trim();
56.         if (sucCode != null) sucCode = sucCode.trim();
57.         if (legalPerson != null) legalPerson = legalPerson.trim();
58.         if (registerMoney != null) registerMoney = registerMoney.trim();
59.         if (address != null) address = address.trim();
60.     }
61. }

复制代码

战略类实现类

1. /**
2. * 示例：客户批量导入handler
3. *      （ DataDealHandler实现类 ）
4. */
5. public class CustomerImportDataHandler implements DataDealHandler {
7.     private UserMapper userMapper;
8.     private TdCustomerMapper tdCustomerMapper;
10.     public CustomerImportDataHandler(UserMapper userMapper, TdCustomerMapper tdCustomerMapper) {
11.         this.userMapper = userMapper;
12.         this.tdCustomerMapper = tdCustomerMapper;
13.     }
15.     @Override
16.     public Integer getHeadRows() {
17.         return 2;
18.     }
20.     @Override
21.     @Transactional(rollbackFor = Exception.class)
22.     public ExcelResDto handleOneDataAndSave(EasyExcelReadData importData) {
23.         CustomerImportDto customerImportDto = (CustomerImportDto) importData;
24.         ExcelResDto resDto = null;
25.         TdUser user = userMapper.queryOneByUserName(customerImportDto.getSaleUserName());
26.         if (user == null){
27.             resDto = ExcelResDto.build(customerImportDto,"该姓名用户不存在：（"+customerImportDto.getSaleUserName()+"） ，对应客户名："+customerImportDto.getName());
28.             return resDto;
29.         }
31.         TdCustomer step = new TdCustomer();
32.         step.setName(customerImportDto.getName());
33.         step.setContacts(customerImportDto.getContacts());
34.         step.setAddress(customerImportDto.getAddress());
35.         step.setPhone(customerImportDto.getPhone());
36.         step.setCreateBy(user.getUserId());
37.         step.setLegalPerson(customerImportDto.getLegalPerson());
38.         step.setSucCode(customerImportDto.getSucCode());
39.         step.setRegisterMoney(customerImportDto.getRegisterMoney());
41.         if (isBlank(step.getName())){
42.             resDto = ExcelResDto.build(customerImportDto,"客户名不能为空");
43.             return resDto;
44.         }
46.         TdCustomer customerByName = tdCustomerMapper.getCustomerByName(customerImportDto.getName());
47.         if (customerByName != null) {
48.             resDto = ExcelResDto.build(customerImportDto,"客户名重复："+customerImportDto.getName());
49.             return resDto;
50.         }
52.         if (isBlank(step.getContacts())){
53.             resDto = ExcelResDto.build(customerImportDto,"客户联系人不能为空，客户名："+customerImportDto.getName());
54.             return resDto;
55.         }
56.         if (isBlank(step.getPhone())){
57.             resDto = ExcelResDto.build(customerImportDto,"客户联系方式不能为空，客户名："+customerImportDto.getName());
58.             return resDto;
59.         }
61.         boolean save = tdCustomerMapper.insert(step) != 0;
62.         if (!save){
63.             resDto = ExcelResDto.build(customerImportDto,"客户添加失败，客户名："+customerImportDto.getName());
64.         }
66.         return resDto;
67.     }
69.     @Override
70.     @Transactional(rollbackFor = Exception.class)
71.     public List<ExcelResDto> handleMultiDataAndSave(List<EasyExcelReadData> importDataList) {
72.         // 结果数组
73.         List<ExcelResDto> res = new ArrayList<>();
75.         List<CustomerImportDto> customerImportDtoList = new ArrayList<>();
76.         for (EasyExcelReadData easyExcelReadData : importDataList) {
77.             customerImportDtoList.add((CustomerImportDto)easyExcelReadData);
78.         }
80.         List<TdCustomer> tdCustomerList = new ArrayList<>();
81.         for (CustomerImportDto customerImportDto : customerImportDtoList) {
82.             TdCustomer step = new TdCustomer();
83.             step.setName(customerImportDto.getName());
84.             step.setContacts(customerImportDto.getContacts());
85.             step.setAddress(customerImportDto.getAddress());
86.             step.setPhone(customerImportDto.getPhone());
87.             step.setLegalPerson(customerImportDto.getLegalPerson());
88.             step.setSucCode(customerImportDto.getSucCode());
89.             step.setRegisterMoney(customerImportDto.getRegisterMoney());
90.         }
92.         //==========================================================
93.         // 省略各种业务检查，判断重复之类的
94.         //==========================================================
96.         Boolean insetCheck = tdCustomerMapper.saveBatch(tdCustomerList);
97.         if (!insetCheck){
98.             for (CustomerImportDto customerImportDto : customerImportDtoList) {
99.                 res.add(ExcelResDto.build(customerImportDto,customerImportDto.getName()+"添加失败"));
100.             }
101.         }
103.         return res;
104.     }
105. }

复制代码

接口示例

1.         /**
2.      * excel 导入客户
3.      * @return
4.      */
5.     @PostMapping("/importExcel")
6.     public Response importExcel(MultipartFile file){
7.         Response response = new Response();
8.         response.ret(0,"成功了");
9.         try {
10.             CustomerImportDataHandler handler = new CustomerImportDataHandler(userMapper,tdCustomerMapper);
11.             // 逐条插入
12.             String processKey = ExcelImportMainTool.buildImport(CustomerImportDto.class, handler, redisTemplate).runAsyncSingle(file);
13.             // 批量插入
14.             // String processKey = ExcelImportMainTool.buildImport(CustomerImportDto.class, handler, redisTemplate).runAsyncMulti(file);
15.             response.setData(processKey);
16.         } catch (Exception e) {
17.             e.printStackTrace();
18.             response.ret(111000,"出错了");
19.         }
20.         return response;
21.     }
23.     /**
24.      * 获取进度
25.      * @return
26.      */
27.     @GetMapping("/getProgress")
28.     public Response getProgress(String key){
29.         Response response = new Response();
30.         response.ret(0,"成功了");
31.         try {
32.             ImportProgress progress = ExcelImportMainTool.getProgress(redisTemplate, key);
33.             response.setData(progress);
34.         } catch (Exception e) {
35.             e.printStackTrace();
36.             response.ret(111001,"出错了");
37.         }
38.         return response;
39.     }

复制代码