POI优化Excel录入

57000+单词原始录入时间258S

焦点代码:

2. List<Word> wordBookList = ExcelUtil.getReader(file.getInputStream()).readAll(Word.class);
3.             if (!CollectionUtil.isEmpty(wordBookList)) {
4.                 for (Word word : wordBookList) {
5.         //逐条向数据库中插入单词
6.                     wordMapper.insert(word);
7.                 }
8.             }

复制代码

线程池方式录入时间18S

焦点代码:

2. //获取核心数
3.             int coreCount = Runtime.getRuntime().availableProcessors();
4.             //创建线程池
5.             ExecutorService executorService= Executors.newFixedThreadPool(2*coreCount);
6.             List<Word> wordBookList = ExcelUtil.getReader(file.getInputStream()).readAll(Word.class);
7.             //对列表单词进行分区并发录入
8.             int partitionSize=wordBookList.size()/(2*coreCount);
9.             List<List<Word>> wordListPartition = Lists.partition(wordBookList, partitionSize);
10.             for (int i = 0; i <wordListPartition.size(); i++) {
11.                 Runnable task=new ExcelInput(wordListPartition.get(i),wordMapper);
12.                 executorService.execute(task);
13.             }
14.             executorService.shutdown();
15.         //阻塞当前线程,直到线程池中的任务执行完毕
16.             try {
17.                 if(!executorService.awaitTermination(1, TimeUnit.HOURS)){
18.                     executorService.shutdownNow();
19.                 }
20.             } catch (InterruptedException e) {
21.                 e.printStackTrace();
22.                 Thread.currentThread().interrupt();
23.             }

复制代码

优化流程:
起首获取当前主机焦点数N，由于大数据量单词录入属于IO麋集型以是我们设置线程池的巨细为2*N第二步我选择将List拆分为2*N接着放入线程池当中去实行单词录入使命基于此线程池中的多个线程可以对数据的录入举行并发操纵大大进步了录入的服从

选择2*N的缘故因由是代码中获取的焦点数为物理焦点数，而实际上主机可以使用超线程技能将一个物理焦点当做两个逻辑焦点来使用，当我们想让CPU使用率到达100%时就可以设置2*N个线程数并将单词分为2*N份交给线程池中的线程处置惩罚同时淘汰了线程的上下文切换所带来的斲丧。

240/258=0.93
优化后单词录入服从进步90%以上