ES（Elasticsearch）的应用与代码示例

Elasticsearch应用与代码示例技术文章大纲

一、弁言

• Elasticsearch在现代化应用中的焦点作用
  
• 典型应用场景分析（日记分析/全文检索/数据聚合）
  

二、环境准备(前提条件)

• Elasticsearch 8.x集群部署要点
  
• IK中文分词插件配置指南
  
• Ingest Attachment插件安装说明
  

三、焦点代码结构剖析

1. src/main/
2. ├── java/
3. │   ├── config/
4. │   │   └── ElasticSearchConfig.java
5. │   ├── controller/
6. │   │   └── ElasticSearchController.java
7. │   ├── service/
8. │   │   ├── ElasticSearchService.java
9. │   │   └── ElasticSearchServiceImpl.java
10. │   ├── model/
11. │   │   ├── FileData.java
12. │   │   ├── Attachment.java
13. │   │   └── SearchResult.java
14. │   ├── dto/
15. │   │   └── WarningInfoDto.java
16. │   └── util/
17. │       └── ElasticSearchUtils.java

复制代码

四、焦点组件实现（含代码示例）

1. 配置中心（ElasticSearchConfig.java）
application.properties or yml

1. es.uri=192.168.1.1
2. es.port=9200
3. es.username=""
4. es.password=""

复制代码

1. package com.zbxsoft.wds.config;
3. import co.elastic.clients.elasticsearch.ElasticsearchClient;
4. import co.elastic.clients.json.JsonpMapper;
5. import co.elastic.clients.json.jackson.JacksonJsonpMapper;
6. import co.elastic.clients.transport.ElasticsearchTransport;
7. import co.elastic.clients.transport.rest_client.RestClientTransport;
8. import com.alibaba.fastjson.parser.deserializer.JSONPDeserializer;
9. import com.baomidou.mybatisplus.core.toolkit.StringUtils;
10. import com.fasterxml.jackson.databind.ObjectMapper;
11. import org.apache.http.HttpHost;
12. import org.apache.http.auth.AuthScope;
13. import org.apache.http.auth.UsernamePasswordCredentials;
14. import org.apache.http.client.CredentialsProvider;
15. import org.apache.http.impl.client.BasicCredentialsProvider;
16. import org.elasticsearch.client.RestClient;
17. import org.elasticsearch.client.RestClientBuilder;
18. import org.springframework.beans.factory.annotation.Autowired;
19. import org.springframework.boot.context.properties.ConfigurationProperties;
20. import org.springframework.context.annotation.Bean;
21. import org.springframework.context.annotation.Configuration;
23. /**
24. * es配置
25. */
26. @Configuration
27. @ConfigurationProperties(prefix = "es")
28. public class ElasticSearchConfig{
30.     public String getUri() {
31.         return uri;
32.     }
34.     public void setUri(String uri) {
35.         this.uri = uri;
36.     }
38.     public Integer getPort() {
39.         return port;
40.     }
42.     public void setPort(Integer port) {
43.         this.port = port;
44.     }
46.     public String getPassword() {
47.         return password;
48.     }
50.     public void setPassword(String password) {
51.         this.password = password;
52.     }
54.     public String getUsername() {
55.         return username;
56.     }
58.     public void setUsername(String username) {
59.         this.username = username;
60.     }
62.     private String uri;
64.     private Integer port;
66.     private String password;
68.     private String username;
70.     @Bean
71.     public ElasticsearchClient elasticsearchClient(@Autowired(required = false) JsonpMapper jsonpMapper, @Autowired(required = false) ObjectMapper objectMapper) {
72.         // 解析hostlist配置信息
73.         // 创建HttpHost数组，其中存放es主机和端口的配置信息
74.         HttpHost[] httpHostArray = new HttpHost[1];
75.         httpHostArray[0] = new HttpHost(uri,Integer.valueOf(port));
77.         RestClientBuilder builder = RestClient.builder(httpHostArray);
79.         final CredentialsProvider credentialsProvider = new BasicCredentialsProvider();
80.         if(StringUtils.isNotBlank(username) && StringUtils.isNotBlank(password)){
81.             credentialsProvider.setCredentials(AuthScope.ANY,
82.                     new UsernamePasswordCredentials(username, password));
83.             RestClient client = RestClient.builder(new HttpHost(uri,Integer.valueOf(port)))
84.                         .build();
85.             ElasticsearchTransport transport = new RestClientTransport(client, new JacksonJsonpMapper());
86.             return new ElasticsearchClient(transport);
87.         }
89.         RestClient restClient = builder.build();
91.         ElasticsearchTransport transport = null;
92.         if (jsonpMapper != null) {
93.             transport = new RestClientTransport(restClient, jsonpMapper);
94.         } else if (objectMapper != null) {
95.             transport = new RestClientTransport(restClient, new JacksonJsonpMapper(objectMapper));
96.         } else {
97.             transport = new RestClientTransport(restClient, new JacksonJsonpMapper());
98.         }
99.         // Create the transport with a Jackson mapper
101.         // And create the API client
102.         return new ElasticsearchClient(transport);
103.     }
104. }

复制代码

2. 数据处理模型（FileData.java）

1. package com.zbxsoft.wds.config;
3. import com.fasterxml.jackson.annotation.JsonIgnoreProperties;
4. import com.zbxsoft.wds.fileupload.Attachment;
5. import lombok.Data;
6. import org.springframework.data.elasticsearch.annotations.Document;
7. import org.springframework.data.elasticsearch.annotations.Field;
8. import org.springframework.data.elasticsearch.annotations.FieldType;
10. import java.io.Serializable;
11. import java.util.Objects;
13. @Data
14. @Document(indexName = "file_data", createIndex = false)
15. @JsonIgnoreProperties(ignoreUnknown = true)
16. public class FileData implements Serializable {
18.     @Field(name = "file_id",type = FieldType.Text)
19.     private String file_id;
21.     @Field(name = "file_type",type = FieldType.Text)
22.     private String file_type;
24.     @Field(name = "file_name",type = FieldType.Text)
25.     private String file_name;
27.     @Field(name = "file_url",type = FieldType.Text)
28.     private String file_url;
30.     @Field(name = "file_size",type = FieldType.Text)
31.     private String file_size;
33.     @Field(name = "group_file_id",type = FieldType.Text)
34.     private String group_file_id;
36.     @Field(name = "file_suffix",type = FieldType.Text)
37.     private String file_suffix;
39.     @Field(name = "file_dir_name",type = FieldType.Text)
40.     private String file_dir_name;
42.     //保存时使用
43.     @Field(name = "attachment.content",type = FieldType.Text)
44.     private String content;
46.     //检索时使用
47.     private Attachment attachment;
49. }
51. }

复制代码

3. 附件剖析组件（Attachment.java）

1. package com.zbxsoft.wds.fileupload;
3. import lombok.AllArgsConstructor;
4. import lombok.Data;
5. import lombok.NoArgsConstructor;
6. import lombok.ToString;
8. import java.io.Serializable;
10. @Data
11. @AllArgsConstructor
12. @NoArgsConstructor
13. @ToString
14. public class Attachment implements Serializable {
16.     private String date;
18.     private String content_type;
20.     private String author;
22.     private String language;
24.     private String title;
26.     private String content;
28.     private String content_length;
29. }
31. }

复制代码

4. 服务层实现（ElasticSearchService.java）

1. package com.zbxsoft.wds.fileupload;
3. import com.baomidou.mybatisplus.core.metadata.IPage;
4. import com.zbxsoft.wds.config.FileData;
5. import org.springframework.http.HttpEntity;
6. import org.springframework.web.multipart.MultipartFile;
8. import java.io.IOException;
9. import java.util.List;
10. import java.util.Map;
12. public interface ElasticsearchService {
14.     HttpEntity<?> createFileIndex(MultipartFile file) throws IOException;
16.     String createFileIndex(FileData fileData) throws IOException;
18.     Map<String,Double> queryWord(String keyword) throws IOException;
20.     IPage<SearchResult> queryWord(WarningInfoDto warningInfoDto) throws IOException;
22.     List<String> getAssociationalWordOther(WarningInfoDto warningInfoDto);
24.     String updateFileIndex(String id, FileData fileData) throws IOException;
25. }

复制代码

工具类（ElasticSearchUtils.java）

1. package com.zbxsoft.wds.config;
3. import cn.hutool.extra.spring.SpringUtil;
5. import co.elastic.clients.elasticsearch.ElasticsearchClient;
6. import co.elastic.clients.elasticsearch._types.Result;
7. import co.elastic.clients.elasticsearch._types.SortOptions;
8. import co.elastic.clients.elasticsearch._types.SortOrder;
9. import co.elastic.clients.elasticsearch._types.aggregations.Aggregate;
10. import co.elastic.clients.elasticsearch._types.aggregations.Aggregation;
11. import co.elastic.clients.elasticsearch._types.mapping.DateProperty;
12. import co.elastic.clients.elasticsearch._types.mapping.Property;
13. import co.elastic.clients.elasticsearch._types.mapping.TextProperty;
14. import co.elastic.clients.elasticsearch._types.mapping.TypeMapping;
15. import co.elastic.clients.elasticsearch._types.query_dsl.Query;
16. import co.elastic.clients.elasticsearch.core.*;
17. import co.elastic.clients.elasticsearch.core.bulk.BulkResponseItem;
18. import co.elastic.clients.elasticsearch.core.search.HitsMetadata;
19. import co.elastic.clients.elasticsearch.core.search.TotalHits;
20. import co.elastic.clients.elasticsearch.core.search.TotalHitsRelation;
21. import co.elastic.clients.elasticsearch.core.search.TrackHits;
22. import co.elastic.clients.elasticsearch.indices.*;
23. import com.baomidou.mybatisplus.core.toolkit.StringUtils;
24. import lombok.extern.slf4j.Slf4j;
26. import java.io.IOException;
27. import java.io.StringReader;
28. import java.lang.annotation.Annotation;
29. import java.lang.reflect.Field;
30. import java.util.*;
31. import java.util.stream.Collectors;
33. @Slf4j
34. public class ElasticSearchUtils<T> {
36.     public static ElasticsearchClient elasticsearchClient;
38.     public String index;
39.     public Class obj;
40.     public String idField;
41.     public Set<String> fields;
43.     static {
44.         ElasticSearchConfig elasticSearchConfig = SpringUtil.getBean(ElasticSearchConfig.class);
45. //        elasticsearchClient = elasticSearchConfig.elasticsearchClient();
46.     }
48.     /**
49.      * 获取id字段
50.      *
51.      * @return
52.      */
53.     private String getIdValue(T t) throws Exception {
54.         Field field = t.getClass().getDeclaredField(idField);
55.         field.setAccessible(true);
56.         Object object = field.get(t);
57.         return object.toString();
58.     }
60.     /**
61.      * 判断索引是否存在
62.      *
63.      * @return
64.      */
65.     public Boolean getIndex() {
66.         try {
67.             GetIndexRequest getIndexRequest = GetIndexRequest.of(builder -> builder.index(index));
68.             GetIndexResponse getIndexResponse = elasticsearchClient.indices().get(getIndexRequest);
69.             log.info("getIndexResponse:{}", getIndexResponse);
70.             return true;
71.         } catch (IndexOutOfBoundsException | IOException e) {
72.             log.info("getIndexResponse:{}", e.getMessage());
73.             return false;
74.         }
75.     }
77.     public void deleteIndex() throws IOException {
78.         //1.创建索引请求
79.         DeleteIndexRequest request = DeleteIndexRequest.of(builder -> builder.index(index));
80.         //2.执行创建请求
81.         DeleteIndexResponse delete = elasticsearchClient.indices().delete(request);
82.         //如果为true就删除了
83.         log.info("DeleteIndexRequest:{}", delete);
84.     }
85.     /**
86.      * 插入数据
87.      *
88.      * @throws IOException
89.      */
90.     public void push(T t) throws Exception {
91.         String id = getIdValue(t);
92.         IndexRequest<T> indexRequest = IndexRequest.of(b -> b
93.                         .index(index)
94.                         .id(id)
95.                         .document(t)
96.                 //刷新可以立刻搜索到，消耗性能
97.                 /*.refresh(Refresh.True)*/);
98.         elasticsearchClient.index(indexRequest);
99.     }
101.     /**
102.      * 索引信息查询
103.      *
104.      * @throws IOException
105.      */
106.     public T query(String id) throws IOException {
107.         GetResponse<T> response = elasticsearchClient.get(g -> g
108.                         .index(index)
109.                         .id(id)
110.                 , obj);
111.         if (response.found()) {
112.             return response.source();
113.         }
114.         return null;
116.     }
118.     /**
119.      * 索引信息查询
120.      *
121.      * @throws IOException
122.      */
123.     public HitsMetadata<T> queryList(int page, int pageSize, Query query, SortOptions... sortOptions) throws IOException {
124.         SearchResponse<T> search = elasticsearchClient.search(
125.                 s -> s.index(index)
126.                         .query(query)
127.                         .trackTotalHits(TrackHits.of(i -> i.enabled(true)))
128.                         .sort(Arrays.asList(sortOptions))
129.                         .from((page - 1) * pageSize).size(pageSize)
130.                 , obj);
131.         return search.hits();
132.     }
134.     /**
135.      * 删除文档
136.      *
137.      * @throws IOException
138.      */
139.     public boolean del(String id) throws IOException {
140.         DeleteResponse delete = elasticsearchClient.delete(
141.                 d -> d.index(index)
142.                         .id(id));
144.         Result result = delete.result();
145.         return "deleted".equals(result.jsonValue()) | "not_found".equals(result.jsonValue());
146.     }
148.     /**
149.      * 批量
150.      *
151.      * @throws IOException
152.      */
153.     public Map<String, String> batchDel(Set<String> ids) throws Exception {
154.         BulkRequest.Builder br = new BulkRequest.Builder();
155.         for (String id : ids) {
156.             br.operations(op -> op.delete(d -> d.index(index).id(id)));
157.         }
158.         return requestBulk(br);
159.     }
161.     /**
162.      * 批量
163.      *
164.      * @throws IOException
165.      */
166.     public Map<String, String> batchAdd(List<T> list) throws Exception {
167.         BulkRequest.Builder br = new BulkRequest.Builder();
168.         for (T t : list) {
169.             String idValue = getIdValue(t);
170.             br.operations(op -> op
171.                     .index(idx -> idx
172.                             .index(index)
173.                             .id(idValue)
174.                             .document(t)
175.                     )
176.             );
177.         }
178.         return requestBulk(br);
179.     }
181.     /**
182.      * 处理批量请求
183.      *
184.      * @param br
185.      * @return
186.      * @throws IOException
187.      */
188.     private Map<String, String> requestBulk(BulkRequest.Builder br) throws IOException {
189.         //刷新可以立刻搜索到，消耗性能
190.         //br.refresh(Refresh.True);
191.         BulkResponse result = elasticsearchClient.bulk(br.build());
192.         System.out.println(result);
193.         Map<String, String> returnResult = new HashMap<>();
194.         if (result.errors()) {
195.             returnResult = result.items().stream()
196.                     .filter(e -> e.error() != null)
197.                     .collect(Collectors.toMap(BulkResponseItem::id, b -> b.error().reason()));
198.         }
199.         return returnResult;
200.     }
202.     /**
203.      * 分组
204.      * @param map
205.      * @return
206.      * @throws IOException
207.      */
208.     public Map<String, Aggregate> buildAggregate(Map<String, Aggregation> map) throws IOException {
209.         SearchResponse<T> search = elasticsearchClient.search(
210.                 s -> s.index(index).size(0)
211.                         .aggregations(map), obj);
212.         return search.aggregations();
213.     }
214.     public Long queryCount(Query query) throws IOException {
215.         CountResponse search = elasticsearchClient.count(s -> s.index(index).query(query));
216.         return search.count();
217.     }
219. }

复制代码

服务层实现（ElasticSearchServiceImpl.java）

1. package com.zbxsoft.wds.fileupload;
3. import cn.hutool.core.collection.CollectionUtil;
4. import cn.hutool.core.io.FileUtil;
5. import cn.hutool.core.lang.UUID;
6. import co.elastic.clients.elasticsearch.ElasticsearchClient;
7. import co.elastic.clients.elasticsearch.core.*;
8. import co.elastic.clients.elasticsearch.core.search.*;
10. import com.aliyun.oss.ServiceException;
11. import com.baomidou.mybatisplus.core.conditions.update.LambdaUpdateWrapper;
12. import com.baomidou.mybatisplus.core.metadata.IPage;
13. import com.baomidou.mybatisplus.extension.plugins.pagination.Page;
15. import com.google.common.collect.Lists;
16. import com.google.common.collect.Maps;
17. import com.zbxsoft.wds.aneo4j.TextAnalysis;
18. import com.zbxsoft.wds.aneo4j.rep.CustomNeo4jRepository;
19. import com.zbxsoft.wds.filequery.FileQuery;
20. import com.zbxsoft.wds.mapper.FileQueryMapper;
21. import com.zbxsoft.wds.config.FileData;
22. import com.zbxsoft.xwk.vo.R;
23. import lombok.extern.slf4j.Slf4j;
25. import org.apache.commons.io.IOUtils;
26. import org.apache.commons.lang3.StringUtils;
27. import org.apache.pdfbox.pdmodel.PDDocument;
28. import org.apache.pdfbox.text.PDFTextStripper;
29. import org.jetbrains.annotations.NotNull;
30. import org.springframework.beans.factory.annotation.Autowired;
32. import org.springframework.beans.factory.annotation.Value;
33. import org.springframework.core.io.ResourceLoader;
34. import org.springframework.data.util.Pair;
35. import org.springframework.http.HttpEntity;
36. import org.springframework.stereotype.Service;
37. import org.springframework.web.multipart.MultipartFile;
39. import java.io.File;
40. import java.io.FileInputStream;
41. import java.io.IOException;
42. import java.net.URL;
43. import java.util.*;
45. @Service
46. @Slf4j
47. public class ElasticsearchServiceImpl implements ElasticsearchService {
49.     @Autowired
50.     private ElasticsearchClient client;
52.     @Autowired
53.     private ResourceLoader resourceLoader;
55.     @Autowired
56.     protected FileQueryMapper fileQueryMapper;
58.     @Value("${file.server.address}")
59.     private String fileServerAddress;
61.     @Autowired
62.     private CustomNeo4jRepository customNeo4jRepository;
64.     /**
65.      * 创建索引
66.      * @param fileData 文件数据
67.      * @return 索引id
68.      * @throws IOException exp
69.      */
70.     public String createFileIndex(FileData fileData) throws IOException {
71.         String path = fileData.getFile_url();
72.         String url = fileServerAddress + path;
73.         log.info("已上传文件地址：" + url);
74.         String fileName = FileUtil.getName(url);
75.         // 上传并返回新文件名称
76.         String prefix = fileName.substring(fileName.lastIndexOf(".") + 1);
77.         File file = File.createTempFile(fileName, prefix);
78.         IOUtils.copy(new URL(url),file);
79.         try (PDDocument document = PDDocument.load(file)) {
80.             //提取pdf中的文本内容
81.             PDFTextStripper pdfTextStripper = new PDFTextStripper();
82.             String text = pdfTextStripper.getText(document);
84.             //该主键 在es dm 中用作数据唯一id， 在neo4j中作为实体的type
85.             String id = fileData.getFile_id();
86.             //提取文章中的关键词
87.             List<String> keywords = TextAnalysis.getKeywords(text);
88.             if (CollectionUtil.isNotEmpty(keywords)) {
89.                 //构建知识图谱
90.                 customNeo4jRepository.buildArticleKeywordGraph(id, keywords);
91.                 //更新keywords字段 file_id 就是数据库中存在的主键
92.                 updateKeywords(id, String.join(",", keywords));
93.             }
94.         } catch (IOException e) {
95.             log.error("提取文本或创建关键词图谱失败，异常信息: {}", e.toString());
96.         }
97.         //最后建立该文章的索引
98.         String _docId = createIndex(file,fileData);
99.         return _docId;
100.     }
102.     /**
103.      * 更新文件对象的keyword
104.      * @param id 主键
105.      * @param keyword 关键词
106.      */
107.     private void updateKeywords(String id,String keyword){
108.         LambdaUpdateWrapper<FileQuery> updateWrapper = new LambdaUpdateWrapper<>();
109.         updateWrapper.eq(FileQuery::getFileQueryId,id).set(FileQuery::getKeyword,keyword);
110.         fileQueryMapper.update(updateWrapper);
111.     }
113.     /**
114.      * 创建索引
115.      * @param file 文件
116.      * @param fileData 文件对象
117.      * @return 索引id
118.      */
119.     private String createIndex(File file, FileData fileData) {
120.         try {
121.             byte[] bytes = getContent(file);
122.             String base64 = Base64.getEncoder().encodeToString(bytes);
123.             fileData.setContent(base64);
124.             IndexRequest<Object> requestData = IndexRequest.of(i -> i.index("file_data").pipeline("attachment").id(fileData.getFile_id()).document(fileData));
125.             IndexResponse indexResponse = client.index(requestData);
126.             log.info("indexResponse:" + indexResponse);
128.             return indexResponse.id();
129.         } catch (IOException e) {
130.             log.error("文件上传异常，异常信息: {}", e.toString());
131.             return "";
132.         }
133.     }
135.     /**
136.      * 更新索引，在更新文件的时候发生
137.      * @param id 索引id 也是关系库主键
138.      * @param fileData 文件对象
139.      * @return
140.      * @throws IOException
141.      */
142.     @Override
143.     public String updateFileIndex(String id, FileData fileData) throws IOException {
144.         //直接删除索引， 重建
145.         DeleteRequest deleteRequest = DeleteRequest.of(s -> s.index("file_data").id(id));
146.         client.delete(deleteRequest);
148.         String _docId = createFileIndex(fileData);
150.         return _docId;
152.     }
154.     /**
155.      * 文件转base64
156.      *
157.      * @param file 文件对象
158.      * @return buffer
159.      * @throws IOException
160.      */
161.     private byte[] getContent(File file) throws IOException {
162.         long fileSize = file.length();
163.         if (fileSize > Integer.MAX_VALUE) {
164.             log.info("file too big...");
165.             return null;
166.         }
167.         FileInputStream fi = new FileInputStream(file);
168.         byte[] buffer = new byte[(int) fileSize];
169.         int offset = 0;
170.         int numRead = 0;
171.         while (offset < buffer.length
172.                 && (numRead = fi.read(buffer, offset, buffer.length - offset)) >= 0) {
173.             offset += numRead;
174.         }
175.         // 确保所有数据均被读取
176.         if (offset != buffer.length) {
177.             throw new ServiceException("Could not completely read file "
178.                     + file.getName());
179.         }
180.         return buffer;
181.     }
183.     /**
184.      * 给定keyword 检索数据
185.      * @param keyword
186.      * @return
187.      * @throws IOException
188.      */
189.     public Map<String,Double> queryWord(String keyword) throws IOException {
190.         SearchResponse<FileData> response = doQuery(keyword);
191.         log.info("检索结果: {}", response.hits().hits());
192.         List<Pair<String,Double>> idList = Lists.newArrayList();
193.         Map<String,Double> idsWithScore = Maps.newHashMap();
194.         List<Hit<FileData>> hits = response.hits().hits();
195.         for (Hit<FileData> hit : hits) {
196.             Double score = hit.score();
197.             String id = hit.id();
198.             score = score == null ? 0.0d : score;
199.             idsWithScore.put(id,score);
200.         }
202.         log.info("查询数据: {}", idsWithScore);
203.         return idsWithScore;
204.     }
206.     /**
207.      * es attachment.content 检索封装
208.      * @param keyword 关键词
209.      * @return 检索结果
210.      * @throws IOException exp
211.      */
212.     private SearchResponse<FileData> doQuery(String keyword) throws IOException {
214.         Map<String, HighlightField> map = new HashMap<>();
215.         HighlightField build = new HighlightField.Builder().preTags("").postTags("").build();
216.         map.put("file_name",build);
217.         map.put("attachment.content",HighlightField.of(hf -> hf.preTags("").postTags("").numberOfFragments(4)));
218.         Highlight highlight = Highlight.of(h -> h
219.                 .type(HighlighterType.of(ht -> ht
220.                         .builtin(BuiltinHighlighterType.Unified)))
221.                 .fields(map)
222.                 .fragmentSize(50).numberOfFragments(5));
224.         //索引 file_name 分词器 为ik_max_word 颗粒度较细  而attachment.content 使用ik_smart分词器 ， 颗粒度相对粗一点
225.         SearchResponse<FileData> response = client.search(s -> s
226.                         .index("file_data")
227.                         .highlight(highlight)
228.                         .query(q -> q
229.                                 .bool(b -> b
230.                                         .should(sh -> sh
231.                                                 .match(t -> t
232.                                                         .field("file_name").query(keyword)))
233.                                         .should(sh -> sh
234.                                                 .match(t -> t
235.                                                         .field("attachment.content").query(keyword)))
237.                                 )),
238.                 FileData.class);
240.         return response;
241.     }
243.     /**
244.      * 高亮分词搜索其它类型文档
245.      *
246.      * @param warningInfoDto
247.      * @return
248.      */
249.     public IPage<SearchResult> queryWord(WarningInfoDto warningInfoDto) throws IOException {
250.         //分页
251.         SearchResponse<FileData> response = doQuery(warningInfoDto.getKeyword());
252.         //手动创建分页对象
253.         IPage<SearchResult> warningInfoIPage = getFileDataIPage(warningInfoDto, response);
255.         return warningInfoIPage;
256.     }
258.     /**
259.      * 获取检索数据， 分页
260.      * @param warningInfoDto
261.      * @param response
262.      * @return
263.      */
264.     @NotNull
265.     private static IPage<SearchResult> getFileDataIPage(WarningInfoDto warningInfoDto, SearchResponse<FileData> response) {
266.         List<Hit<FileData>> hits = response.hits().hits();
267.         TotalHits total = response.hits().total();
269.         List<SearchResult> resultList = new LinkedList<>();
270.         //处理返回内容
271.         for (Hit<FileData> hit : hits) {
272.             Map<String, List<String>> map = hit.highlight();
273.             List<String> highLightWords = Lists.newArrayList();
274.             map.forEach((k,v) -> highLightWords.addAll(v));
275.             FileData fileData = hit.source();
276.             SearchResult searchResult = new SearchResult(fileData,highLightWords);
277.             resultList.add(searchResult);
278.         }
280. //        //设置一个最后需要返回的实体类集合
281.         //手动分页返回信息
282.         IPage<SearchResult> warningInfoIPage = new Page<>();
283.         assert total != null;
284.         warningInfoIPage.setTotal(total.value());
285.         warningInfoIPage.setRecords(resultList);
286.         warningInfoIPage.setCurrent(warningInfoDto.getPageIndex());
287.         warningInfoIPage.setSize(warningInfoDto.getPageSize());
288.         warningInfoIPage.setPages(warningInfoIPage.getTotal() % warningInfoDto.getPageSize());
289.         return warningInfoIPage;
290.     }
292.     /**
293.      * 文档信息关键词联想(根据输入框的词语联想文件名称)
294.      *
295.      * @param warningInfoDto
296.      * @return
297.      */
299.     public List<String> getAssociationalWordOther(WarningInfoDto warningInfoDto) {
300. //        //需要查询的字段
301. //        BoolQueryBuilder boolQueryBuilder = QueryBuilders.boolQuery()
302. //                .should(QueryBuilders.matchBoolPrefixQuery("fileName", warningInfoDto.getKeyword()));
303. //        //contentType标签内容过滤
304. //        boolQueryBuilder.must(QueryBuilders.termsQuery("contentType", warningInfoDto.getContentType()));
305. //        //构建高亮查询
306. //        NativeSearchQuery searchQuery = new NativeSearchQueryBuilder()
307. //                .withQuery(boolQueryBuilder)
308. //                .withHighlightFields(
309. //                        new HighlightBuilder.Field("fileName")
310. //                )
311. //                .withHighlightBuilder(new HighlightBuilder().preTags("<span style='color:red'>").postTags("</span>"))
312. //                .build();
313. //        //查询
314. //        SearchHits<FileData> search = null;
315. //        try {
316. //            search = client.search(searchQuery);
317. //        } catch (Exception ex) {
318. //            ex.printStackTrace();
319. //            throw new ServiceException(String.format("操作错误，请联系管理员！%s", ex.getMessage()));
320. //        }
321. //        //设置一个最后需要返回的实体类集合
322. //        List<String> resultList = new LinkedList<>();
323. //        //遍历返回的内容进行处理
324. //        for (org.springframework.data.elasticsearch.core.SearchHit<FileInfo> searchHit : search.getSearchHits()) {
325. //            //高亮的内容
326. //            Map<String, List<String>> highlightFields = searchHit.getHighlightFields();
327. //            //将高亮的内容填充到content中
328. //            searchHit.getContent().setFileName(highlightFields.get("fileName") == null ? searchHit.getContent().getFileName() : highlightFields.get("fileName").get(0));
329. //            if (highlightFields.get("fileName") != null) {
330. //                resultList.add(searchHit.getContent().getFileName());
331. //            }
332. //        }
333. //        //list去重
334. //        List<String> newResult = null;
335. //        if (!FastUtils.checkNullOrEmpty(resultList)) {
336. //            if (resultList.size() > 9) {
337. //                newResult = resultList.stream().distinct().collect(Collectors.toList()).subList(0, 9);
338. //            } else {
339. //                newResult = resultList.stream().distinct().collect(Collectors.toList());
340. //            }
341. //        }
342.         return new ArrayList<>();
343.     }
345.     /**
346.      * 上传文件并进行文件内容识别上传到es 测试使用
347.      * @param file
348.      * @return
349.      */
350.     public HttpEntity<?> createFileIndex(MultipartFile file) throws IOException {
352.         //http://192.168.100.243//file/wds/fileQuery/2024-12/1734319529179/downloadFile.pdf
353. //        InputStream inputStream = resourceLoader.getResource(url).getInputStream();
354.         String fileName = file.getName();
355.         String prefix = fileName.substring(fileName.lastIndexOf(".") + 1);
356.         File tempFile = File.createTempFile(fileName, prefix);
357.         // 上传文件路径
358.         file.transferTo(tempFile);
360.         FileData fileData = new FileData();
362.         fileData.setFile_url("http://localhost:9000/bucket/p2");
363.         fileData.setFile_id(UUID.fastUUID().toString(true));
364.         fileData.setFile_name("张飞吃豆芽333.pdf");
365.         fileData.setFile_suffix(".pdf");
366.         fileData.setFile_type("pdf");
367.         fileData.setFile_size("44");
368.         fileData.setFile_dir_name("p2");
369.         fileData.setGroup_file_id("g1");
371.         String _docId = createIndex(tempFile,fileData);
373.         return StringUtils.isBlank(_docId) ? R.badRequest("文件上传异常") : R.success("文件上传成功");
375.     }
377. }

复制代码

五、数据传输

1. 前端哀求数据传输（WarningInfoDto.java）

1. package com.zbxsoft.wds.fileupload;
4. import lombok.Data;
6. import java.util.List;
8. /**
9. * 前端请求数据传输
10. * WarningInfo
11. * @author luoY
12. */
13. @Data
15. public class WarningInfoDto{
16.     /**
17.      * 页数
18.      */
20.     private Integer pageIndex;
22.     /**
23.      * 每页数量
24.      */
26.     private Integer pageSize;
28.     /**
29.      * 查询关键词
30.      */
31.     private String keyword;
33.     /**
34.      * 内容类型
35.      */
36.     private List<String> contentType;
38.     /**
39.      * 用户手机号
40.      */
41.     private String phone;
42. }
43. }

复制代码

2. 文档全文检索接口（ElasticSearchController.java）

1. package com.zbxsoft.wds.fileupload;
3. import com.baomidou.mybatisplus.core.metadata.IPage;
5. import com.zbxsoft.wds.common.R;
7. import org.springframework.http.HttpEntity;
8. import org.springframework.web.bind.annotation.*;
9. import org.springframework.web.multipart.MultipartFile;
11. import javax.annotation.Resource;
12. import javax.servlet.http.HttpServletRequest;
13. import java.io.IOException;
14. import java.util.List;
16. /**
17. * es搜索引擎
18. *
19. * @author luoy
20. */
21. @RestController
22. @RequestMapping("es")
23. public class ElasticsearchController {
24.     @Resource
25.     private ElasticsearchService elasticsearchService;
27.     @PostMapping("/uploadFile")
28.     public HttpEntity<?> uploadFile(@RequestParam(required = false) MultipartFile file) throws IOException {
29.         return elasticsearchService.createFileIndex(file);
30.     }
32.     /**
33.      * 告警信息关键词联想
34.      *
35.      * @param warningInfoDto
36.      * @return
37.      */
38.     @PostMapping("getAssociationalWordDoc")
39.     public HttpEntity<?> getAssociationalWordDoc(@RequestBody WarningInfoDto warningInfoDto, HttpServletRequest request) {
40.         List<String> words = elasticsearchService.getAssociationalWordOther(warningInfoDto);
41.         return R.list(words);
42.     }
45.     /**
46.      * 告警信息高亮分词分页查询
47.      *
48.      * @param warningInfoDto
49.      * @return
50.      */
51.     @PostMapping("queryHighLightWordDoc")
52.     public HttpEntity<?> queryHighLightWordDoc(@RequestBody WarningInfoDto warningInfoDto,HttpServletRequest request) throws IOException {
53.         IPage<SearchResult> warningInfoListPage = elasticsearchService.queryWord(warningInfoDto);
54.         return R.entity(warningInfoListPage);
55.     }
56. }

复制代码

3. 数据返回（SearchResult.java）

1. package com.zbxsoft.wds.fileupload;
3. import com.zbxsoft.wds.config.FileData;
4. import lombok.AllArgsConstructor;
5. import lombok.Data;
6. import lombok.NoArgsConstructor;
7. import lombok.ToString;
9. import java.io.Serializable;
10. import java.util.List;
12. @Data
13. @AllArgsConstructor
14. @NoArgsConstructor
15. @ToString
16. public class SearchResult implements Serializable {
18.     private FileData fileData;
20.     private List<String> highLightWords;
21. }

复制代码

六、高级功能实现

• 多条件复合查询构建本领
  
• 聚合统计实现方案
  
• 搜索高亮显示配置
  

七、性能优化建议

• 索引分片策略设计
  
• 查询DSL优化本领
  
• 批量操作最佳实践
  

八、总结与展望

• 当前架构优势分析
  
• 后续演进方向建议
  

（注：各代码示例需配合完备的类定义和import语句，实际开辟中需补充异常处理、日记纪录等生产级代码要素）