Java工程师实现视频文件上传minio文件体系存储及网页实现分批加载视频播放

Java工程师实现minio存储大型视频文件网页实现分批加载视频播放

一、需求分析

老板给我出个标题，让我把的影戏文件上传到minio文件体系，再通过WEB端分配加载视频播放，雷同于我们平常的影戏网站。小编把Java代码共享出来。是真正的能拿过来直接用的。小编我切身测过。
1.1minio版本

1. <dependency>
2.                     <groupId>io.minio</groupId>
3.                     <artifactId>minio</artifactId>
4.                     <version>7.1.4</version>
5.                 </dependency>

复制代码

1.2maven依赖

1. <?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0"         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">    <modelVersion>4.0.0</modelVersion>    <groupId>com.sun</groupId>    <artifactId>springboot-sun</artifactId>    <version>1.0-SNAPSHOT</version>    <!--springboot工程必要继续的父工程-->    <parent>        <groupId>org.springframework.boot</groupId>        <artifactId>spring-boot-starter-parent</artifactId>        <version>2.1.8.RELEASE</version>    </parent>    <dependencies>                <dependency>    <groupId>org.springframework.boot</groupId>    <artifactId>spring-boot-starter-thymeleaf</artifactId>    </dependency>                    <!--web开辟的起步依赖-->        <dependency>            <groupId>org.springframework.boot</groupId>            <artifactId>spring-boot-starter-web</artifactId>        </dependency>        <dependency>            <groupId>org.mybatis.spring.boot</groupId>            <artifactId>mybatis-spring-boot-starter</artifactId>            <version>2.1.0</version>        </dependency>        <dependency>            <groupId>mysql</groupId>            <artifactId>mysql-connector-java</artifactId>            <!--<scope>runtime</scope>-->        </dependency>        <dependency>            <groupId>org.springframework.boot</groupId>            <artifactId>spring-boot-starter-test</artifactId>            <scope>test</scope>        </dependency>                <dependency>
2.                     <groupId>io.minio</groupId>
3.                     <artifactId>minio</artifactId>
4.                     <version>7.1.4</version>
5.                 </dependency>
6.                 <dependency>                    <groupId>org.apache.commons</groupId>                    <artifactId>commons-lang3</artifactId>                    <version>3.12.0</version>                </dependency>        <dependency>            <groupId>org.projectlombok</groupId>            <artifactId>lombok</artifactId>            <version>1.18.28</version>            <scope>provided</scope>        </dependency>        <dependency>    <groupId>joda-time</groupId>    <artifactId>joda-time</artifactId>    <version>2.10.12</version></dependency>    </dependencies></project>

复制代码

1.3分段视频播放Controller

1. package com.sun.controller;
3. import io.minio.GetObjectArgs;
4. import io.minio.MinioClient;
5. import io.minio.ObjectStat;
6. import io.minio.StatObjectArgs;
7. import io.minio.errors.*;
8. import org.springframework.beans.factory.annotation.Autowired;
9. import org.springframework.http.HttpHeaders;
10. import org.springframework.http.HttpStatus;
11. import org.springframework.http.MediaType;
12. import org.springframework.http.ResponseEntity;
13. import org.springframework.web.bind.annotation.GetMapping;
14. import org.springframework.web.bind.annotation.PathVariable;
15. import org.springframework.web.bind.annotation.RequestHeader;
16. import org.springframework.web.bind.annotation.RestController;
18. import com.sun.minio.util.MinIoUtil;
20. import java.io.ByteArrayOutputStream;
21. import java.io.IOException;
22. import java.io.InputStream;
23. import java.security.InvalidKeyException;
24. import java.security.NoSuchAlgorithmException;
26. @RestController
27. public class VideoController2 {
31.     @GetMapping("/testDisplay2/{fileName}")
32.     public ResponseEntity<byte[]> getVideo(
33.             @PathVariable String fileName,
34.             @RequestHeader(value = "Range", required = false) String range) {
35.         try {
36.                  String bucketName = "movie";
37.              String objectName = fileName + ".mp4";
38.              MinioClient minioClient= MinIoUtil.minioClient;
39.             // 根据Range请求头来设置分批加载的范围
40.             GetObjectArgs.Builder getObjectArgsBuilder = GetObjectArgs.builder()
41.                  .bucket(bucketName)
42.                  .object(objectName);
43.             long start=0l;
44.             if (range!= null && range.startsWith("bytes=")) {
45.                 String[] values = range.split("=")[1].split("-");
46.                  start = Long.parseLong(values[0]);
47.                 long end = values.length > 1? Long.parseLong(values[1]) : -1;
48.                 if (end!= -1) {
49.                     long length = end - start + 1;
50.                     getObjectArgsBuilder.offset(start).length(length);
51.                 } else {
52.                     getObjectArgsBuilder.offset(start);
53.                 }
54.             }
56.             // 获取视频流
57.             try (InputStream inputStream = minioClient.getObject(getObjectArgsBuilder.build())) {
58.                 ByteArrayOutputStream outputStream = new ByteArrayOutputStream();
59.                 byte[] buffer = new byte[1024 * 1024]; // 1MB缓冲区
60.                 int length;
61.                 while ((length = inputStream.read(buffer))!= -1) {
62.                     outputStream.write(buffer, 0, length);
63.                 }
64.                 byte[] videoBytes = outputStream.toByteArray();
66.                 HttpHeaders headers = new HttpHeaders();
67.                 headers.setContentType(MediaType.parseMediaType("video/mp4"));
69.                 // 如果是分段请求，设置相应的响应头
70.                 if (range!= null) {
71.                     ObjectStat objectStat = minioClient.statObject(StatObjectArgs.builder().bucket(bucketName).object(objectName).build());
72.                     long fileSize = objectStat.length();
73.                     headers.set("Content-Range", "bytes " + start + "-" + (start + videoBytes.length - 1) + "/" + fileSize);
74.                     return new ResponseEntity<>(videoBytes, headers, HttpStatus.PARTIAL_CONTENT);
75.                 } else {
76.                     headers.setContentLength(videoBytes.length);
77.                     return new ResponseEntity<>(videoBytes, headers, HttpStatus.OK);
78.                 }
79.             }
80.         } catch (Exception e) {
81.             e.printStackTrace();
82.             return new ResponseEntity<>(HttpStatus.INTERNAL_SERVER_ERROR);
83.         }
84.     }
85. }

复制代码

1.4 html5 播放

1. <html>
2. <title>test</title>
3. <meta http-equiv="Content-Type" content="text/html; charset=utf-8">
4. <head>
5.     <style type="text/css">
6.         .upload {
7.             margin-top: 100px;
8.             margin-left: 100px;
9.             text-align: center;
10.         }
12.     </style>
14. </head>
15. <body>
16. <h1 style="text-align: center;margin-top: 20px">test</h1>
17. <div>
18. <!--  <img src="/minio_demo/testClick/testDisplay?url=/data/temp/img/a6efce1b9d16fdfabf36882ab08f8c5495ee7b9f.jpg"> -->
19. </div>
21. <div>
23.   <!--   
24.    
25. <video src="/minio_demo/testClick/testDisplay?md5=a172e15a869fd7224618840c0815dcb1" controls width="640" height="360">
26.     您的浏览器不支持视频标签。
27. </video>
28.    -->
29.    
30.     <video src="/minio_demo/testDisplay2/test" controls width="640" height="360">
31.     您的浏览器不支持视频标签。
32. </video>
33.    
34.    
35. </div>
36. </body>
37. </html>

复制代码

1.5上传Controller

1. package com.sun.controller;
3. import io.minio.errors.*;
4. import org.apache.commons.lang3.StringUtils;
5. import org.springframework.beans.factory.annotation.Autowired;
6. import org.springframework.core.io.support.PropertiesLoaderUtils;
7. import org.springframework.web.bind.annotation.RequestMapping;
8. import org.springframework.web.bind.annotation.RequestParam;
9. import org.springframework.web.bind.annotation.ResponseBody;
10. import org.springframework.web.bind.annotation.RestController;
11. import org.springframework.web.multipart.MultipartFile;
12. import org.springframework.web.servlet.ModelAndView;
14. import com.sun.minio.util.MinIoContentType;
15. import com.sun.minio.util.MinIoUtil;
16. import com.sun.minio.util.MinioBucketEnum;
17. import com.sun.service.MinioServiceImpl;
19. import javax.servlet.RequestDispatcher;
20. import javax.servlet.ServletException;
21. import javax.servlet.http.HttpServletRequest;
22. import javax.servlet.http.HttpServletResponse;
23. import java.io.IOException;
24. import java.io.InputStream;
25. import java.security.InvalidKeyException;
26. import java.security.NoSuchAlgorithmException;
27. import java.util.Properties;
29. @RestController
30. @RequestMapping("testClick")
31. public class MinioDemoController {
32.          @Autowired
33.         private MinioServiceImpl minioServiceImpl;
35.     /**
36.      * 直接页面展示
37.      * @param response
38.      */
39.     @RequestMapping("/testDisplay")
40.     public void testDisplay(HttpServletResponse response,String md5) throws Exception {
41.         MinIoUtil.displayFile(minioServiceImpl,MinioBucketEnum.VIDEO_FILES,response,md5);
42.     }
43.     @RequestMapping("/testDownload")
44.     public void testDownLoad(HttpServletResponse response,String md5) throws Exception {
45.         MinIoUtil.downloadFile(minioServiceImpl,MinioBucketEnum.VIDEO_FILES,response,md5,"");
46.     }
47.     @RequestMapping("/testLoad")
48.     public void testLoadFile(HttpServletResponse response,String md5,String targetPath) throws  Exception{
49.         MinIoUtil.loadObject(MinioBucketEnum.VIDEO_FILES,targetPath,md5);
50.     }
51.     @RequestMapping("/deleteFile")
52.     public String deleteFile(String md5) throws  Exception{
53.         MinIoUtil.deleteObject(minioServiceImpl,MinioBucketEnum.VIDEO_FILES, md5);
54.         return "deleteFileSucceed";
55.     }
56.    
57.    
58.     @RequestMapping("/testUpload")
59.     @ResponseBody
60.     public String testUpload(HttpServletRequest request, @RequestParam("multipartFile") MultipartFile[] multipartfiles,String url,String pucketName)throws  Exception{
61.         String filePath = "";
62.         for(MultipartFile multipartFile:multipartfiles){
63.             String contentType = multipartFile.getContentType();
64.             InputStream inputStream = multipartFile.getInputStream();
65.             if(!StringUtils.isBlank(url)&&!url.startsWith("/")){
66.                 url = "/"+url;
67.             }
68.             if(!StringUtils.isBlank(url)&&!url.endsWith("/")){
69.                 url += "/";
70.             }
71.             MinioBucketEnum minioBucketEnum = MinioBucketEnum.VIDEO_FILES;
72.                         /*
73.                          * if(pucketName.equals("monthlytext")){ minioBucketEnum =
74.                          * MinioBucketEnum.MONTHLY_TEXT; } if(pucketName.equals("email")){
75.                          * minioBucketEnum = MinioBucketEnum.VIDEO_FILES; }
76.                          * if(pucketName.equals("excel")){ minioBucketEnum = MinioBucketEnum.EXCEL; }
77.                          */
78.             
79.             String md5 = MinIoUtil.upload(minioServiceImpl,minioBucketEnum,url + multipartFile.getOriginalFilename(), inputStream, MinIoContentType.getContentType(contentType));
80.             filePath+="<p>"+md5+"</p>";
81.             if(multipartFile.getOriginalFilename().contains(".mp4")) {
82.                 filePath = "<video src="/minio_demo/testClick/testDisplay?md5="+md5+"" controls width="640" height="360">\n" +
83.                         "    您的浏览器不支持视频标签。\n" +
84.                         "</video>";
85.             }
86.             // 构建包含两个a标签的HTML代码字符串
87.             StringBuilder htmlBuilder = new StringBuilder();
88.             htmlBuilder.append("<a href="/minio_demo/testClick/deleteFile?md5=").append(md5).append("">删除文件</a>");
89.             htmlBuilder.append("&nbsp;&nbsp;&nbsp;&nbsp;"); // 增加一些空格间隔两个标签
90.             htmlBuilder.append("<a href="/minio_demo/testClick/testDownload?md5=").append(md5).append("">下载文件</a>");
91.             // 得到最终的HTML字符串
92.             String htmlString = htmlBuilder.toString();
93.             filePath=filePath+htmlString;
94.            // filePath+="<p>"+md5+"</p>";
95.         }
96.         return filePath;
97.     }
98.     @RequestMapping("/testMv1")
99.     public ModelAndView testMv1(HttpServletRequest request){
100.         ModelAndView modelAndView = new ModelAndView();
101.         modelAndView.setViewName("/minio/demo");
102.         return modelAndView;
103.     }
104.     @RequestMapping("/testMv2")
105.     public ModelAndView testMv2(HttpServletRequest request){
106.         ModelAndView modelAndView = new ModelAndView();
107.         modelAndView.setViewName("/minio/demo2");
108.         return modelAndView;
109.     }
110.     @RequestMapping("/testMv3")
111.     public ModelAndView testMv3(){
112.         ModelAndView mv = new ModelAndView();
113.         mv.setViewName("/minio/demo3");
114.         return mv;
115.     }
116. }

复制代码

1.6 上传HTML5

1. <!DOCTYPE html>
2. <html lang="zh-CN">
3. <head>
4.     <title>文件上传页面</title>
5.     <meta http-equiv="Content-Type" content="text/html; charset=utf-8">
6.     <style type="text/css">
7.         /* 整体页面样式 */
8.         body {
9.             font-family: Arial, sans-serif;
10.             margin: 0;
11.             padding: 0;
12.             display: flex;
13.             flex-direction: column;
14.             justify-content: center;
15.             align-items: center;
16.             min-height: 100vh;
17.             background-color: #f4f4f4;
18.         }
20.         /* 标题样式 */
21.         h1 {
22.             color: #333;
23.             margin-bottom: 30px;
24.         }
26.         /* 上传表单容器样式 */
27.       .upload {
28.             background-color: #fff;
29.             padding: 30px;
30.             border-radius: 10px;
31.             box-shadow: 0 0 10px rgba(0, 0, 0, 0.1);
32.             width: 400px;
33.         }
35.         /* 表单段落样式 */
36.       .upload p {
37.             margin-bottom: 20px;
38.         }
40.         /* 文件选择输入框样式 */
41.       .upload input[type="file"] {
42.             width: 100%;
43.             padding: 10px;
44.             border: 1px solid #ccc;
45.             border-radius: 5px;
46.         }
48.         /* 文本输入框样式 */
49.       .upload input[type="text"] {
50.             width: 100%;
51.             padding: 10px;
52.             border: 1px solid #ccc;
53.             border-radius: 5px;
54.         }
56.         /* 提交按钮样式 */
57.       .upload input[type="submit"] {
58.             background-color: #007BFF;
59.             color: #fff;
60.             padding: 10px 20px;
61.             border: none;
62.             border-radius: 5px;
63.             cursor: pointer;
64.             transition: background-color 0.3s ease;
65.         }
67.       .upload input[type="submit"]:hover {
68.             background-color: #0056b3;
69.         }
70.     </style>
71. </head>
72. <body>
73.     <h1>文件上传至MinIO</h1>
74.     <div class="upload">
75.         <form action="/minio_demo/testClick/testUpload" method="post" enctype="multipart/form-data">
76.             <p>
77.                 选择文件: <input type="file" name="multipartFile" />
78.             </p>
79.             <p>
80.                 桶名称: <input type="text" name="pucketName" value="movie" />
81.             </p>
82.             <p>
83.                 文件目录: <input type="text" name="url" hidden />
84.             </p>
85.             <p>
86.                 <input type="submit" value="上传并检测" />
87.             </p>
88.         </form>
89.     </div>
90. </body>
91. </html>

复制代码

1.7 MinIoUtil工具类

1. package com.sun.minio.util;
3. import io.minio.*;
4. import io.minio.errors.*;
5. import org.apache.commons.lang3.StringUtils;
6. import org.joda.time.DateTime;
7. import org.slf4j.LoggerFactory;
8. import org.springframework.beans.BeansException;
9. import org.springframework.context.ApplicationContext;
10. import org.springframework.context.ApplicationContextAware;
11. import org.springframework.core.io.support.PropertiesLoaderUtils;
12. import org.springframework.web.multipart.MultipartFile;
14. import com.sun.doman.MinioRecord;
15. import com.sun.service.MinioServiceImpl;
17. import javax.servlet.ServletOutputStream;
18. import javax.servlet.http.HttpServletResponse;
19. import javax.validation.constraints.NotNull;
20. import java.io.*;
21. import java.net.URLEncoder;
22. import java.security.InvalidKeyException;
23. import java.security.NoSuchAlgorithmException;
24. import java.util.HashMap;
25. import java.util.Map;
26. import java.util.Properties;
27. import java.util.concurrent.TimeUnit;
29. /**
30. * minio工具类
31. */
33. /**
34. * minio工具类
35. */
36. public class MinIoUtil {
37.     private static MinioServiceImpl minioService = null;
38.     private static final org.slf4j.Logger Logger = LoggerFactory.getLogger(MinIoUtil.class);
39.     public static MinioClient minioClient = null;
40.     private static  String enpoint;
41.     private static  String username;
42.     private static  String password;
43.     static {
44.         try{
45.             Properties properties = PropertiesLoaderUtils.loadAllProperties("application.properties");
46.             enpoint = properties.getProperty("minioEnpoint");
47.             Logger.info("获取minio[enpoint]:"+enpoint);
48.             username = properties.getProperty("minioUserName");
49.             Logger.info("获取minio[minioUserName]:"+username);
50.             password = properties.getProperty("minioPassword");
51.             Logger.info("获取minio[minioPassword]"+password);
52.             minioClient = MinioClient.builder().endpoint(enpoint).credentials(username,password).build();
53.             for(MinioBucketEnum minioBucketEnum: MinioBucketEnum.values()){
54.                 if(!bucketExist(minioBucketEnum.getBucketName())){
55.                     createBucket(minioBucketEnum.getBucketName());
56.                 }
57.             }
58.         }catch (Exception e){
59.             Logger.error("获取minio连接失败",e);
60.             e.printStackTrace();
61.         }
63.     }
64.    
65.    
66.    
67.    
68.   
69.    
70.    
71.    
72.     //检查桶是否存在
73.     public static boolean bucketExist(String buckeyName) throws IOException, InvalidKeyException, InvalidResponseException, InsufficientDataException, NoSuchAlgorithmException, ServerException, InternalException, XmlParserException, InvalidBucketNameException, ErrorResponseException {
74.         return minioClient.bucketExists(BucketExistsArgs.builder().bucket(buckeyName).build());
75.     }
76.     //创建桶
77.     public static  void createBucket(String bucketName) throws IOException, InvalidKeyException, InvalidResponseException, RegionConflictException, InsufficientDataException, NoSuchAlgorithmException, ServerException, InternalException, XmlParserException, InvalidBucketNameException, ErrorResponseException {
78.         minioClient.makeBucket(MakeBucketArgs.builder().bucket(bucketName).build());
79.     }
81.     /**
82.      *
83.      * @return
84.      */
85.     public Map<String,String> getAccess(){
86.         Map<String,String> map = new HashMap<>();
87.         map.put("username",username);
88.         map.put("password",password);
89.         return map;
90.     }
91.     /**
92.      *
93.      * @param name 文件名,可以是单纯的文件名test.pdf,也可以是类似aaa/bbb/ccc/test.pdf,如果没有重复文件名,则会为在minio中的文件路径
94.      * @param inputStream 文件流
95.      * @param contentType
96.      * @return
97.      */
98.     public static String upload(MinioServiceImpl minioService ,MinioBucketEnum minioBucketEnum, String name, InputStream inputStream, MinIoContentType contentType)throws Exception{
99.         if(StringUtils.isBlank(name)||inputStream==null){
100.             return null;
101.         }
102.         try{
103.             BufferedInputStream bis = new BufferedInputStream(inputStream);
104.             String md5Val = MD5Util.md5HashCode32(bis);
105.             MinioRecord byMd5Val = minioService.getByMd5Val(minioBucketEnum.getBucketName(),md5Val);
106.             if(byMd5Val==null){
107.                 if(objectExist(minioBucketEnum.getBucketName(),name)){//minio存在同名文件,需要改一下文件名
108.                     name = getOtherName(name,md5Val);
109.                 }
110.                 boolean flag = false;
111.                 int count = 3;
112.                 for(int i = 0;i<count;i++){//失败尝试3次.最后一次还失败抛异常
113.                     if(flag){
114.                         break;
115.                     }
116.                     try{
117.                         minioClient.putObject(PutObjectArgs.builder().bucket(minioBucketEnum.getBucketName()).object(name).contentType(contentType == null ? MinIoContentType.STREAM.contentType : contentType.contentType)
118.                                 .stream(bis, bis.available(), partSize).build());
119.                         flag = true;
120.                     }catch (Exception e){
121.                         if (i==count-1){
122.                             throw e;
123.                         }
124.                         TimeUnit.MILLISECONDS.sleep(200);
125.                     }
126.                 }
127.                 minioService.insertOne(MinioRecord.builder().bucketName(minioBucketEnum.getBucketName()).md5Val(md5Val).minioFilePath(name).remainNum(1)
128.                         .createTime(DateTime.now().toString("yyyy-MM-dd HH:mm:ss")).updateTime(DateTime.now().toString("yyyy-MM-dd HH:mm:ss")).build());
129.             }else{
130.                 byMd5Val.setRemainNum((byMd5Val.getRemainNum()==null?0:byMd5Val.getRemainNum())+1);
131.                 minioService.updateRemainNum(byMd5Val);
132.             }
133.             return md5Val;
134.         }catch (Exception e){
135.             Logger.error("上传文件失败,name:"+name,e);
136.             throw e;
137.         }finally {
138.             try{
139.                 inputStream.close();
140.             }catch (Exception e){
142.             }
143.         }
144.     }
145.    
146.    
147.    
148.    
149.    
150.    
151.     public static String upload(MinioBucketEnum minioBucketEnum, String name, InputStream inputStream, MinIoContentType contentType)throws Exception{
152.         if(StringUtils.isBlank(name)||inputStream==null){
153.             return null;
154.         }
155.         try{
156.             BufferedInputStream bis = new BufferedInputStream(inputStream);
157.             String md5Val = MD5Util.md5HashCode32(bis);
158.             MinioRecord byMd5Val = minioService.getByMd5Val(minioBucketEnum.getBucketName(),md5Val);
159.             if(byMd5Val==null){
160.                 if(objectExist(minioBucketEnum.getBucketName(),name)){//minio存在同名文件,需要改一下文件名
161.                     name = getOtherName(name,md5Val);
162.                 }
163.                 boolean flag = false;
164.                 int count = 3;
165.                 for(int i = 0;i<count;i++){//失败尝试3次.最后一次还失败抛异常
166.                     if(flag){
167.                         break;
168.                     }
169.                     try{
170.                         minioClient.putObject(PutObjectArgs.builder().bucket(minioBucketEnum.getBucketName()).object(name).contentType(contentType == null ? MinIoContentType.STREAM.contentType : contentType.contentType)
171.                                 .stream(bis, bis.available(), partSize).build());
172.                         flag = true;
173.                     }catch (Exception e){
174.                         if (i==count-1){
175.                             throw e;
176.                         }
177.                         TimeUnit.MILLISECONDS.sleep(200);
178.                     }
179.                 }
180.                 minioService.insertOne(MinioRecord.builder().bucketName(minioBucketEnum.getBucketName()).md5Val(md5Val).minioFilePath(name).remainNum(1)
181.                         .createTime(DateTime.now().toString("yyyy-MM-dd HH:mm:ss")).updateTime(DateTime.now().toString("yyyy-MM-dd HH:mm:ss")).build());
182.             }else{
183.                 byMd5Val.setRemainNum((byMd5Val.getRemainNum()==null?0:byMd5Val.getRemainNum())+1);
184.                 minioService.updateRemainNum(byMd5Val);
185.             }
186.             return md5Val;
187.         }catch (Exception e){
188.             Logger.error("上传文件失败,name:"+name,e);
189.             throw e;
190.         }finally {
191.             try{
192.                 inputStream.close();
193.             }catch (Exception e){
195.             }
196.         }
197.     }
198.    
199.    
200.    
201.    
202.    
203.    
204.    
205.    
206.    
207.    
208.    
209.    
210.    
211.    
212.    
213.    
214.    
215.    
216.    
217.    
218.     /**
219.      *
220.      * @param name 文件名,可以是单纯的文件名test.pdf,也可以是类似aaa/bbb/ccc/test.pdf,如果没有重复文件名,则会为在minio中的文件路径
221.      * @param filePath 需要上传的文件路径
222.      * @param contentType
223.      * @return
224.      */
225.     public static String upload(MinioBucketEnum minioBucketEnum, String name, String filePath, MinIoContentType contentType) throws Exception {
226.         File file = new File(filePath);
227.         if(!file.exists()||minioBucketEnum==null){
228.             return null;
229.         }
230.         return upload(minioBucketEnum,name, new FileInputStream(file), contentType);
231.     }
233.     /**
234.      * 基于MultipartFile文件上传
235.      * @param minioBucketEnum 桶信息
236.      * @param file 文件
237.      * @param contentType 内容类型
238.      * @return 返回结果
239.      * @throws Exception 异常
240.      */
241.     public static String upload(@NotNull MinioBucketEnum minioBucketEnum, @NotNull MultipartFile file, MinIoContentType contentType) throws Exception {
242.         String filename = file.getOriginalFilename();
243.         byte[] bytes = file.getBytes();
244.         ByteArrayInputStream bais = new ByteArrayInputStream(bytes);
245.         String md5Str = upload(minioBucketEnum, filename, bais, contentType);
246.         bais.close();
247.         return md5Str;
248.     }
250.     /**
251.      *
253.      * @param response
254.      * @param md5ValOrOldPath 新文件上传则是md5值,旧文件则依然使用旧文件的路径
255.      * @param exportFileName 最终给到前端的文件名
256.      */
257.     public static void downloadFile(MinioServiceImpl minioService ,MinioBucketEnum minioBucketEnum, HttpServletResponse response, String md5ValOrOldPath,String exportFileName){
258.         downloadFileByMd5(minioService,minioBucketEnum,response,checkOutMd5Val(md5ValOrOldPath),exportFileName);
259.     }
260.     /**
261.      * 根据文件md5值获取
262.      * @param md5Val
263.      * @return
264.      */
265.     private static void downloadFileByMd5(MinioServiceImpl minioService ,MinioBucketEnum minioBucketEnum, HttpServletResponse response, String md5Val,String exportFileName){
266.         if(StringUtils.isBlank(md5Val)||response==null){
267.             return ;
268.         }
269.         try {
270.             MinioRecord byMd5Val = minioService.getByMd5Val(minioBucketEnum.getBucketName(),md5Val);
271.             if(byMd5Val!=null){
272.                 ObjectStat objectStat = minioClient.statObject(StatObjectArgs.builder().bucket(minioBucketEnum.getBucketName()).object(byMd5Val.getMinioFilePath()).build());
273.                 DownloadUtils.downloadFile(response, minioClient.getObject(GetObjectArgs.builder().bucket(minioBucketEnum.getBucketName()).object(byMd5Val.getMinioFilePath()).build())
274.                         , objectStat.name(), objectStat.length(), objectStat.contentType(), true, -1,exportFileName);
275.             }
276.         } catch (Exception e) {
277.             Logger.error("下载文件失败",e);
278.             e.printStackTrace();
279.         }
280.     }
282.     /**
283.      *
284.      * @param response
285.      * @param md5ValOrOldPath 新文件上传则是md5值,旧文件则依然使用旧文件的路径,最终都是通过文件md5找文件
286.      * @throws Exception
287.      */
288.     public static void displayFile(MinioServiceImpl minioService ,MinioBucketEnum minioBucketEnum, HttpServletResponse response, String md5ValOrOldPath) throws Exception {
290.         displayFileByMd5( minioService ,minioBucketEnum,response,checkOutMd5Val(md5ValOrOldPath));
291.     }
293.     /**
294.      * 根据MD5值展示文件
295.      * @param response
296.      * @param md5Val
297.      */
298.     private static void displayFileByMd5(MinioServiceImpl minioService ,MinioBucketEnum minioBucketEnum, HttpServletResponse response, String md5Val) throws Exception {
299.         MinioRecord byMd5Val = minioService.getByMd5Val(minioBucketEnum.getBucketName(),md5Val);
300.         ObjectStat objectStat = minioClient.statObject(StatObjectArgs.builder().bucket(minioBucketEnum.getBucketName()).object(byMd5Val.getMinioFilePath()).build());
301.         String objectName = objectStat.name();
302.         String fileName = objectName.substring(objectName.lastIndexOf("/")+1);
303.         response.setCharacterEncoding("utf-8");
304.         response.setHeader("Content-Type",objectStat.contentType());
305.         response.addHeader("Content-Disposition","inline;filename=" +  URLEncoder.encode(fileName, "UTF-8"));
306.         response.addHeader("Content-Length","" + objectStat.length());
307.         try(
308.                 ServletOutputStream outputStream = response.getOutputStream();
309.                 BufferedInputStream bufferedInputStream = new BufferedInputStream(getObjectInputStream(minioBucketEnum.getBucketName(),objectName));
310.                 BufferedOutputStream bufferedOutputStream = new BufferedOutputStream(outputStream);
311.         ){
312.             int lenth;
313.             byte[] bytes = new byte[1024];
314.             while ((lenth=bufferedInputStream.read(bytes,0,bytes.length))!=-1){
315.                 bufferedOutputStream.write(bytes,0,lenth);
316.             }
317.             bufferedOutputStream.flush();
319.         }catch (Exception e){
320.             Logger.error("下载失败objectname:"+objectName,e);
321.         }
323.     }
325.     /**
326.      *
327.      * @param name
328.      * @param md5Val
329.      * @return
330.      */
331.     private static String getOtherName(String name,String md5Val){
332.         try{
333.             String preFix = name.substring(0,name.lastIndexOf("/")+1);
334.             if(!name.contains(".")){
335.                 return preFix+md5Val;
336.             }
337.             String suffix = name.substring(name.lastIndexOf("."));
338.             return preFix+md5Val+suffix;
339.         }catch (Exception e){
340.             //最起码把md5的值返回作为文件名
341.             return md5Val;
342.         }
343.     }
345.     /**
346.      * 文件下载,可以下载到本地某个地址
347.      * @param targetFilaPath 目标文件
348.      * @param md5ValOrOldPath 要下载到的目标文件地址,文件如果已经存在就无法下载
349.      * @throws Exception
350.      */
351.     public static void loadObject(MinioBucketEnum minioBucketEnum, String targetFilaPath, String md5ValOrOldPath) throws Exception{
353.         loadOBbjectByMD5(minioBucketEnum,targetFilaPath,checkOutMd5Val(md5ValOrOldPath));
354.     }
355.     /**
356.      * 文件下载,可以下载到本地某个地址
357.      * @param targetFilePath 要下载到的目标文件地址,文件如果已经存在就无法下载
358.      * @throws Exception
359.      */
360.     private static void loadOBbjectByMD5(MinioBucketEnum minioBucketEnum, String targetFilePath, String md5Val) throws Exception {
361.         if(StringUtils.isBlank(targetFilePath)){
362.             return ;
363.         }
364.         MinioRecord byMd5Val = minioService.getByMd5Val(minioBucketEnum.getBucketName(),md5Val);
365.         if(byMd5Val==null){
366.             return ;
367.         }
368.         File file = new File(targetFilePath);
369.         if(file.exists()){
370.             return ;
371.         }
372.         file.createNewFile();
373.         loadOBbjectByMD5(minioBucketEnum,new FileOutputStream(file),md5Val);
374.     }
376.     /**
377.      *
378.      * @param os
379.      * @param md5ValOrOldPath 新文件上传则是md5值,旧文件则依然使用旧文件的路径,最终都是通过文件md5找文件
380.      * @throws Exception
381.      */
382.     public static void loadObject(MinioBucketEnum minioBucketEnum, OutputStream os, String md5ValOrOldPath) throws Exception{
383.         //先判断是不是32位的md5值
385.         loadOBbjectByMD5(minioBucketEnum,os,checkOutMd5Val(md5ValOrOldPath));
386.     }
388.     /**
389.      * 看下传入参数是否是md5值,为md5值则直接返回..如果是旧文件系统保留的文件路径,需要看下迁移的文件中是否有过该文件,有则返回该文件的实际md5值
390.      * 虽然可能会查两次数据库,不过问题不大,这表数据并不大
391.      * @param md5ValOrOldPath
392.      * @return
393.      */
394.     private static String checkOutMd5Val(String md5ValOrOldPath){
395.         //先判断是不是32位的md5值
396.         if(StringUtils.isBlank(md5ValOrOldPath)){
397.             return "";
398.         }
399.         if(md5ValOrOldPath.length()!=32||md5ValOrOldPath.contains(".")||md5ValOrOldPath.contains("/")||md5ValOrOldPath.contains("\")){
400.             String code = MD5Util.md5HashCode32Str(md5ValOrOldPath);
401.             MinioRecord byOldPath = minioService.getByOldPathMD5(code);
402.             if(byOldPath==null){
403.                 return "";
404.             }
405.             md5ValOrOldPath = byOldPath.getMd5Val();
406.         }
407.         return md5ValOrOldPath;
408.     }
410.     /**
411.      * 文件下载
412.      * @param os 目标输出流
413.      * @throws Exception
414.      */
415.     private static boolean loadOBbjectByMD5(MinioBucketEnum minioBucketEnum, OutputStream os, String md5Val)throws Exception{
416.         if(StringUtils.isBlank(md5Val)||os==null){
417.             return false;
418.         }
419.         MinioRecord byMd5Val = minioService.getByMd5Val(minioBucketEnum.getBucketName(),md5Val);
420.         if(byMd5Val==null){
421.             return false;
422.         }
423.         try(
424.                 BufferedInputStream bufferedInputStream = new BufferedInputStream(getObjectInputStream(minioBucketEnum.getBucketName(),byMd5Val.getMinioFilePath()));
425.                 BufferedOutputStream bufferedOutputStream = new BufferedOutputStream(os);
426.         ){
427.             int lenth;
428.             byte[] bytes = new byte[1024];
429.             while ((lenth=bufferedInputStream.read(bytes,0,bytes.length))!=-1){
430.                 bufferedOutputStream.write(bytes,0,lenth);
431.             }
432.             bufferedOutputStream.flush();
433.             return true;
434.         }catch (Exception e){
435.             Logger.error("下载失败objname:"+byMd5Val.getMinioFilePath(),e);
436.             throw e;
437.         }
438.     }
439.     /**
440.      * true存在
441.      * @param bucketName
442.      * @param name
443.      * @return
444.      */
445.     private static boolean objectExist(String bucketName,String name)throws Exception{
446.         try{
447.             ObjectStat objectStat = minioClient.statObject(StatObjectArgs.builder().bucket(bucketName).object(name).build());
448.             if(!StringUtils.isBlank(objectStat.name())){
449.                 return true;
450.             }
451.             return false;
452.         }catch (Exception e){
453.             return false;
455.         }
456.     }
458.     private static final long partSize = 1024*1024*5l;
459.     /**
460.      * 覆盖并上传文件
461.      * @param bucketName
462.      * @param name
463.      * @param inputStream
464.      * @throws Exception
465.      */
467.     /**
468.      * 获取对象流
469.      * @param bucketName
470.      * @param objectName
471.      * @return
472.      */
473.     private static InputStream getObjectInputStream(String bucketName,String objectName) throws Exception{
474.         int count = 3;
475.         for(int i = 0;i<count;i++){
476.             try{
477.                 InputStream object = minioClient.getObject(GetObjectArgs.builder().bucket(bucketName).object(objectName).build());
478.                 return object;
479.             }catch (Exception e2){
480.                 if(i==count-1){
481.                     throw e2;
482.                 }
483.                 TimeUnit.MILLISECONDS.sleep(200);
484.             }
485.         }
486.         return null;
487.     }
488.     /**
489.      * 获取对象流
490.      * @param bucketName
491.      * @param objectName
492.      * @return
493.      */
494.     public static InputStream getObjectInputStreamByMd5Val(String bucketName,String objectName) throws IOException, InvalidKeyException, InvalidResponseException, InsufficientDataException, NoSuchAlgorithmException, ServerException, InternalException, XmlParserException, InvalidBucketNameException, ErrorResponseException {
495.         MinioRecord byMd5Val = minioService.getByMd5Val(bucketName, objectName);
496.         InputStream object = null;
497.         try {
498.             object = minioClient.getObject(GetObjectArgs.builder().bucket(bucketName).object(byMd5Val.getMinioFilePath()).build());
499.         } catch (Exception e) {
500.             e.printStackTrace();
501.             object = minioClient.getObject(GetObjectArgs.builder().bucket(bucketName).object(byMd5Val.getMinioFilePath()).build());
502.         }
503.         return object;
504.     }
506.     /**
507.      * 根据md5值删除
508.      * 新文件上传则是md5值,旧文件则依然使用旧文件的路径,最终都是通过文件md5找文件
509.      * @return
510.      */
511.     public static void deleteObject(MinioServiceImpl minioService,MinioBucketEnum minioBucketEnum, String md5ValOrOldPath) throws Exception{
512.         String md5Val = checkOutMd5Val(md5ValOrOldPath);
513.         MinioRecord byMd5Val = minioService.getByMd5Val(minioBucketEnum.getBucketName(),md5Val);
514.         if(byMd5Val==null){
515.             return;
516.         }
517.         if(byMd5Val.getRemainNum()!=null&&byMd5Val.getRemainNum()<=1){
518.             if(objectExist(minioBucketEnum.getBucketName(),byMd5Val.getMinioFilePath())){
519.                 minioClient.removeObject(RemoveObjectArgs.builder().bucket(minioBucketEnum.getBucketName()).object(byMd5Val.getMinioFilePath()).build());
520.                 minioService.deleteRecord(minioBucketEnum.getBucketName(),md5Val);
521.             }
522.         }else{
523.             Integer remainNum = byMd5Val.getRemainNum();
524.             if(remainNum==null){
525.                 byMd5Val.setRemainNum(1);
526.             }else{
527.                 byMd5Val.setRemainNum(remainNum-1);
528.             }
529.             minioService.updateRemainNum(byMd5Val);
530.         }
531.     }
532.     /**
533.      * 仅供判断该文件是否存在.
534.      * @param minioMd5Value
535.      * @return
536.      */
537.     public static boolean isExist(MinioBucketEnum minioBucketEnum, String minioMd5Value) {
538.         MinioRecord byMd5Val = minioService.getByMd5Val(minioBucketEnum.getBucketName(),minioMd5Value);
539.         if(byMd5Val==null){
540.             return false;
541.         }else{
542.             return true;
543.         }
544.     }
546.     /**
547.      * 返回minio数据库表的记录
548.      * @return
549.      */
550.     public static MinioRecord getMinioRecordByMd5Value(MinioBucketEnum minioBucketEnum, String minioMd5Value){
551.         return minioService.getByMd5Val(minioBucketEnum.getBucketName(),minioMd5Value);
552.     }
553.        
554. }

复制代码

1. package com.sun.minio.util;
3. import org.apache.commons.lang3.StringUtils;
5. public enum MinIoContentType {
6.     PDF("application/pdf"),
7.     STREAM("application/octet-stream"),
8.     IMAGE("image/jpeg"),
9.     VEDIO("video/mp4"),
10.     TEXT("text/html")
11.     ;
12.     public String contentType;
13.     private MinIoContentType(String contentType){
14.         this.contentType = contentType;
15.     }
16.     public static MinIoContentType getContentType(String contentType){
17.         for(MinIoContentType minIoContentType : MinIoContentType.values()){
18.             if(minIoContentType.contentType.equals(contentType)){
19.                 return minIoContentType;
20.             }
21.         }
22.         return STREAM;
23.     }
24.     public static MinIoContentType getContentTypeByFileName(String fileName){
25.         if(StringUtils.isBlank(fileName)){
26.             return STREAM;
27.         }
28.         String substring = fileName.substring(fileName.lastIndexOf("."), fileName.length());
29.         if(StringUtils.isBlank(substring)){
30.             return STREAM;
31.         }
32.         substring = substring.toLowerCase();
33.         if("pdf".equals(substring)){
34.             return PDF;
35.         }
36.         if("png".equals(substring)||"jpg".equals(substring)||"jpng".equals(substring)||"gif".equals(substring)){
37.             return IMAGE;
38.         }
39.         if("mp4".equals(substring)||"avi".equals(substring)||"mkv".equals(substring)||"mov".equals(substring)||"rmvb".equals(substring)
40.                 ||"FLV".equals(substring)||"rmvb".equals(substring)||"rm".equals(substring)){
41.             return VEDIO;
42.         }
43.         if("txt".equals(substring)){
44.             return TEXT;
45.         }
46.         return STREAM;
47.     }
48. }

复制代码

1. package com.sun.minio.util;
3. public enum MinioBucketEnum {
4.     //EMAIL("email"),
5.     //EXCEL("excel"),
6.     //TYPICAL("typical"),
7.     //FIRE_CONTROL("firecontrol"),
8.     //MONTHLY_TEXT("monthlytext");
9.        
10.         VIDEO_FILES("movie");
11.        
12.        
13.     private String bucketName;
14.     private MinioBucketEnum(String bucketName){
15.         this.bucketName = bucketName;
16.     }
17.     public String getBucketName(){
18.         return bucketName;
19.     }
20. }

复制代码

1. package com.sun.minio.util;
3. import java.io.BufferedInputStream;
4. import java.io.FileInputStream;
5. import java.io.FileNotFoundException;
6. import java.io.InputStream;
7. import java.security.MessageDigest;
8. /**
9. * 网上copy的代码,获取文件的32位MD5值
10. */
11. public class MD5Util {
12.     /**
13.      * 保证文件的MD5值为32位
14.      * @param filePath        文件路径
15.      * @return
16.      * @throws FileNotFoundException
17.      */
18.     public static String md5HashCode32(String filePath) throws Exception{
20.         BufferedInputStream bfis = new BufferedInputStream(new FileInputStream(filePath));
21.         return md5HashCode32(bfis);
22.     }
24.     /**
25.      * java计算文件32位md5值
26.      * @param fis 输入流
27.      * @return
28.      */
29.     public static String md5HashCode32(InputStream fis) {
30.         try {
32.             fis.mark(Integer.MAX_VALUE);
33.             //拿到一个MD5转换器,如果想使用SHA-1或SHA-256，则传入SHA-1,SHA-256
34.             MessageDigest md = MessageDigest.getInstance("MD5");
36.             //分多次将一个文件读入，对于大型文件而言，比较推荐这种方式，占用内存比较少。
37.             byte[] buffer = new byte[1024];
38.             int length = -1;
39.             while ((length = fis.read(buffer, 0, 1024)) != -1) {
40.                 md.update(buffer, 0, length);
41.             }
42.             fis.reset();
43.             //转换并返回包含16个元素字节数组,返回数值范围为-128到127
44.             byte[] md5Bytes  = md.digest();
45.             StringBuffer hexValue = new StringBuffer();
46.             for (int i = 0; i < md5Bytes.length; i++) {
47.                 int val = ((int) md5Bytes[i]) & 0xff;//解释参见最下方
48.                 if (val < 16) {
49.                     /**
50.                      * 如果小于16，那么val值的16进制形式必然为一位，
51.                      * 因为十进制0,1...9,10,11,12,13,14,15 对应的 16进制为 0,1...9,a,b,c,d,e,f;
52.                      * 此处高位补0。
53.                      */
54.                     hexValue.append("0");
55.                 }
56.                 //这里借助了Integer类的方法实现16进制的转换
57.                 hexValue.append(Integer.toHexString(val));
58.             }
59.             return hexValue.toString();
60.         } catch (Exception e) {
61.             e.printStackTrace();
62.             return "";
63.         }
64.     }
66.     /**
67.      *字符串经过md5加密成32位
68.      */
69.     public static String md5HashCode32Str(String plainText) {
70.         try {
71.             MessageDigest md = MessageDigest.getInstance("MD5");
72.             md.update(plainText.getBytes());
73.             byte[] md5Bytes  = md.digest();
74.             StringBuffer hexValue = new StringBuffer();
75.             for (int i = 0; i < md5Bytes.length; i++) {
76.                 int val = ((int) md5Bytes[i]) & 0xff;//解释参见最下方
77.                 if (val < 16) {
78.                     /**
79.                      * 如果小于16，那么val值的16进制形式必然为一位，
80.                      * 因为十进制0,1...9,10,11,12,13,14,15 对应的 16进制为 0,1...9,a,b,c,d,e,f;
81.                      * 此处高位补0。
82.                      */
83.                     hexValue.append("0");
84.                 }
85.                 //这里借助了Integer类的方法实现16进制的转换
86.                 hexValue.append(Integer.toHexString(val));
87.             }
88.             return hexValue.toString();
90.         } catch (Exception e) {
91.             e.printStackTrace();
92.             return "";
93.         }
95.     }
96. }

复制代码

1. package com.sun.minio.util;
3. import org.slf4j.Logger;
4. import org.slf4j.LoggerFactory;
5. import org.springframework.util.StringUtils;
7. import javax.servlet.http.HttpServletResponse;
8. import java.io.InputStream;
9. import java.io.OutputStream;
10. import java.net.URLEncoder;
12. public class DownloadUtils {
14.     private static final String JSON_APPLICATION = "application/json";
16.     private static final Logger log = LoggerFactory.getLogger(DownloadUtils.class.getName());
18.     public static boolean downloadFile( HttpServletResponse response, InputStream inputStream
19.             , String objectName, long fileLen, String contentType
20.             , boolean closeInputStream, long maxAge,String exportFileName) throws Exception {
21.         String fileName = StringUtils.isEmpty(exportFileName)?objectName.substring(objectName.lastIndexOf("/")+1):exportFileName;
22.         if (!StringUtils.isEmpty(contentType)) {
23.             response.setContentType(contentType);
24.         } else {
25.             response.setContentType("application/octet-stream");
26.         }
27.         response.setCharacterEncoding("utf-8");
28.         response.setHeader("Content-Disposition", "attachment;filename=" + URLEncoder.encode(fileName, "UTF-8"));
29.         response.setHeader("X-Actual-Content-Length", String.valueOf(fileLen));
30.         cors(response, maxAge);
31.         OutputStream out = response.getOutputStream();
32.         byte[] buffer = new byte[1024];
33.         int len;
34.         try {
35.             while ((len = inputStream.read(buffer)) != -1) {
36.                 out.write(buffer, 0, len);
37.             }
38.         } catch (Exception e) {
39.             log.info("download file error.e=" + e);
40.             return false;
41.         } finally {
42.             if (closeInputStream) {
43.                 inputStream.close();
44.             }
45.             out.flush();
46.             out.close();
47.         }
48.         return true;
49.     }
50.     public static void cors(HttpServletResponse response, long maxAge) {
51.         response.setHeader("Access-Control-Allow-Origin", "*");
52.         response.setHeader("Access-Control-Allow-Methods", "POST, GET, OPTIONS, DELETE, HEAD");
53.         if (maxAge > 0) {
54.             response.setHeader("Access-Control-Max-Age", String.valueOf(maxAge));
55.             response.setHeader("Cache-Control", "max-age=" + maxAge);
56.         }
57.         response.setHeader("Access-Control-Allow-Headers", "*");
58.         response.setHeader("Access-Control-Expose-Headers", "Cache-Control, Accept-Ranges, Content-Encoding, Content-Length, Content-Range, X-Actual-Content-Length, Content-Disposition");
59.     }
60. }

复制代码