AI摘要
北海のAI

Minio上传大文件

在传统SSO文件上传中Minio在开源社区非常主流的，但是最近Minio社区风评不好，不进行新版本的维护了，但是目前地位还是很高。现在将我之前将一些电影上传到Minio中对于秒传、分片上传、断点续传、预签名直传以及前后端联调的心得体会和踩坑点做一个笔记，如果有问题可以在下方评论区讨论

一、上传

  • 首先前端用户上传视频后会先使用SparkMD5去计算视频的MD5值，然后后端去校验是否存在这个视频，如果存在则直接返回视频的地址
  • 如果不存在则进行判断，如果这个视频小于5MB则不进行分片，直接上传，如果大于5MB则进行分片进行分段上传
  • 在进行分段上传的时候进行预签名直连，不通过先下载到后端然后后端再上传到minio中，而是直接上传到minio中。其中上传每个分片的时候都需要去生成一个预签名的链接进行上传，当最终上传完毕后再进行合并

一、前置准备

  1. 启动minio

    1
    minio server --address :9999 --console-address :9001 目录

  2. 调整文件描述符，增加并发数量

    1
    2
    3
    4
    5
    6
    7
    # 查看
    ulimit -n        # 默认 1024

    # 修改
    sudo vim /etc/security/limits.conf
    * soft nofile 65535
    * hard nofile 65535

二、前端