多文件并行上传方案设计

本文字数：2360字

预计阅读时间：15分钟

下图就是上传整体逻辑，上传逻辑分为三部分，核心上传逻辑由 UploadManager 实现，其他都是偏业务的：

需要注意的是，当视频删除时，需要调用接口告知服务端，这个文件 id 废弃，以及删除已上传文件。

由于视频文件比较大，比较占服务器存储空间，而且不同的 CDN 节点还会存在多个相同的备份，这样存储空间占用更严重。本质上来说，同一份文件在服务器只需要存在一份，所以对于这个问题，我们设计了一套排重逻辑。

在获取上传地址前，我们会计算一份视频文件的 md5，并在上传地址接口传给服务端，服务端会做比对。如果存在相同文件会直接走秒传逻辑，下发一个文件 id，客户端只通过文件 id 更新视频信息，不上传视频文件，这样从业务层就完成了上传流程。

这里需要先分清 task 和分片的概念，每个文件对应一个 task，一个文件会被切为多个分片进行上传。上传方式是表单提交，具体流程如下图：

表单处理起来比较复杂，都是遵循标准格式，大概格式如下：

--boundary
 Content-Disposition: form-data; name="参数名"
 参数值
 --boundary
 Content-Disposition:form-data;name=”表单控件名”;filename=”上传文件名”
 Content-Type:mime type
 要上传文件二进制数据
 --boundary--

其代码实现逻辑如下，代码已脱敏，iOS 项目换一个 Boundary 就可以直接用。

表单开头和结尾都需要添加 Boundary，表示文件的边界，在不同的参数间也需要添加 Boundary，这是固定格式。代码中有一些换行操作，这些换行都是固定格式，不能增加或减少。

- (NSString *)writeMultipartFormData:(NSData *)data parameters:(NSDictionary *)parameters {
    if (data.length == 0) {
        return nil;
    }
    
    NSMutableData *formData = [NSMutableData data];
    NSData *lineData = [@"\r\n" dataUsingEncoding:NSUTF8StringEncoding];
    NSString *boundaryString = [NSString stringWithFormat:@"--%@", Boundary];
    NSData *boundary = [boundaryString dataUsingEncoding:NSUTF8StringEncoding];
    
    // 拼接上传参数
    [parameters enumerateKeysAndObjectsUsingBlock:^(id key, id obj, BOOL *stop) {
        [formData appendData:boundary];
        [formData appendData:lineData];
        NSString *thisFieldString = [NSString stringWithFormat:
                                     @"Content-Disposition: form-data; name=\"%@\"\r\n\r\n%@",
                                     key, obj];
        [formData appendData:[thisFieldString dataUsingEncoding:NSUTF8StringEncoding]];
        [formData appendData:lineData];
    }];
    
    // 拼接上传文件及信息
    [formData appendData:boundary];
    [formData appendData:lineData];
    NSString *thisFieldString = [NSString stringWithFormat:
                                 @"Content-Disposition: form-data; name=\"name\"; filename=\"filename\"\r\nContent-Type: mimetype"];
    [formData appendData:[thisFieldString dataUsingEncoding:NSUTF8StringEncoding]];
    [formData appendData:lineData];
    [formData appendData:lineData];
    [formData appendData:data];
    [formData appendData:lineData];
    [formData appendData: [[NSString stringWithFormat:@"--%@--\r\n", Boundary] dataUsingEncoding:NSUTF8StringEncoding]];
    
    NSString *filePath = [NSString stringWithFormat:@"%@/%ld", self.segmentDocumentPath, self.currentIndex];
    BOOL write = [formData writeToFile:filePath atomically:YES];
    return write ? filePath : nil;
}

- (NSURLSessionUploadTask *)uploadTaskWithRequest:(NSURLRequest *)request 
                     fromFile:(NSURL *)fileURL;
- (NSURLSessionUploadTask *)uploadTaskWithRequest:(NSURLRequest *)request
                       fromData:(NSData *)bodyData;