[转载自简书] ASPNetCore上传大文件碰到的一些问题总结

上传大文件碰到不少问题，总结一下。

先介绍一下功能：ajax上传文件到NetCore的web api接口，

安装在Linux服务器的服务端通过Nginx接受到后再存到文件服务器上。

如果文件不大，这个过程没有任何问题，如果超过几十M甚至几百M就碰见不少问题。

1. 超时问题（timeout）

这个和NetCore无关，是ajax请求忘记设置timeout参数值，在网页端加上即可。

2. Request body too large 错误

Post的body大概超过30m就会报这个错误，完整的错误是Microsoft.AspNetCore.Server.Kestrel.Core.BadHttpRequestException: Request body too large
解决的方法有二种，一种是在请求的函数前加Attribute

[HttpPost("upload")]
[RequestSizeLimit(100_000_000)] //最大100m左右
//[DisableRequestSizeLimit]  //或者取消大小的限制
public async Task<string> UploadFiles(ModelTest test)
{

还有一种方法是全局增加请求body的大小或者不限body的大小。

public static IWebHost BuildWebHost(string[] args)
{
    var config = new ConfigurationBuilder()
    .AddCommandLine(args)
    .Build();
    return WebHost.CreateDefaultBuilder(args).UseConfiguration(config)
        .UseStartup<Startup>().UseKestrel(options =>
        {
          //所有controller都不限制post的body大小
            options.Limits.MaxRequestBodySize = null;
        })
        .Build();
}

3. Multipart body length limit 134217728 exceeded错误

Post的body大概超过100多M会碰到这个错误，完整的错误信息是 System.IO.InvalidDataException: Multipart body length limit 134217728 exceeded. 。
解决的方法是在startup.cs添加代码：

public void ConfigureServices(IServiceCollection services)
{
    services.AddMvc();
    //解决Multipart body length limit 134217728 exceeded
    services.Configure<FormOptions>(x =>
    {
        x.ValueLengthLimit = int.MaxValue;
        x.MultipartBodyLengthLimit = int.MaxValue; // In case of multipart
    });
}

4. Nginx限制上传大小的错误

通过Nginx端口映射，请求会先经过Nginx，也需要额外再设置一个参数client_max_body_size，否则上传大文件也会有问题

location ^~ /sample2/ {
    rewrite  ^/sample2/(.*)$ /$1 break;          
    proxy_pass http://localhost:5556;
    client_max_body_size    300m; #最大接受300m文件以内的
}

5. 上传七牛大文件问题

使用七牛的SDK上传一般小文件很简单，但是上传大文件就需要使用分片上传了，否则会返回错误-256错误
以下是正常上传和分片上传的2个函数，大家可以参考

//适应一般小文件
public HttpResult uploadByte(string saveKeys, byte[] data)
{
      Config.AutoZone(AK, bucket, false);
      Mac mac = new Mac(AK, SK);
      string saveKey = saveKeys;
      PutPolicy putPolicy = new PutPolicy();
      // 如果需要设置为"覆盖"上传(如果云端已有同名文件则覆盖)，请使用 SCOPE = "BUCKET:KEY"
      putPolicy.Scope = bucket + ":" + saveKey;
      //putPolicy.Scope = bucket;
      // 上传策略有效期(对应于生成的凭证的有效期)          
      putPolicy.SetExpires(100000);
      string jstr = putPolicy.ToJsonString();
      string token = Auth.CreateUploadToken(mac, jstr);
      FormUploader fu = new FormUploader();
      HttpResult result = fu.UploadData(data, saveKey, token);
      return result;

}
//适用于大文件上传
public HttpResult UploadBigFile(string saveKeys, byte[] data)
{
      Config.AutoZone(AK, bucket, false);
      // 这个示例单独使用了一个Settings类，其中包含AccessKey和SecretKey
      // 实际应用中，请自行设置您的AccessKey和SecretKey
      Mac mac = new Mac(AK, SK);
      // 断点记录文件，可以不用设置，让SDK自动生成，如果出现续上传的情况，SDK会尝试从该文件载入断点记录
      // 对于不同的上传任务，请使用不同的recordFile
      PutPolicy putPolicy = new PutPolicy();
      // 如果需要设置为"覆盖"上传(如果云端已有同名文件则覆盖)，请使用 SCOPE = "BUCKET:KEY"
      putPolicy.Scope = bucket + ":" + saveKeys;
      //putPolicy.Scope = bucket;
      // 上传策略有效期(对应于生成的凭证的有效期)          
      putPolicy.SetExpires(100000);
      string token = Auth.CreateUploadToken(mac, putPolicy.ToJsonString());
      // 包含两个参数，并且都有默认值
      // 参数1(bool): uploadFromCDN是否从CDN加速上传，默认否
      // 参数2(enum): chunkUnit上传分片大小，可选值128KB,256KB,512KB,1024KB,2048KB,4096KB
      ResumableUploader ru = new ResumableUploader(false, ChunkUnit.U1024K);
      // ResumableUploader.UploadFile有多种形式，您可以根据需要来选择
      //
      // 最简模式，使用默认recordFile和默认uploadProgressHandler
      // UploadFile(localFile,saveKey,token)
      // 
      // 基本模式，使用默认uploadProgressHandler
      // UploadFile(localFile,saveKey,token,recordFile)
      //
      // 一般模式，使用自定义进度处理(可以监视上传进度)
      // UploadFile(localFile,saveKey,token,recordFile,uploadProgressHandler)
      //
      // 高级模式，包含上传控制(可控制暂停/继续 或者强制终止)
      // UploadFile(localFile,saveKey,token,recordFile,uploadProgressHandler,uploadController)
      // 
      // 支持自定义参数
      //var extra = new System.Collections.Generic.Dictionary<string, string>();
      //extra.Add("FileType", "UploadFromLocal");
      //extra.Add("YourKey", "YourValue");
      //uploadFile(...,extra,...)
      //最大尝试次数(有效值1~20)，在上传过程中(如mkblk或者bput操作)如果发生错误，它将自动重试，如果没有错误则无需重试
      int maxTry = 10;
      // 使用默认进度处理，使用自定义上传控制            
      UploadProgressHandler upph = new UploadProgressHandler(ResumableUploader.DefaultUploadProgressHandler);
      HttpResult result = ru.UploadData(data, saveKeys, token, upph);
      return result;
}