html+js超大视频上传解决方案

摘要:
需求:项目要支持大文件上传功能,经过讨论,初步将文件上传大小控制在500M内,因此自己需要在项目中进行文件上传部分的调整和配置,自己将大小都以501M来进行限制。

需求:项目要支持大文件上传功能,经过讨论,初步将文件上传大小控制在500M内,因此自己需要在项目中进行文件上传部分的调整和配置,自己将大小都以501M来进行限制。

第一步:

前端修改

由于项目使用的是BJUI前端框架,并没有使用框架本身的文件上传控件,而使用的基于jQuery的Uploadify文件上传组件,在项目使用的jslib项目中找到了BJUI框架集成jQuery Uploadify的部分,这部分代码封装在bjui-all.js文件中,

在bjui-all.js文件中的全局变量定义中有以下部分代码,这就是定义的有关于上传的Uploadify控件的重要变量:

//文件上传对象

functionFileUploader(fileLoc, mgr)

{

var_this =this;

this.id = fileLoc.id;

this.ui = { msg:null, process:null, percent:null, btn: { del:null, cancel:null,post:null,stop:null}, div:null};

this.isFolder =false;//不是文件夹

this.app = mgr.app;

this.Manager = mgr;//上传管理器指针

this.event = mgr.event;

this.Config = mgr.Config;

this.fields = jQuery.extend({}, mgr.Config.Fields, fileLoc.fields);//每一个对象自带一个fields幅本

this.State =this.Config.state.None;

this.uid =this.fields.uid;

this.fileSvr = {

pid:""

, id:""

, pidRoot:""

, f_fdTask:false

, f_fdChild:false

, uid: 0

, nameLoc:""

, nameSvr:""

, pathLoc:""

, pathSvr:""

, pathRel:""

, md5:""

, lenLoc:"0"

, sizeLoc:""

, FilePos:"0"

, lenSvr:"0"

, perSvr:"0%"

, complete:false

, deleted:false

};//json obj,服务器文件信息

this.fileSvr = jQuery.extend(this.fileSvr, fileLoc);

//准备

this.Ready =function()

{

this.ui.msg.text("正在上传队列中等待...");

this.State =this.Config.state.Ready;

this.ui.btn.post.click(function() {

_this.ui.btn.post.hide();

_this.ui.btn.del.hide();

_this.ui.btn.cancel.hide();

_this.ui.btn.stop.show();

if(!_this.Manager.IsPostQueueFull()) {

_this.post();

}

else{

_this.ui.msg.text("正在上传队列中等待...");

_this.State = _this.Config.state.Ready;

$.each(_this.ui.btn,function(i, n) { n.hide(); });

_this.ui.btn.del.show();

//添加到队列

_this.Manager.AppendQueue(_this.fileSvr.id);

}

});

this.ui.btn.stop.click(function() {

_this.stop();

});

this.ui.btn.del.click(function() {

_this.stop();

_this.remove();

});

this.ui.btn.cancel.click(function() {

_this.stop();

_this.remove();

//_this.PostFirst();//

});

};

this.svr_error =function()

{

alert("服务器返回信息为空,请检查服务器配置");

this.ui.msg.text("向服务器发送MD5信息错误");

//this.ui.btn.cancel.text("续传");

this.ui.btn.stop.hide();

this.ui.btn.cancel.show();

};

this.svr_error_same_name =function() {

this.ui.msg.text("服务器存在同名文件");

this.ui.btn.stop.hide();

this.ui.btn.cancel.show();

};

this.svr_create =function(sv)

{

if(sv.value ==null)

{

this.Manager.RemoveQueuePost(this.fileSvr.id);

this.svr_error();return;

}

if(!sv.ret) {

this.Manager.RemoveQueuePost(this.fileSvr.id);

this.svr_error_same_name();return;

}

varstr = decodeURIComponent(sv.value);//

this.fileSvr = JSON.parse(str);//

//服务器已存在相同文件,且已上传完成

if(this.fileSvr.complete)

{

this.post_complete_quick();

}//服务器文件没有上传完成

else

{

this.ui.process.css("width",this.fileSvr.perSvr);

this.ui.percent.text(this.fileSvr.perSvr);

this.post_file();

}

};

this.svr_update =function() {

if(this.fileSvr.lenSvr == 0)return;

varparam = { uid:this.fields["uid"], offset:this.fileSvr.lenSvr, lenSvr:this.fileSvr.lenSvr, perSvr:this.fileSvr.perSvr, id:this.id, time:newDate().getTime() };

$.ajax({

type:"GET"

, dataType:'jsonp'

, jsonp:"callback"//自定义的jsonp回调函数名称,默认为jQuery自动生成的随机函数名

, url:this.Config["UrlProcess"]

, data: param

, success:function(msg) {}

, error:function(req, txt, err) { alert("更新文件进度错误!"+ req.responseText); }

, complete:function(req, sta) { req =null; }

});

};

this.svr_remove =function()

{

varparam = { uid:this.fields["uid"], id:this.fileSvr.id, time:newDate().getTime() };

$.ajax({

type:"GET"

, dataType:'jsonp'

, jsonp:"callback"//自定义的jsonp回调函数名称,默认为jQuery自动生成的随机函数名

, url:this.Config["UrlDel"]

, data: param

, success:function(msg) { }

, error:function(req, txt, err) { alert("删除文件失败!"+ req.responseText); }

, complete:function(req, sta) { req =null; }

});

};

this.post_process =function(json)

{

this.fileSvr.lenSvr = json.lenSvr;//保存上传进度

this.fileSvr.perSvr = json.percent;

this.ui.percent.text("("+json.percent+")");

this.ui.process.css("width", json.percent);

varstr = json.lenPost +" "+ json.speed +" "+ json.time;

this.ui.msg.text(str);

};

this.post_complete =function(json)

{

this.fileSvr.perSvr ="100%";

this.fileSvr.complete =true;

$.each(this.ui.btn,function(i, n)

{

n.hide();

});

this.ui.process.css("width","100%");

this.ui.percent.text("(100%)");

this.ui.msg.text("上传完成");

this.Manager.arrFilesComplete.push(this);

this.State =this.Config.state.Complete;

//从上传列表中删除

this.Manager.RemoveQueuePost(this.fileSvr.id);

//从未上传列表中删除

this.Manager.RemoveQueueWait(this.fileSvr.id);

varparam = { md5:this.fileSvr.md5, uid:this.uid, id:this.fileSvr.id, time:newDate().getTime() };

$.ajax({

type:"GET"

, dataType:'jsonp'

, jsonp:"callback"//自定义的jsonp回调函数名称,默认为jQuery自动生成的随机函数名

, url: _this.Config["UrlComplete"]

, data: param

, success:function(msg)

{

_this.event.fileComplete(_this);//触发事件

_this.post_next();

}

, error:function(req, txt, err) { alert("文件-向服务器发送Complete信息错误!"+ req.responseText); }

, complete:function(req, sta) { req =null; }

});

};

this.post_complete_quick =function()

{

this.fileSvr.perSvr ="100%";

this.fileSvr.complete =true;

this.ui.btn.stop.hide();

this.ui.process.css("width","100%");

this.ui.percent.text("(100%)");

this.ui.msg.text("服务器存在相同文件,快速上传成功。");

this.Manager.arrFilesComplete.push(this);

this.State =this.Config.state.Complete;

//从上传列表中删除

this.Manager.RemoveQueuePost(this.fileSvr.id);

//从未上传列表中删除

this.Manager.RemoveQueueWait(this.fileSvr.id);

//添加到文件列表

this.post_next();

this.event.fileComplete(this);//触发事件

};

this.post_stoped =function(json)

{

this.ui.btn.post.show();

this.ui.btn.del.show();

this.ui.btn.cancel.hide();

this.ui.btn.stop.hide();

this.ui.msg.text("传输已停止....");

if(this.Config.state.Ready ==this.State)

{

this.Manager.RemoveQueue(this.fileSvr.id);

this.post_next();

return;

}

this.State =this.Config.state.Stop;

//从上传列表中删除

this.Manager.RemoveQueuePost(this.fileSvr.id);

this.Manager.AppendQueueWait(this.fileSvr.id);//添加到未上传列表

//传输下一个

this.post_next();

};

this.post_error =function(json)

{

this.svr_update();

this.ui.msg.text(this.Config.errCode[json.value]);

this.ui.btn.stop.hide();

this.ui.btn.post.show();

this.ui.btn.del.show();

this.State =this.Config.state.Error;

//从上传列表中删除

this.Manager.RemoveQueuePost(this.fileSvr.id);

//添加到未上传列表

this.Manager.AppendQueueWait(this.fileSvr.id);

this.post_next();

};

this.md5_process =function(json)

{

varmsg ="正在扫描本地文件,已完成:"+ json.percent;

this.ui.msg.text(msg);

};

this.md5_complete =function(json)

{

this.fileSvr.md5 = json.md5;

this.ui.msg.text("MD5计算完毕,开始连接服务器...");

this.event.md5Complete(this, json.md5);//biz event

varloc_path = encodeURIComponent(this.fileSvr.pathLoc);

varloc_len =this.fileSvr.lenLoc;

varloc_size =this.fileSvr.sizeLoc;

varparam = jQuery.extend({},this.fields,this.Config.bizData, { md5: json.md5, id:this.fileSvr.id, lenLoc: loc_len, sizeLoc: loc_size, pathLoc: loc_path, time:newDate().getTime() });

$.ajax({

type:"GET"

, dataType:'jsonp'

, jsonp:"callback"//自定义的jsonp回调函数名称,默认为jQuery自动生成的随机函数名

, url:this.Config["UrlCreate"]

, data: param

, success:function(sv)

{

_this.svr_create(sv);

}

, error:function(req, txt, err)

{

_this.Manager.RemoveQueuePost(_this.fileSvr.id);

alert("向服务器发送MD5信息错误!"+ req.responseText);

_this.ui.msg.text("向服务器发送MD5信息错误");

_this.ui.btn.cancel.show();

_this.ui.btn.stop.hide();

}

, complete:function(req, sta) { req =null; }

});

};

this.md5_error =function(json)

{

this.ui.msg.text(this.Config.errCode[json.value]);

//文件大小超过限制,文件大小为0

if("4"== json.value

||"5"== json.value)

{

this.ui.btn.stop.hide();

this.ui.btn.cancel.show();

}

else

{

this.ui.btn.post.show();

this.ui.btn.stop.hide();

}

this.State =this.Config.state.Error;

//从上传列表中删除

this.Manager.RemoveQueuePost(this.fileSvr.id);

//添加到未上传列表

this.Manager.AppendQueueWait(this.fileSvr.id);

this.post_next();

};

this.post_next =function()

{

varobj =this;

setTimeout(function() { obj.Manager.PostNext(); }, 300);

};

this.post =function()

{

this.Manager.AppendQueuePost(this.fileSvr.id);

this.Manager.RemoveQueueWait(this.fileSvr.id);

if(this.fileSvr.md5.length > 0 ||this.fileSvr.lenSvr > 0)

{

this.post_file();

}

else

{

this.check_file();

}

};

this.post_file =function()

{

$.each(this.ui.btn,function(i, n) { n.hide();});

this.ui.btn.stop.show();

this.State =this.Config.state.Posting;//

this.app.postFile({ id:this.fileSvr.id, pathLoc:this.fileSvr.pathLoc, pathSvr:this.fileSvr.pathSvr,lenSvr:this.fileSvr.lenSvr, fields:this.fields });

};

this.check_file =function()

{

//this.ui.btn.cancel.text("停止").show();

this.ui.btn.stop.show();

this.ui.btn.cancel.hide();

this.State =this.Config.state.MD5Working;

this.app.checkFile({ id:this.fileSvr.id, pathLoc:this.fileSvr.pathLoc });

};

this.stop =function()

{

$.each(this.ui.btn,function(i, n) { n.hide();});

this.svr_update();

this.app.stopFile({ id:this.fileSvr.id });

};

//手动停止,一般在StopAll中调用

this.stop_manual =function()

{

if(this.Config.state.Posting ==this.State)

{

this.svr_update();

this.ui.btn.post.show();

this.ui.btn.stop.hide();

this.ui.btn.cancel.hide();

this.ui.msg.text("传输已停止....");

this.app.stopFile({ id:this.fileSvr.id ,tip:false});

this.State =this.Config.state.Stop;

}

};

//删除,一般在用户点击"删除"按钮时调用

this.remove =function()

{

this.Manager.del_file(this.fileSvr.id);

this.app.delFile(this.fileSvr);

this.ui.div.remove();

if(this.State !=this.Config.state.Complete)this.svr_remove();

};

}

upload:{uploadLimit:5,fileSizeLimit:31744,removeTimeout:0.8}

以上三个变量代表的含义是:

uploadLimit:表示上传文件个数的限制,5表示文件上传个数限制是5个

fileSizeLimit:表示上传文件大小的限制,31744单位是KB,也就是表示31M

removeTimeout:表示移除文件的时间限制

继续查找使用到这些变量的地方,看到了文件大小超出限制等

了解了BJUI前端框架对于上传大文件的限制,可以这样使用,增大文件上传大小和数量,可以按照如下进行修改,我们在bjui-all.js文件看到uploadLimit属性和fileSizeLimit属性的限制,我们在jsp文件中可以这样进行替换,这里使用的是覆盖原则,重新定义uploadLimit属性和fileSizeLimit属性,覆盖bjui-all.js文件的默认值设置。

bjui-all.js文件的uploadLimit属性和fileSizeLimit属性对应到jsp文件中的属性就应该这样写,data-upload-limit属性和data-file-size-limit属性,只需要在后面改写为data-upload-limit=“800”和data-file-size-limit=“5131264”即可,一定要注意这里的单位是KB,以上数字表示501M。

关于Uploadify控件属性可以参考这篇文章也可以直接看官网文档:

http://blog.ncmem.com/wordpress/2019/08/07/java超大文件上传与下载/

属性名称

默认值

说明

auto

true

设置为true当选择文件后就直接上传了,为false需要点击上传按钮才上传 。

buttonClass

按钮样式

buttonCursor

‘hand’

鼠标指针悬停在按钮上的样子

buttonImage

null

浏览按钮的图片的路径 。

buttonText

‘SELECT FILES’

浏览按钮的文本。

checkExisting

false

文件上传重复性检查程序,检查即将上传的文件在服务器端是否已存在,存在返回1,不存在返回0

debug

false

如果设置为true则表示启用SWFUpload的调试模式

fileObjName

‘Filedata’

文件上传对象的名称,如果命名为’the_files’,PHP程序可以用$_FILES['the_files']来处理上传的文件对象。

fileSizeLimit

0

上传文件的大小限制 ,如果为整数型则表示以KB为单位的大小,如果是字符串,则可以使用(B, KB, MB, or GB)为单位,比如’2MB’;

如果设置为0则表示无限制

fileTypeDesc

‘All Files’

这个属性值必须设置fileTypeExts属性后才有效,用来设置选择文件对话框中的提示文本,如设置fileTypeDesc为“请选择rar doc pdf文件”

fileTypeExts

‘*.*’

设置可以选择的文件的类型,格式如:’*.doc;*.pdf;*.rar’。

formData

JSON格式上传每个文件的同时提交到服务器的额外数据,可在’onUploadStart’事件中使用’settings’方法动态设置。

height

30

设置浏览按钮的高度 ,默认值

itemTemplate

false

用于设置上传队列的HTML模版,可以使用以下标签:
instanceID – Uploadify实例的ID
fileID – 列队中此文件的ID,或者理解为此任务的ID
fileName – 文件的名称
fileSize – 当前上传文件的大小
插入模版标签时使用格式如:${fileName}

method

Post

提交方式Post或Get

multi

true

设置为true时可以上传多个文件。

overrideEvents

设置哪些事件可以被重写,JSON格式,如:’overrideEvents’ : ['onUploadProgress']

preventCaching

true

如果为true,则每次上传文件时自动加上一串随机字符串参数,防止URL缓存影响上传结果

progressData

‘percentage’

设置上传进度显示方式,percentage显示上传百分比,speed显示上传速度

queueID

false

设置上传队列容器DOM元素的ID,如果为false则自动生成一个队列容器。

queueSizeLimit

999

队列最多显示的任务数量,如果选择的文件数量超出此限制,将会出发onSelectError事件。
注意此项并非最大文件上传数量,如果要限制最大上传文件数量,应设置uploadLimit。

removeCompleted

true

是否自动将已完成任务从队列中删除,如果设置为false则会一直保留此任务显示。

removeTimeout

3

如果设置了任务完成后自动从队列中移除,则可以规定从完成到被移除的时间间隔。

requeueErrors

false

如果设置为true,则单个任务上传失败后将返回错误,并重新加入任务队列上传。

successTimeout

30

文件上传成功后服务端应返回成功标志,此项设置返回结果的超时时间

swf

‘uploadify.swf’

uploadify.swf文件的相对路径。

uploader

uploadify.php

后台处理程序的相对路径。

uploadLimit

999

最大上传文件数量,如果达到或超出此限制将会触发onUploadError事件。

width

120

设置文件浏览按钮的宽度。

第二步:

后端修改

由于项目后端使用的Spring Boot,本身也就是使用的Spring MVC文件上传部分,Spring MVC使用的是已经对Servlet文件上传封装了的MultipartResolver接口及其相关实现类和一些相关的类,具体的可以看Spring MVC文件上传源码部分,认为Spring源码还是需要读的,我们只要在Spring Boot启动类中注入这个Bean,或者自行写一个WebConfig配置类,注入一些Web相关的Bean即可,这样Spring Boot启动就会加载配置类,也需要自己写拦截器和全局AOP切面,去捕捉文件上传大小超过限制的异常处理等

基于Spring MVC文件上传组件MultipartResolver接口(核心),使用其中的CommonsMultipartResolver(实现了MultipartResolver接口)这个实现类,CommonsMultipartResolver中的maxUploadSize属性是它继承的抽象父类CommonsFileUploadSupport,这个抽象类其中的一个属性是FileUpload类,而这个类又继承自FileUploadBase这个抽象类,其中它的private long sizeMax = -1;就是maxUploadSize属性的最终设置地方。-1表示文件上传大小没有限制,但是我们一般都会设置一个限制值,这里设置的是210763776,这个值的单位是字节,我们将它设置为525336576字节,也就是501M的大小限制。

修改完以上前端和后端,提交修改的代码到git上即可。

第三步:

Nginx配置

进入到项目部署发布所在的Linux下,进入nginx服务器所安装的目录,

进入到nginx服务器所安装的目录

进入到nginx服务器目录下的conf目录

查看nginx.conf配置文件内容中的client_max_body_size配置的大小,这里设置的是300M。

使用vi或者vim打开nginx.conf配置文件,修改client_max_body_size的大小为501M,保存即可

进入到nginx服务器下的sbin目录下,我们使用./nginx -t查看配置文件是否成功使用,然后使用./nginx -s reload重启Nginx服务器即可。

第四步:

Tomcat配置

由于项目使用的是Spring Cloud,自然使用Spring Boot,我们这个项目还是使用外置的Tomcat作为他的服务器,便于我们对Tomcat服务器进行优化和设置。

进入到项目使用的Tomcat服务器的目录

进入到指定项目使用的Tomcat服务器的目录

进入到Tomcat服务器下的conf配置目录中

看到server.xml配置文件后

先行查看Tomcat服务器的配置,其中两个属性对于这次是比较重要的一个是connectionTimeout这个连接超时时间设置以及默认的maxPostSize属性的设置

使用vi或者vim打开server.xml配置文件,修改connectionTimeout的大小为2000000,这个属性的单位是毫秒,换算之后大概是半个小时,我们配置缺省的maxPostSize属性的值,默认情况下它的值是2097152,它的单位是字节,也就是2M的大小,修改完保存即可

修改完服务器之后,使用发布工具重新从git上拉取最新的代码和部署发布,重新启动脚本即可完成修改,再次尝试大文件上传,功能基本实现。

以上需要注意的是maxPostSize属性在各个Tomcat版本中的不同,可以参考我写的这篇文章:http://blog.ncmem.com/wordpress/2019/08/07/java超大文件上传与下载/

欢迎入群一起讨论:374992201

免责声明:文章转载自《html+js超大视频上传解决方案》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇每日技术:npm模块安装机制【转】IDEA 2017破解 license server激活下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

Linux| |对于UDP的学习

# 前序 UDP(用户数据报协议)没有连接的,是面向数据报的,是不可靠 # 套接字就是IP地址+端口号 IP地址:4字节 端口号:2字节,也就是说范围是0~65536 端口号分为 知名端口号 0--1023:http,ssh,ftp,telnet等一些协议端口号都是固定的,对于操作系统来说是不能对其进行分配的 一些固定的端口号 ssh服务器,使用22端口...

SQL Server 连接字符串和身份验证

在做数据开发的时候,常常需要用到数据库连接字符串,很多时候都不知道连接字符串中每个字段的具体含义,今天就在这里总结一下,方便以后使用。下面就用一个简单的例子开始 Data Source=(local); Database=WebDB; User ID=WebUser; Password=WebUser; pooling=true; min pool siz...

【MyBatis】 MyBatis入门

1、MyBatis简介 MyBatis是这个框架现在的名字,而此框架最早的名字是IBatis,其名字的含义是“internet”、“abatis”两个单词的组合,是在2002年的时候开始的一个开源项目,在2010年6月16日Apache将项目交与Google进行管理,更名MyBatis。所以2010年之后,MyBatis框架逐渐成为主流,比Hiberna...

ZooKeeper

目录 一、ZooKeeper简介 分布式应用程序 分布式应用程序的好处 分布式应用程序的挑战 Apache ZooKeeper 意味着什么? ZooKeeper的优点 二、Zookeeper基础 ZooKeeper的体系结构 分层命名空间 Znodes 类型 会话 监视 三、Zookeeper工作流ZooKeeper集合的节点 四、Zo...

老vue项目webpack3升级到webpack5全过程记录(一)

背景 19年新建的vue项目,使用的是webpack3,随着项目的积累,组件的增多导致本地构建,线上打包等操作速度极慢,非常影响开发效率和部署效率,基于此问题,本次对webpack及相关插件进行了优化和升级。本博文分为2篇,第 1 篇 会直接附上可运行的代码(去除了一些业务代码配置),直接粘贴复制即可使用(注意是基于vue2.0项目原配置基础上的修改哦,在...

文件上传漏洞(File Upload)

简介 File Upload,即文件上传漏洞,通常是由于对用户上传文件的类型、内容没有进行严格的过滤、检查,使得攻击者可以通过上传木马,病毒,恶意脚本等获取服务器的webshell权限,并进而攻击控制服务器,因此文件上传漏洞带来的危害常常是毁灭性的。简单点说,就是用户直接或者通过各种绕过方式将webshell上传到服务器中进而执行利用。例如,如果你的服务器...