用HTTP协议传输媒体文件 学习

摘要:
在渐进式下载中,客户端用户发送流媒体文件的HTTP请求,服务器在收到请求后通过HTTP响应将媒体文件发送给客户端用户。HTTP流技术的主要思想是在服务器端将多速率媒体文件拆分为小的媒体片段。客户端通过HTTP请求小的媒体片段,服务器在收到请求时通过HTTP响应发送媒体片段。确保播放的连续性和流畅性,改善用户体验。流媒体传输采用HTTP协议作为协议栈,主要分为网络层、传输层和应用层。

用HTTP协议传输媒体文件 学习第1张用HTTP协议传输媒体文件可以分两个阶段,第一个阶段是Progressive Download(渐进式下载方式)阶段,第二个阶段是HTTP streaming(HTTP流化)阶段。其中,第一个阶段可以看成第二个阶段的前身。

  • Progressive Download

渐进式下载是一种顺序流式传输,它是一种简单的从HTTP WEB服务器进行文件下载的方式,其中“渐进”指的是用户可以一边下载一边播放,而不需将整个媒体文件下载完毕再播放。在渐进式下载中,客户端用户发送HTTP请求流媒体文件,服务器收到请求之后通过HTTP响应发送媒体文件给客户端用户。客户端与服务器交互过程如图:

用HTTP协议传输媒体文件 学习第2张

从严格意义上讲,这种下载方式不是真正的流式传输,所以它也称为“伪流媒体”,主要原因是它与普通文件下载方式没有本质的区别,不支持实时的流媒体传输,当用户停止播放它仍然继续下载,直到整个媒体文件下载完毕或者播放界面被关闭,下载的媒体文件会被保存在客户端的磁盘上。

  • HTTP streaming

HTTP流化技术的主要思想是在服务器端将多码率的媒体文件分割成一个个小的媒体切片,客户端通过HTTP请求一个个小的媒体切片,服务器收到请求通过HTTP响应发送媒体切片。服务器和客户端交互的过程中,可以由客户端或服务器实时检测网络带宽情况,随时可以切换媒体切片的质量级别(不同码率对应不同质量级别)。保证播放的连续性和流畅性,提升用户体验

用HTTP协议传输媒体文件 学习第3张

采用HTTP协议作为流媒体传输的协议栈,主要分成网络层、传输层和应用层。

用HTTP协议传输媒体文件 学习第4张

在HTTP流化方式中,一个媒体文件有多种码率的版本(可以砸服务器端动态产生也可以静态存储),其中高码率对应较高质量级别,反之亦然。服务器实现媒体文件的切片、容器格式封装等等之后,在服务器和客户端交互的过程中,根据宽带资源的变化,动态的在不同质量级别的媒体文件切片之间切换,这种切换的发起者可以是服务器或者客户端,即有服务器控制的自适应策略和客户端控制的自适应策略。

  • 网络部署

HTTP流化技术在网络部署中不需要假设专有的流媒体服务器,使用标准的HTTP WEB服务器即可,便于大规模部署,而且,因为采用HTTP协议,HTTP流化能很好的支持防火墙的穿越与NAT的转换。

  • 流媒体编码格式

数字化的音频和视频信息携带着大量的数据量,而数据量又是网络传输的敏感因素,因此,在进行网络传输之前,需要对音频和视频进行必要的压缩编码,降低网络传输的压力,目前主流的基于HTTP流化的流媒体技术中,一般采用H.264+AAC的视频和音频编码组合。

H.264的编码分为两层,视频编码层VCL(video coding layer)和网络提取层NAL(network abstraction layer).视频编码层负责对视频数据的编解码,包括运动估计、熵编码等内容;网络提取层负责将编码后的数据进行封装,方便视频数据在异构网络上传输。网络提取层的引入,使得H.264视频编码格式的媒体文件具有较强的网络适应性,能容易地在不同网络上传输。

  • 流媒体文件的容器格式

我们一般说流媒体文件格式或者其后缀名指的就是文件的容器格式,如MP4格式。对于一种容器格式, 可以包含多种不同的轨道,每个轨道可以是压缩编码后的视频、音频或者文本等信息。容器的作用是把压缩编码后的视频和音频数据放在同一个文件的不同轨道,添加一些信息方便同时回放,并且将数据尽可能紧凑的排布。

容器格式一般应包含三个部分:

Header:标记文件类型,音视频码流等基本属性信息。

Index:索引表,视频frame对应的offset,size,timestamp等信息。

Stream:音视频裸数据。

有些容器格式(如AVI)可能没有索引表,但在需要的时候要根据其他信息找到offset和size等信息,自己建立索引表。

MP4文件格式是个十分开放的容器,几乎可以用来描述所有的媒体结构。MP4容器中的媒体格式描述与媒体数据时分开的,并且媒体数据的组织也很自由,不一定要按照时间顺序排列。

用HTTP协议传输媒体文件 学习第5张

图中给出了MP4容器格式的一些主要box,可以看出,MP4容器格式是一种逐级嵌套的容器格式。MP4容器格式由若干个box组成,每个box有类型和长度,可以填充不同的信息或者数据。box可以理解为俄数据对象块,有些box中可以包含其他box,这种box称为contained box。标准的box开头的四个字节(32位)为box size,该大小包括box header 和box body整个box的大小。size 后面紧跟的32位为box type,一般是四个字符,如“ftyp"、”moov"等,每个box都有固定的格式和需要填充的信息。其中ftyp box有且只有一个,不能被其他box包含。该box应该被放在文件的最开始,指示该MP4文件应用的相关信息。moov box同样只有一个,一般情况下,“moov"会紧随"ftyp"出现,一般情况下,moov中会包含1个mvhd和若干个trak。其中mvhd为header box,一般作为moov的第一个子box出现(对于其他container box来说,header box都应作为首个子box出现),trak必须包含一个tkhd和一个mdiz,此外还有很多可选的box.

在所有的box中,填充信息和数据比较多且比较重要的box为stbl box(sample table box),该box包含了sample所有时间和位置的信息,以及sample的编码信息等,是MP4最复杂的box,可以含有stsd,stts,stsz等下一级box.

stsd(sample description box):该box必不可少,包含了数据类型信息和编码的信息,例如:音视频的编码方式、视频的宽和高、音频的声道。

stts(Time to Sample Box):存储了sample的时长信息,描述了sample时序的映射关系,我们通过它可以找到任何时间的sample.

stsz(sample size box): 包含了每个sample的大小信息。

以上box都 属于容器格式的索引表部分,在MP4容器格式中,音视频的裸数据在mdat box中存储。

H.264编码视频流是由一个个NAL(network abstraction Layer)单元组成的,同城一帧视频数据封装在一个或多个NAL单元。

用HTTP协议传输媒体文件 学习第6张

  • 流媒体文件切片

用HTTP协议传输媒体文件 学习第7张

  • 流媒体文件切片

用HTTP协议传输媒体文件 学习第8张

用HTTP协议传输媒体文件 学习第9张

用HTTP协议传输媒体文件 学习第10张

  • 容器格式转换

用HTTP协议传输媒体文件 学习第11张

  • 自适应算法的两种模式

用HTTP协议传输媒体文件 学习第12张

  • HTTP层自适应算法

用HTTP协议传输媒体文件 学习第13张

用HTTP协议传输媒体文件 学习第14张

用HTTP协议传输媒体文件 学习第15张

免责声明:文章转载自《用HTTP协议传输媒体文件 学习》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇Android中实现按钮自动隐藏php如何将图片gif,jpg或mysql longblob或blob字段值转换成16进制字符串!编辑下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

URL编码解决

与其他系统对接时遇到的问题URL中传递认证码,URL默认只允许传递ASCII码中的数据,所以浏览器默认会进行一次编码将%等特殊符号转义后台web服务器收到URL中的参数,会默认进行一次解码,但遇到的问题是参数中含有+号的 会被解码成空格解决办法: 方法一、修改客户端 将客户端带“+”的参数中的“+”全部替换为‍“2B%”,这样参数传到服务器端时就能得到“+...

字节流和字符流转换

任何数据的持久化和网络传输都是以字节形式进行的,所以字节流和字符流之间必然存在转换问题。字符转字节是编码过程,字节转字符是解码过程。io包中提供了InputStreamReader和OutputStreamWriter用于字符和字节的转换。 来看一个小例子: char[] charArr = new char[1]; StringBuffer sb...

基于结构光投影三维重建:格雷码编码与解码

一 单目结构光编码目的 类似于双目,如果把投影仪看成一个逆相机,直到空间中的一点成像平面的位置,就可以知道空间中一点的坐标。 编码的目的:知道打在物体物体表面的光是从投影仪的那个像素发出来的,就知道在投影仪的虚拟成像位置。 二 格雷码的编码与解码 2.1 格雷码vs二进制码 格雷码是一种二进制码,最大的特点是相邻格雷码编码只有一位不同。 所以格雷码解码...

在windows环境里,用Docker搭建Redis开发环境(新书第一个章节)

大家都知道高并发分布式组件的重要性,而且如果要进大厂,这些技术不可或缺。但这些技术的学习难点在于,大多数项目里的分布式组件,都是搭建在Linux系统上,在自己的windows机器上很难搭建开发环境,如果无法搭建开发环境,就无法实际操练,而单靠背理论题,是无法通过面试的。 比如搭建Redis环境,或许可以在windows上下载个版本,但这个版本不是最新的,而...

Docker 容器(container)及资源限制

Container: 既然container是由image运行起来的,那么是否可以理解为container和image有某种关系?先来看张图: 其实可以理解为container只是基于image之后的layer而已,也就是可以通过docker run image创建出一个container出来。 底层技术支持: Container是一种轻量级的虚拟化技术...

大型Java Web项目的架构和部署问题

一位ID是jackson1225的网友在javaeye询问了一个大型Web系统的架构和部署选型问题,希望能提高现有的基于Java的Web应用的服务能力。由于架构模式和部署调优一直是Java社区的热门话题,这个问题引发了很多热心网友的讨论,其中一些意见对其它大型Web项目也有很好的指导意义。在讨论之初jackson1225这样描述了当前的应用的架构和部署方案...