rtsp协议范例6篇

前言:中文期刊网精心挑选了rtsp协议范文供你参考和学习,希望我们的参考范文能激发你的文章创作灵感,欢迎阅读。

rtsp协议

rtsp协议范文1

ID:GoStop

绰号:邪恶蜘蛛王

姓名:金东猛

生日:1984 年10 月15 日

种族:Undead

曾效力战队:WCB、T.MH、Mouz、NiP、One、eSTRO

状态:退役(时间不详)

个人荣誉:

2005 WEG 第二赛季 亚军

2005 CKCG 中韩对抗赛 亚军

2005 WEG 第三赛季 亚军

2006 IEF 大师赛 亚军

2006 WCG 韩国区 冠军

蜘蛛王

ROC 1.06(ROC即魔兽争霸3:混乱之治),GoStop声名鹊起,虽然对ROC这个时代来说有些晚,但怎么说也怕上了亚洲战网NO.1的位置。虽然师从当时ROC 最强不死MyOnlyStar,但他既没有走像ReX.Jyoung那样双光环大师的道路,也不是WCB_Jackson 式的恐惧魔王围人流,更不是Lucifer的NC秒杀流,他要自创一条道路,一条别人没有走过的路,一条带领地穴恶魔崛起之路。

之前没有用过ZZ(指蜘蛛,下同)吗?有,T-S.Topspeed,但他的战术绝不能称之为ZZ流,他是压40人口(ROC的低维修费界限为40人口),家里竖塔防御,DK(死亡骑士)和ZZ 乘着飞艇MF完岛矿后开矿,然后一路坐飞艇MF,保证MF效率,保证经济,最后高科技什么冰龙憎恶都出来,大决战。而GoStop要的不是这样把ZZ仅仅作为一个过度兵种,而是要当主力兵种来使用!要能成为和狗抗衡的,成为UD主要战术体系的兵种!

可那还是在ROC,没有雕车、没有骷髅、没有钻地,就靠着DK带队,能行吗?路是人走出来的,GoStop坚定地迈出了先行者的步伐。机会终于来了,TFT无疑是最佳契机,新增的元素武装了ZZ流,一下子让ZZ流活了起来,和狗并驾齐驱的时候到了!简直呼之欲出,GoStop开始了Asia BN上的肆虐,在那个遗留着浓重ROC气味的年代,ZZ流像是一股风暴一般,一方面扫除着ROC的残留,一方面让人猝不及防,打惯了狗无法面对ZZ,踩着光环,有各方保障的ZZ让人体会到了比ROC的鹿海更恐怖的HitAnd Run。虽然BN上Sweet 一直压着GoStop雄居榜首,可无法压住ZZ流的影响力。众人都开始研究ZZ流,而中国国内的平台上无论大小UD菜鸟,动不动就是ZZ流,可见GoStop的影响力,人们同时也注意着他,注意着这位以独特的ZZ挤身鬼王行列的男人,注意着他会把地穴恶魔引向何方,注意着他能带着地穴恶魔取得多大的辉煌。

“我开始了War3生涯,并且把我的一切都给了自己喜欢的War3去努力去超过所有的人。我决定做一个职业选手。”

MBCPL3 8强,慨叹Human Master Swain锐不可挡和少年奇才ReiGn的强劲内战,ESWC2004 第5名,望洋兴叹FoV横空出世,谁都知道TFT1.12-1.14时代UD的绝对主导地位,版本对比赛成绩有着重大影响,难道要眼看着有利于UD的版本却被别人捞冠军吗? 1.15、 1.16、1.17……自己仿佛被真空了一般,要无所作为地等着退役的来临么?万年老二WEG2005第二赛季, 主办方终于给了GoStop机会,大展拳脚的时刻到了。GoStop也不是当初那个只会用ZZ的UD了,当他杀入决赛时,眼看GoStop来者不善,众人都替Moon捏一把汗, 虽然Moon依旧保持着2005年从MBC PL5到 WEG第一赛季,再到第二赛季决赛前让人感到不可思议,简直有如神话一般的不败战绩,但官方依旧推测,Moon只有45%的希望胜出,没有1.17 Bug版本,Moon此时NvU也没强到后来几乎也能当一把“打鬼队长”的地步,决赛的确充满了悬念。Moon 依旧开矿,依旧在危险中走过每一步,双方大战5盘,GoStop

也打破了Moon的不败神话,可惜,是2:3落败,没有能够取得冠军……

CKCG,8 强2:0 xiaOt,4 强战2:0Check,又一次面对Moon,GoStop 却被2:0了……

一次失利不算什么,这点失落总是经得起的,况且和以前最好成绩相比,已有了很多突破—还是世界性大赛上。WEG2005第三赛季,作为上届亚军,GoStop理所当然出现在大名单之中,同时出现的还有Lucifer、Moon,以及成为GoStop最后拦路虎的Sweet。

小组赛击败Lucifer,四强击败ElackDuck,虽然最后要对付的是Sweet,但相必GoStop对这次冠军是志在必得了,Moon都已经被淘汰了,Sweet都未必在GoStop的眼里。决赛开始的确如GoStop所料,2:0 领先,进行得很顺利,还有3 个赛点,不出意料的话总能拿下冠军的。可接下来的事情让GoStop越发心惊,Sweet使用和Lucifer对战时用过的,飞艇载灵车阴矿,连搬两盘后,2:2,GoStop依旧有希望,的确,GoStop最后一盘是优势,虽然被逼成这样在夺冠有些难看,但能夺冠总是好的……可惜,最后的结果让GoStop如同做了个噩梦一般,简直比噩梦还难受,成就了Sweet——虽然Sweet对冠军也是如此渴望。

最后Sweet哭了,但不是难过,可能有委屈,更多的是高兴。而在一旁的GoStop没有哭只是低着头,抿着嘴,旁边的女生不知是GS 的Fans 还是谁,说完了以后男主持人

把话筒递GoStop,GoStop 还能说什么呢?

又是亚军,又是亚军!又是看着别人封顶,又是成全了别人,何况是在如此优势的情况下,机会少吗?不少。怪自己没把握住吗?未必,有时是命运太残酷了,给你的机会虽多,你却一个也把握不住,只好眼睁睁地看它从手中流走。GoStop 当时含糊地说了两个词,再也说不下去了,又低下了头,此刻他或许还后悔不该把头发减了,留着长发此刻正好遮挡自己的泪水。

看到这里觉得GoStop真的很可怜,GoStop良久低着头,狠狠地不断抿嘴,他不想像Sweet一样哭出来,难道因为失败者没有资格哭么?实在忍不住了,GoStop猛地把头仰起,不停地眨眼睛,他甚至双手死死地反在背后,就是没有去擦一下眼泪,意思很明显,

他有他的坚强的尊严,他不但不想让眼泪流下来,而且不想让在场所有人知道他很难过。GoStop能做到这样没哭出来已很不容易了,他不可能再说什么,他什么也说不出,他此刻只想找个地方大哭一场……残忍终于没再进行下去。当场所有人都懂的……

悲剧延续,IEF2006,一路击败Lucifer、Susiria等人的GoStop再次来到决赛的赛场,这次他碰上了巅峰期的Sky,1:2惜败,之后也奠定了GoStop 万年老二的称号。

T.MH—One—NiP—Mouz—eSTRO, 是不是所有UD选手中Lucifer的东家找得最好? 那

GoStop当初又何必离开T.MH呢……

rtsp协议范文2

关键词:FPGA;网络摄像头;RTSP;Sobel;异构

中图分类号:TN911 文献标识码:A 文章编号:1009-3044(2016)34-0219-03

Abstract:In order to achieve high-efficiency, high-precision image processing for capturing the video stream of IP camera, a data-driven heterogeneous system with Sobel edge detection is designed to support RTSP protocol.The system can get 1080P, H.264 encoded video streams from sixteen IP cameras at the same time and also can process real-time Sobel edge detection of video streams base on arm from Hisilicon and ZC702 FPGA form Xilinx. Experimental results show that the system has low delay of capturing video streams and can real-time edge detection for a large number of high-definition images at the same time.

Key words:FPGA; IPC; RTSP; Sobel; heterogeneous

1 概述

实时图像处理是实现实时物体检测中的重要一环,其广泛应用于诸多领域,比如先进驾驶辅助系统(Advanced Driver Assistance System, ADAS)、工I机器人、智能安防等。图像处理技术的主要关键点是超高的实时性和结果的准确性。而边缘提取是图像处理中最基础的一步,由Irwin Sobel提出的Sobel算法又是众多边缘检测算法中较简单高效的一种,对噪声具有平滑作用[1],较为适合在嵌入式系统中应用。

异构处理系统是随着计算机技术的飞速发展出现的一种能够突破单一平台发展瓶颈,有效解决能耗高、扩展性低等问题的一种技术。近年来,基于CPU和GPU的异构图像处理系统应用正蓬勃发展。本文实现的Sobel边缘检测的异构系统是一种数据驱动(Data-Drivern)型图像处理应用系统。主要使用现场可编程门阵列(Field Programmable Gate Array, FPGA)对Sobel算法进行硬件实现,并对海思解码芯片hi3536为载体的开发板进行编程,使其能获取到网络摄像头(Internet Protocol Camra,IPC)的实时视频流,为硬件加速器提供数据。该系统的最高性能可达同时对16路1080P、60帧的视频进行边缘提取。

2 Sobel算法

在图像中边缘的像素值会发生显著的变化,表示这一变化的方法就是导数,所以一般我们用来寻找图像边缘的方法是对图像进行求导,即使用一个卷积核对图像进行平面卷积处理,这样可实现图像求导的近似计算。

Sobel边缘检测算法在实现过程中,通过把检测水平边缘和竖直边缘的2个Sobel算子作为卷积核分别与图像中的每个像素点做卷积运算,分别得到该图像在水平方向上的梯度Gx和竖直方向上的梯度Gy。Sobel算子如图1所示。

对于图像上的每一个像素点,结合以上两个卷积处理后的结果可求出该点上的近似梯度:

我们也可以对其做出一个近似的转换:G = |Gx| + |Gy|。

梯度值的大变化预示着图像中内容的显著变化。可设定一个合适的阈值T,如果G≥T 就可以认为该点为边缘点。判别出图像中所有边缘点后,我们可以把输入的灰度图像转换为只包含边缘信息的二值化图像,即图上一点A(x,y),它的梯度值G(x,y)若大于等于阈值T,则将该点的值置为1;反之,则置为0。

2 图像边缘提取异构系统的实现

本异构系统由深圳海思公司的hi3536芯片和Xilinx公司的ZC702型号的FPGA组合搭建而成。hi3536芯片主要负责获取IPC的视频流数据并实时解码,FPGA主要负责对输入的图像进行Sobel算法的加速运算。通过使用本文编写的能够兼容大部分主流IPC的RTSP协议接口,再利用海思hi3536芯片的解码能力,完成最高可同时接收并解码16路H264或H265编码、分辨率为1080P60帧的实时视频流,再把解码后得到的YUV格式图像通过AXI-Stream总线直接传递到FPGA上的Sobel加速处理模块,实现从前端IPC进行数据采集后实时传递给硬件加速模块的完整链路。这样,使得整套系统更方便地接入到监控系统中,大幅提升系统的实用性。该模块整体的架构如图2所示。

2.1 基于ARM的前端数据采集模块

为了更加体现本异构系统的实用性,FPGA上的Sobel加速处理模块的图像输入并不是由上位机选送事先采集好一张或多张图片[2],而是采集于实际环境中的IPC。RTSP(Real Time Streaming Protocol,实时流媒体协议)[3] 是目前监控行业内广泛采用的流媒体协议,所以为了能够把我们的异构系统对接进绝大部分已存在的IPC监控系统,我们选用RTSP协议作为与IPC的对接接口。但由于现存的一些包含RTSP代码的开源项目存在图像延迟较高、图像质量不稳定以及代码可控性较差等问题,所以我们基于文献[3]和Ffmpeg[4]中的RTSP部分,编写了一个RTSP的客户端程序,并主要通过调整视频缓存块(Cache Block)和协议解析速度, 针对1080P视频流的传输延迟进行优化。使用本文编写的RTSP客户端代码,在不损失视频质量和视频流畅度的前提下,相比Ffmpeg等,大大降低了对RTSP协议解析和帧缓存带来的图像延迟,又提高了对视频流获取的可控性。在千兆局域网内,测试同时连接16路1080P、30fps(Frames Per Second,每秒传输帧数)的IPC,所有画面延迟都基本稳定在160ms到175ms之间,配合海思hi3536的强大解码性能,从IPC采集图像数据到传到Sobel加速处理模块,之间的延迟可稳定在200ms以内。

如图3是Ffmpeg中的RTSP客户端、本文中使用的RTSP客户端分别运行在电脑端和ARM端时,三者在画面延迟方面的对比结果。其中,Ffmpeg在使用时,调用了参数“-fflags nobuffer”,不做流缓冲。延迟测试方式为将一台运行着计时秒表的电脑主机A作为信号源接入到一台支持RTSP协议的H.264编码设备上,利用该编码设备将主机A的画面进行网络转播,再由接受测试的三种RTSP客户终端同时接收下视频流数据,各自解码后分别显示在三块显示器上。同时拍摄下三块显示器上的画面以及主机A直接输出的画面,再记录照片中四块显示器上的秒表读数,进行差值分析。由于海思hi3536芯片对H264、H265编码的视频流的高性能解码能力,所以在实际使用中不需要做任何的视频数据缓存,相比于在电脑端运行的本文RTSP客户端,进一步加快了视频流的实时性。

通过网络获取到的视频流是H264或H265编码的原始数据,如果需要对图像进行识别,至少需要把原始数据解码为YUV格式的图像数据。因为海思半导体公司在全球视频监控领域的核心地位[5],这里我们选用基于该公司型号为hi3536的解码专用芯片的开发板,板上具有全双工千兆网口,且对于1080P的图像分辨率最高的解a性能是同时16路、60帧的H.264/H.265实时解码。通过研究海思芯片的SDK(Software Development Kit,软件开发工具包),结合经过交叉编译后的本文中的RTSP客户端函数库,编写了运行在ARM上的可接收IPC视频流的多线程解码程序,同时接收视频流数为可调参数,最大值不能超过16。解码后得到的就是YUV420格式的视频流。由于受限于海思解码芯片的能力,对于本程序,只测试了同时接收16路1080P视频流情况下的图像稳定性和画面延迟。测试结果证明本程序完全可以支持这种使用情况。而由于之后的图像处理需要的是YUV格式的灰度图像数据,本程序的最后部分,是对最多16路解码后的图像数据提取YUV中的Y分量,即亮度分量,将其通过AXI-Stream总线异步发送至FPGA上预先设计好并通过验证的Soble加速处理内核上。该前端数据采集模块整体的架构如图4所示。

2.2 基于FPGA的Sobel硬件加速处理模块

本异构系统在FPGA上实现Sobel边缘检测功能,并且输入图像的大小以及Sobel边缘提取的阈值T都是可配置的。该模块有下列几个主要部分:与ARM数据交互模块,数据接收模块,梯度计算模块和最后的阈值比较输出模块。如图5是Sobel加速处理模块的整体架构框图。各个模块均使用Verilog语言实现[6],并使用Synopsis公司的VCS工具进行功能仿真。该加速模块实现了数据驱动的工作方式,所谓数据驱动,指的是当系统处于工作状态时,只要有数据输入系统,Sobel加速处理模块就能够对输入的数据进行实时处理后输出结果,数据输入停止时,处理工作也会暂停。下面逐个介绍不同的功能模块

2.1.1 FIFO模块

与ARM的数据交互是通过AXI-Stream总线实现的[7],AXI-Stream总线是AXI4总线的简化版,而AXI4总线是由ARM公司研发推出的AMBA(Advanced Microcontroller Bus Architecture)片上总线。AXI-Stream总线由于整个通道只有数据传输通道,而不需要传输地址的通道,所以相对AXI总线来说要简便很多。我们使用AXI-Stream总线向ARM和DDR申请数据,这样就可以大大提高数据的传输效率。并且为了防止数据出现遗漏或者丢失,我们采用FIFO(First-In First-Out,先入先出)存储器去同步数据的信号。

Sobel加速处理模块被设计为数据驱动的工作形式,当系统被配置为工作模式时,只要AXI-Stream总线上有数据传输,加速器模块就会进行计算,这样减少了由上位机的控制和交互的时间成本。

2.1.2 数据排列模块

数据排列(Ram Array)模块用于接收数据并将其分别存放在不同的缓存中,方便后续的梯度计算模块进行数据的读取和并行计算。输入为AXI-Stream总线串行输入的数据流,输出的数据则被调整成便于梯度计算模块进行并行卷积计算的格式。同时,数据排列模块是一个可配置处理图像大小的模块,图像的长宽都可由上位机进行配置,这样使得整个系统处理的图像大小都是可控的。该模块所支持的最大图像分辨率为2048×2048。

2.1.3 梯度计算模块

梯度计算模块是一个进行卷积计算的模块。基于文献[8]中提出的方案,本文使用了并行计算的方式,并采用数据移位(shift)的方法进行乘法计算,左移一位即乘以2,这样可以大量减少硬件资源的使用,大幅提高Sobel边缘检测中水平方向和Q直方向的梯度向量的计算速度。该模块逻辑图如图5(b)所示。所以在这种计算结构下,使用3个时钟周期就可以计算出一个3×3卷积框中最后的梯度值,并将梯度值传输给阈值比较模块进行最后结果的运算。

2.1.4 阈值比较输出模块

从梯度计算模块输出的计算完的梯度值,会在阈值比较模块中与设定好的阈值T进行对比。并且在这个模块中存在一个状态机用于控制输出的值,如果梯度值大于等于阈值T,则输出1;反之输出0。由于卷积的原因,图像的长宽会分别下降1个像素点,所以为了使得上位机收到的还是规整的图片,我们还在这个模块中对这缺失的一行一列进行了补0操作,以保证最后输出图像的尺寸依旧与原图的尺寸相同。

如图6是对本文中的Sobel加速处理模块使用VCS工具进行行为级仿真得出的波形图。

3 结论

图像边缘提取是图像处理、物体识别中很重要的一环,本文以Sobel边缘提取为例,通过利用本文中编写的RTSP客户端协议和基于FPGA实现的Sobel硬件加速器,实现了一个通过网线就可接入到监控系统等各个拥有IPC的网络中,并对高画质视频流进行高实时性高精度的边缘提取的数据驱动型异构系统。本设计采用模块化的方式,且对接IPC的路数、图像分辨率等参数均为可调参数,并专门优化了硬件资源占用率。在实际测试中也达到了设计初时的目标,有助于进一步开发可接入监控系统的人脸识别、车牌识别等物体识别异构系统。

参考文献:

[1] Tsai M Y, Yost M G, Wu C F, et al. Line profile reconstruction: validation and comparison of reconstruction methods[J]. Atmospheric Environment, 2001, 35(28):4791-4799.

[2] 张丽红, 凌朝东. 基于FPGA的Sobel边缘检测应用[J]. 电子技术应用, 2011, 37(8):26-29.

[3] Schulzrinne H, Rao A, Lanphier R. Real Time Streaming Protocol (RTSP)[J]. Rfc, 1998.

[4] Surhone L M, Tennoe M T, Henssonow S F, et al. Ffmpeg[Z]. 2010.

[5] 康毅. 海思IVE技术开启智能视频监控新纪元[J]. 中国公共安全:学术版, 2014(22):204-204.

[6] 夏宇闻. Verilog数字系统设计教程[J]. 2003(6):51-51.

rtsp协议范文3

关键词:流媒体技术; 传输协议; 广播传输

具有传输稳定、信号传输质量高等优点的传统广播传输系统,如电缆、光纤、微波和卫星等,它们在广播传输系统中发挥了巨大的作用,但是其传输灵活性差与系统造价高等缺点限制了广播传输系统的发展。此时,流媒体技术随着网络技术与数字技术的发展应运而生,具有造价低廉和较强灵活性等优点,较好地克服了传统广播传输系统的缺点,但是由于是新兴技术,在质量和稳定性上仍然存在不足之处,不过这会随着技术进步而较好地得到解决。因此流媒体具有较好的发展前景。

1 流媒体技术简介

1.1何为流媒体技术及其原理

流媒体(Streaming Media)技术包含狭义和广义两种说法。狭义上来说,流媒体技术是一种具有非传统式的下载回放媒体格式的技术,能从互联网上获得多媒体流,如音频、视频等,具有边获取边播放的可以有效缩短时间的优点。广义上来说,流媒体技术是一种流媒体系统,可使视频、音频等多媒体流形成连续而稳定的传输流和回放流的一系列方法、协议、技术的总称。是一种新兴的网络传输技术,在互联网上实时顺序地传输和播放视频、音频等多媒体内容的连续时基数据流,流媒体技术包括流媒体数据采集、视频、音频编码、解码、存储、传输、播放等领域。它能从Internet上获取音频和视频等连续的流媒体,客户可边接收边播放。浏览者可边下载边收听、收看多媒体文件,而无需等整个文件下载完毕后才能播放,使时间大大减少,且不占用客户硬盘空间。

流媒体技术的原理及过程简介如下:首先,根据用户选择的某一流媒体服务后,web服务器与Web浏览器之间通过HTTP/TCP协议交换控制信息,以便从原始信息中检索所需要传输的实时数据;然后,客户机上的web浏览器会启动程序A/V Helper,使用HTTP从Web服务器检索相关实时数据等参数,并对Helper程序进行初始化,A/V服务器及A/V Helper程序立即运行实时流控制协议RTSP,以交换所需的A/V传输控制信息,并通过使用RTP/UDP协议传输给A/V客户程序A/V数据,这些数据一旦抵达用户客户端,A/V客户程序即可播放输出音视频或者动画。

1.2 流媒体技术的优点

流媒体技术具有以下优点。

 1.2.1 节约时间

相对于传统媒体格式来说,流媒体格式可使音频、视频文件分成一个个数据包存在服务器中,然后服务器再按顺序将此数据包向客户发出,然后客户再以流的形式接受,而且只要有数据达到客户的服务器上,即可解析并进行播放,因此有效节省等待时间,换句话来说,就是不需要等到完全下载后才可观看。因而用于广播传输系统中,更加有利于广播传输的速度,更加受人们欢迎。

 1.2.2 对系统缓存要求低。

每个包的传输时间会因为异步传输的断断续续而产生不一致的情况,动态变化的互联网会产生数据选择不同路由的可能性,很可能产生后传输的包先到,而先传输的数据后到的现象。因此即使是流媒体技术,也需要缓冲来补偿抖动和延迟的时间,从而保证各个包的正确传输顺序。但是相对而言,流媒体技术不需将所有数据内容都保存在缓冲中,所以对系统缓存的容量明显降低。

 1.2.3 流媒体技术具有RTSP实时流协议

RTSP实时流协议建立在实时传输协议RTP和实时传输控制协议RTCP上,提供了一起基于互联网的一整套数据流式服务,使得实时传送点播数据的可能性加大。并且提供了诸如快进、快退、暂停、定位、支持单播和组播等音视频的流式录音机模式远程控制功能。它提供多种服务功能,在操作和语法上与HTTP相似,因此更能被人们所接受。正因为RTSP实时流协议具有多方面的优点,从而使得流媒体技术的应用范围扩大。正因为RTSP实时流协议,使得互联网上更适合实时传输音视频和动画,也增加了在广播传输中的应用。

2  流媒体在广播传输中的应用

在互联网上,流媒体具有十分广泛的应用,因此各大电台网站都采用了网上流式媒体形式的音频直播。流媒体技术开始在很多领域,包括在广播传输领域替代传统的传输方式,这都得益于流媒体传输的灵动性、可节约时间、对系统缓存要求低等优点。目前已经使用了流媒体技术的美国有线新闻网,在阿富汗和伊拉克战争期间现场报导战争音视频,这给战地记者第一时间取得战争的直接画面,这对流媒体技术的发展带来好处,但由于这项技术刚使用不久,图像质量并不能达到人们要求。

随着基于Real System网上音频直播流媒体系统的开发,使越来越多的听众喜欢在互联网上收听广播电台的节目,Real System是由服务器端Real Server、媒体内容制作工具Real Producer和客户端软件Client Software这三部分组成。用于传送不同多媒体文件的流媒体文件包括以下四种:RealAudio、RealVideo、RealFlash和RealPresentation。基于Real System网上音频直播流媒体系统采用SureStream技术,这种技术的网络自适应性比较强,可以自动并持续调整数据流来满足不同网络带宽的要求。在用媒体内容制作工具Real Producer制作流式媒体播放文件时,先将实时输入或源文件变为流式文件,然后将此文件上传到服务器中供用户下载点播。除了Real System之外,微软公司还开发了MPEG-4音视频压缩技术,以此实现了质量较高的双向音视频传输,从而实现了远程机房的视频监控和广播电台的备份音视频传输。

随着技术的发展和应用软件的逐步开发,流媒体技术会在广播传输系统中得到越来越广泛的应用。

3  结语

流媒体技术在不同领域的应用越来越广泛,在广播传输系统中的应用也无例外。流媒体技术将随着音视频压缩算法和网络数字技术的进一步发展而逐步得到改进和完善。目前正随着无线高速网络技术的发展和流媒体技术灵活性的增强使流媒体的应用更加广泛。而且值得我们关注的是这一技术将在未来给我们提高户外实时采访和异地直播等更加灵活的广播传输手段。

参考文献

[1] 宋玉红.浅析流媒体技术[J].吉林省经济管理干部学院学报,2009,23(1):63-66.

[2] 聂希芸.流媒体技术浅析[J].价值工程,2011,30(11):174.

[3] 李斌宁.流媒体技术及其应用浅析[J].教学与管理(理论版),2005 (8):93-94.

[4] 三维流媒体技术的发展及其对媒体传播的影响[J].新闻界,2009 (5):19-21.

rtsp协议范文4

关键词:安卓;WiFidisplay;RTP实时传输

中图分类号:TP319 文献标识码:A 文章编号:16727800(2013)009010403

作者简介:陈子安(1987-),男,中国科学技术大学软件学院硕士研究生,研究方向为音视频编解码、嵌入式Android系统。

1WiFidisplay sink端基本架构

1.1WiFidisplay概述

WiFidisplay技术,是基于WiFi direct实现用户设备之间实时共享资源(图片、视频、音乐等)的技术。这种共享无需任何硬件连接(HDMI线),即可通过WiFi实时显示在电视、投影等大屏幕上。

从技术层面来看,WiFidisplay平台的应用主要是通过一个发送端(即Source,可以传送多媒体内容的WiFi终端,例如智能手机或平板电脑)和一个接收端(即Sink,可以接收并显示多媒体内容的WiFi设备,例如平板电视或投影机产品),建立一个点对点的连接,从而将手机拍摄的照片、影片或是网络上的高清视频内容完整地播放在拥有大屏幕的电视上;相反地,用户也可以通过手机或平板,直接观看电视或电脑屏幕上的内容[1] 。

由图1所示,android4.2在framework层通过wifip2p Manager提供了对wifidirect的支持。WFDSink是java层的实现,通过调用WifiP2pManager并在WifiP2pManager中加入detect 具有流媒体传输能力的source的功能,完成source端和sink端wifi连接的建立[2] 。WFDRTSPClient通过实现RTSP协议完成与source端的session建立。Session是一个基于RTP的会话,主要完成source端和sink端的能力交互,检测各自允许支持的最高音频传输格式和视频传输格式,并确认source端和sink端均支持HDCP协议(Highbandwidth Digitalcontent Copy Protection)。

source端通过建立的session将实时流媒体(或抓取的界面)以TS流的方式(transport stream)传送到sink端,sink端的WfdRealtime player 对传送的TS流先进行demux处理(为了提高传输过程的带宽利用率,音视频的传输都会在发送端先进行编码复用,因此接收端需要解复用),然后分别送到AV decoder里面进行解码,最后通过渲染并送入android的HWC Surface Flinger和Audio Flinger里呈现出来。

2WiFidisplay sink 端具体实现

Sink端系统主要分为WFDClient、Wifidirect_service、Wfdsession、WFDAVmanager、wfdrtspclient几个模块。

WFDClient 负责与Service端进行交互,查询WiFi display的状态,发送建立Session,连接Source的指令以及与用户的信息交互。

Wifidirect_service主要用于建立于Source端的wifi_direct连接,实现物理层的通信。Wfdsession将会在WiFidirect建立并完成Capatibility Negotiation之后建立流媒体传输的Session,建立Session的过程需要WFDrtspclient与Source端的rtsp通信。

WFDAVmanager与Android的Surfaceflinger和Audioflinger直接talk,实现WFD udp的数据接收,TS流解析,AV decoder以及AV renderer。

整个sink端的系统流程如图2所示。

2.1RTP/RTSP流传输协议实现

本文选用开源框架live555作为RTP/RTSP协议的实现框架。但由于live555不能观看实时采集的视频,不支持子目录的播放,因此在live555框架的基础上增加了live source、H264LiveStreamParser和H264VideoLiveMediaServerSubsession3个模块,如图3所示。

LiveSouree是实现doGetNextFrame接口的实时视频流的Source。由图3所示,LiveSouree继承了MediaSouree的功能,同时doGetNextFrame是MediaSource的纯虚函数,它允许其他的模块通过这个接口得到帧。

H264Videosink要求H264LivestreamParser通过MediaSource的接口每隔一段固定的时间段就传递数据给它。H264Livestreamparser是Livesouree的helper模块,它实现了doGetNextFrame,并且在doGetNextFrame的功能被其他模块调用时获得数据,比如RTPSink。H264 Livestream Parser为了达到与source行为一起工作的目的,还实现其他的细节处理功能。

H264VideoLiveMediaServerSubsession是一个用于管理Souree和Sink的类。

当一个用户连接到Media服务端时,H264 VideoLiveMediaServerSubsession对象被创建,直到连接断开才消失,当用户要从一个指定时间开始播放时,可以调用Seekstreamsource方法定位到指定的帧。H264 VideoLiveMediaServerSunsession创建的时候要创建LiveSource作为视频源。

2.2Demux (解复用)实现

Android并不支持对于MPEG TS流(MPEG定义的实时流传输标准)的复用和解复用功能[3] 。而根据MPEG TS的协议要求,TS流的Media Data传输都是以复用后的Packet形式存在。因此在实现Sink端的时候,必须对Source端传输过来的TS Packet进行Demux(解复用)。

解复用的实现方法是遵循MPEG TS协议的包格式进行字段解析。TS流信息都是二进制编码,可根据标准中定义的包格式中各标识符字段的含义提取节目表(PAT表、PMT表),从而解析出各节目对应的音视频流。

Demux实现的基本流程是:先接收一个负载为PAT(Program Association Table)的数据包,在整个数据包里找到一个PMT包的ID。然后再接收一个含有PMT的数据包,在这个数据包里找到有关填入数据类型的ID[4] 。之后就在接收到的TS包里找含有这个ID的负载内容,这个内容就是填入的信息。得到了PMT表的信息,就可以区分出TS Packet中的每一段数据分别属于哪一个节目的哪一路视频或者音频,这样就可以根据这些节目的信息分别将同属于一路节目的视频和音频送入对应的Decoder进行解码。

2.3AV decoder

AV decode 将实现对上述支持的音视频格式的解码。由于Android自带的Open Core不能支持上述的所有音视频格式的解码,需要自己编写Video Decoder和Audio Decoder。

Audio Decoder主要完成Audio的解码工作,包括与Audiotrack,Audioflinger的交互,Audio Decoder需要根据被解码的音频文件的格式、比特率,以及Audio Track的Buffer、Demux向Audio Decoder传送数据的速度等等一系列参数确定可用的最小Buffer Size。Audio Flinger向上对Audio Decoder提供调用接口,向下通过与Driver通信控制相应硬件,对于不同的格式,应该采取硬件解码还是软件解码,通过Audio Flinger获取硬件参数后如何确定解码算法,以及他们之间的Pipline交互,都是需要实现的部分。

Audio Decoder 首先获得编码的音频数据流,然后以帧为单位解码每一帧数据,这里需要根据对应音频的帧格式实现对应的变换算法,完成频谱包络解码,同时进行比特分配对尾数进行反量化处理,然后对频谱包络解码进行指数变换并和反量化后的信号合成滤波器组进行滤波,采样恢复,得到PCM数据[5] 。再将PCM数据划分声道,并做均衡、划分音量等级等等一系列处理,然后调用Player播放。在播放过程中要完成与Player的交互,包括每一路音频的速率控制、暂停、快进、快退、回放等操作Decoder的相应处理。

Video Decoder 跟Audio Decoder的流程大致类似,不同的是Video Deocder除了需要与Player交互实现Video的播放各种功能以外,还需要与Graphics交互实现画面的呈现,WiFidisplay需要播放实时流,它是一个界面的完整展现[6] 。Source端的界面抓取后传输过来,经过Video Decoder解码数据之后要送入图形图像处理模块进行显示,Video Decode需要根据图像输出的分辨率、刷新率等实时地调整送入Surface Flinger的数据速率,以及马赛克的处理、丢帧的处理等等。

3结语

WiFidisplay新一代的智能移动平台将彻底脱离“有线”传输高清数字信号的时代。本文基于ARM架构的嵌入式平台实现了WiFidisplay Sink端的功能,经过测试可与当前市面上主流的Source端配对良好并实时地传输Source发送的多媒体数据,具有良好的用户体验和可扩展性。

参考文献:

[1]宋碧莲,吴华平. 流媒体技术研究及其系统平台的设计与比较[J].计算机应用研究,2004,21(1): 204207.

[2]ROB GORDON.Essential JNI:Java native interface,prentice hall PTR[J].12 million words,1998.

[3]ABHYUDAI SHANKER,SOMYA LAL.Android porting concepts[C]//2011 3rd.International Conference on Electronics Computer Technology,Kanyakumari.2011:916.

[4]陆其明. Directshow开发指南[M].北京:清华大学出版社,2010.

rtsp协议范文5

1、bt文件的打开方法:1.打开迅雷软件(没有迅雷的可以先下载迅雷软件);2.点击左上角处的新建按钮,弹出新建任务对话框;3.点击“打开BT种子文件”选项,打开选择种子文件对话框;4.找到种子所在的位置,选择种子文件,点击打开!出现BT任务,文件设置选项对话框,选择文件下载的存储位置,和所须下载的文件。在复选框前打勾的表示要下载的文件。之后点击“立即下载”按钮;5.文件开始下载(注意事项:如果迅雷文件已设置好直接关联BT种子文件,可以直接找到种子文件双击,跳到步骤4)。

2、bt的解释:BitTorrent(简称BT)是一个文件分发协议,它通过URL识别内容并且和网络无缝结合。它对比HTTP/FTP协议,MMS/RTSP流媒体协议等下载方式的优势在于,一个文件的下载者们下载的同时也在不断互相上传数据,使文件源(可以是服务器源也可以是个人源,一般特指第一个做种者或种子的第一者)可以在增加很有限的负载之情况下支持大量下载者同时下载,所以BT等P2P传输方式也有”下载的人越多,下载的速度越快“这种说法。

(来源:文章屋网 )

rtsp协议范文6

视频分辨率演进和UHD

UHD(超高清)是高清(HD)、全高清(Full HD)的下一代技术。其分辨率在业界有多种定义,按照国际电信联盟(ITU)的“超高清UHD”标准的建议,将屏幕的物理分辨率达到3840×2160(4K×2K)及以上的显示称之为超高清,是普通Full HD(1920×1080)宽、高的2倍,面积的4倍。而严格意义上的4K分辨率(4096×2160)则由“数字影院创导(DCI)”组织提倡。另外,4K分辨率还包括Full Aperture 4K(4096×3112)、Academy 4K(3656×2664)等多种标准。上述多种分辨率技术通常情况下统一称作4K分辨率。

业界大规模用于商业用途的视频分辨率以标清(SD)为代表,传统数字影院则以2K为代表。4K的概念早在上世纪90年代就已经提出,但在经历了SD标清和HD高清的多年发展之后,4K分辨率的视频在2014年才逐步走进大众的视线。

HEVC编码和4K网络带宽要求

由于UHD的超高分辨率要求,传统主流的视频压缩标准协议H.264(AVC)在面对UHD视频时局限性凸显,而面向更高清晰度、更高帧率、更高压缩率视频应用的HEVC(H.265)协议标准应运而生,刚好满足UHD的发展要求。

HEVC协议标准于2013年2月正式在业界,相对于H.264,HEVC(H.265)在很多方面有革命性的变化。HEVC的技术亮点主要在于其使用更加灵活的编码结构来提高编码效率,包括编码单元(Coding Unit)、预测单元(Predict Unit)和变换单元(Transform Unit)。

业界专家经反复质量比较和测试证明,在相同的图像质量下,相比于H.264,通过H.265编码的视频大小将减少大约39%-44%。

虽然上述结果令人欣喜,但真正的4K影片不但要考虑分辨率,同时需要考虑4K技术更高的色彩空间覆盖率(数字量化从8bit提升到10-12bit)、更高的帧率(从30fps最高提高到120fps),因此在采用同等H.264编码情况下,真正的能够达到4K影片质量效果的影片码率将是普通HD影片码率的12-15倍左右。考虑HEVC的高压缩效率,专业4K影片的码率将达到40Mbps-50Mpbs,在降低一定的帧率和损失部分色彩清晰度的情况下,4K影片的码率可以降低到30Mbps。由于视频编码码率的波动性和互联网网络带宽的不稳定性,一般意义上要想达到上述要求的互联网网络带宽要求达到50Mbps,这给4K影片的普及带来一定的门槛。

中兴通讯EyeWill 2.0提供商用保障

中兴通讯10多年来致力于为用户提供高视频质量和丰富体验的IPTV/OTT端到端整体解决方案,建设了目前全球最大的IPTV/OTT系统平台,其EyeWill品牌的端到端系统解决方案采用了先进的融合CDN、开放性强的业务管理平台、适配性高的终端客户端软件,通过灵活的CDN多级架构部署、高效的在线转码能力、综合的多样化业务管理、丰富的客户端内容展现等,系统具备高性能、高可靠性和高集成度等特点,为支撑UHD的高质量内容服务保驾护航。

中兴通讯EyeWill系统满足端到端的各类视频应用,支持UHD的端到端点播内容服务,包括以下功能:业务平台支持对4K内容套餐的灵活设置;内容管理系统支持4K内容的引入;内容分发网络(CDN)支持多种协议方式的4K内容服务,主要有RTSP和HTTP协议;电子节目单系统(EPG)支持对4K内容的展现,可以设置4K专区独立运营;多款型号的机顶盒支持4K内容的解码和播放;Android智能移动终端的多屏客户端支持HEVC内容的解码,充分降低网络带宽要求。

除了上述的功能外,EyeWill 2.0系统采用多种先进技术以满足UHD的商用需求,如低码超清、网络状况识别和UHD码率自适应、兼容多种编码格式等。

端到端低码超清技术

中兴通讯推出低码超清解决方案,引入编码优化算法,在原来HEVC编码的UHD基础上,进一步压缩码率,使较高质量的4K内容能够压缩到15Mbps-20Mbps左右,一般质量的4K内容甚至可以压缩到8Mbps-12Mbps,为终端用户在较低带宽基础上观看较高质量4K内容创造了条件。

端到端支持码率自适应和动态编码技术

EyeWill 2.0支持多终端类型接入和多屏互动,同时支持在线转码/编码服务能力,可以根据终端的网络带宽质量,实现不同码率内容的实时在线编码和服务。对于UHD内容,将来在具备直播内容源的条件下,中兴通讯EyeWill 2.0系统同样支持对UHD内容在保持相同原有分辨率的情况下,输出不同质量和码率的内容。

端到端兼容H.264/H.265编码以及RTSP/HLS服务能力

EyeWill 2.0系统同时兼容传统的H.264编码的内容和UHD的H.265编码。在内容服务上,也能同时支持RTSP和HLS的服务。因此,EyeWill 2.0系统兼容运营商原有由中兴通讯建设的IPTV或OTT系统,这为运营商低成本改造现网网络支持UHD创造了条件。

上一篇马的诗句

下一篇大众传播学

相关精选