iOS下WebRTC音视频通话(一)

摘要:
在iOS下做IM功能时,难免都会涉及到音频通话和视频通话。但是利用WebRTC技术,即使一个人也能够实现效果不错的音视频通话。WebRTCandtheEarlyAPIWebRTC代理中的各种枚举状态P2P传输和ICE穿越过程介绍其实iOS中WebRTC的处理过程与Web端的处理过程除了API命名不同,过程基本是一致的。

在iOS下做IM功能时,难免都会涉及到音频通话和视频通话。QQ中的QQ电话和视频通话效果就非常好,但是如果你没有非常深厚的技术,也没有那么大的团队,很难做到QQ那么快速和稳定的通话效果。
但是利用WebRTC技术,即使一个人也能够实现效果不错的音视频通话。本篇介绍WebRTC的基础概念。

WebRTC介绍

WebRTC,名称源自网页实时通信(Web Real-Time Communication)的缩写,是一个支持网页浏览器进行实时语音对话或视频对话的技术,是谷歌2010年以6820万美元收购Global IP Solutions公司而获得的一项技术。
WebRTC(Web Real-Time Communication)项目的最终目的主要是让Web开发者能够基于浏览器(ChromeFireFox…)轻易快捷开发出丰富的实时多媒体应用,而无需下载安装任何插件,Web开发者也无需关注多媒体的数字信号处理过程,只需编写简单的Javascript程序即可实现。但是经过多年的打磨,WebRTC现在已经可以在windows,linux,mac,android,iOS等过个平台中使用。
WebRTC可以除了可以用来做音频通话、视频通话,还可以用来做视频会议。
其他关于WebRTC的介绍可以参考:百度百科-WebRTC 以及 WebRTC官网

WebRTC 过程

WebRTC 利用RTCPeerConnection可以建立点对点高效、稳定的音频、视频流传输。但是在进行点对点的流传输之前,它依然还需要利用服务器来做一些准备工作。而准备工作需要用到的东西就比较多了,比如STUN服务器、TURN服务器、ICE(NAT和防火墙穿透)、信令传输,相互之间的信令交换完毕,就会发送实时音视频留给对方。
进行音视频通话的完整过程:
1、首先设置好STUN服务器、和TURN服务器,然后将STUN服务器和TURN服务器包装成RTCICEServer对象,保存进数组备用。
2、利用上一步的数组创建RTCPeerConnection连接。
3、为RTCPeerConnection添加RTCMediaStream,而RTCMediaStream内包含视频和音频轨迹,只是做一些配置,然后WebRTC内部按照你的配置做音频、视频的采集。如果你只为RTCMediaStream添加音轨,就是做音频通话;同时添加音轨和视频轨迹,则是做视频通话;只添加视频轨迹,则只能看到视频画面,没有声音。(这些都是在采集端设置)
4、为视频轨迹设置渲染的容器,便于开始音视频通话后,将实时视频画面渲染到视图上。(如果是音频通话则没有视频轨迹,就不需要渲染)
5、发起方创建Offer,创建完成后会返回一个本地SessisonDescription(简称sdp,其实就是一些媒体和网络相关的元数据信息),然后为RTCPeerConnection设置本地sdp(RTCPeerConnection需要设置远程sdp和本地sdp完成后才能进行点对点的流传输)。
6、将本地sdp信息设置完成后,将本地sdp发送给对方(这个过程就是讲本地offer信令发送给对方)。
7、接收方收到offer信令之后,重复上面的1、2、3、4,然后将接收到的offer sdp设置为自己的远程sdp,然后再创建一个Answer。同样的创建完成后会返回一个SessisonDescription,将这个sdp设置为RTCPeerConnection的本地sdp,设置完成后再将answer发送给发起方。
8、发起方收到answer后,将answer sdp设置为RTCPeerConnection的远程sdp。
9、然后双方就开始互相发送多媒体流数据,整个音视频通话就完成了。

  • STUN服务器、TURN服务器地址其实就是个url而已:
    stun:stun.l.google.com:19302turn:numb.viagenie.ca,其中STUN服务器和TURN服务器可以在自家的服务上创建,STUN、TURN服务器可以有多个,做备用。
  • 配置穿墙服务器是为了实时多媒体流的传输,而穿墙过程都在ICE这个框架内部做了处理,只需要设置好打洞的服务以及一些回调即可。
  • 除了上面那些服务器外,还需要一些额外的服务器用来发现用户,比如XMPP服务,主要是为了维护用户的关系以及保持其在线、离线等状态。
  • WebRTC框架内不提供信令服务,因此信令信息的发送和接收处理需要我们自己去处理。处理的方式也有很多种,比如利用XMPP的的发送和接收消息的机制,将信令信息发送给对方;也可以用Http网络将信令消息发送给对方;还可以利用WebSocket将信息发送给对方。

先大致了解WebRTC交互的过程,便于后面理解代码。
下一篇我会编写一个在同路由器 的局域网内进行视频通话的Demo。

关于WebRTC概念性的理解下面有几篇文章,文章内也有一些链接都是很好的资料:
使用WebRTC搭建前端视频聊天室——入门篇
使用WebRTC搭建前端视频聊天室——信令篇
WebRTC的RTCDataChannel
虽然以上三篇主要是讲Web前端的WebRTC使用,但是过程和概念归纳的非常好,可以多读几遍。
WebRTC and the Early API
WebRTC代理中的各种枚举状态
P2P传输和ICE穿越过程介绍

其实iOS 中WebRTC的处理过程与Web端的处理过程除了API命名不同,过程基本是一致的。
重要的是通过编写代码,然后对照代码的每一步去思考它这样做是为了干啥。

Have Fun!

免责声明:文章转载自《iOS下WebRTC音视频通话(一)》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇Android 多分辨率自适应总结split命令详解下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

WebRTC学习(三)WebRTC设备管理

一:WebRTC设备管理 (一)重要API,用于获取音视频设备 其中返回的ePromise结果,是一个Promise对象。 Promise对象的结构体:MediaDevicesInfo  deviceID:是设备唯一标识符ID label:是设备的名字(可读的) kind:设备的种类(音频输入/输出两种,视频输入/输出两类) groupID:同一个设备...

RTC与WebRTC有什么区别

RTC(Real-time Communications),实时通信,是一个正在兴起的风口行业,经过短短一年的时间,已经有很多玩家进入了这个行业,最典型的应用就是直播连麦和实时音视频通信。但是,很多开发者对一些概念还是有混淆的,比如RTC与WebRTC,RTC与直播,RTC与IM。 一、RTC和WebRTC有什么区别? 实时通信(RTC)最容易和Web...

PeerJS 0.1.7:一个用于浏览器内P2P的WebRTC封装器

Michelle Bu与Eric Zhang在3月6日发布了PeerJS 0.1.7,它封装了WebRTC。后者是W3C倡议的旨在促进浏览器内P2P通信的一种技术。 尽管WebSocket的作用发展迅速,但PeerJS代表的是之前由服务器组织数据传输的方式有了根本性转变。 Bu说:“WebSocket和 WebRTC数据通道看起来一样——都支持二进制数据,...

Google WebRtc Android 使用详解(包括客户端和服务端代码)

转自:https://zhuanlan.zhihu.com/p/82446482 1、Google Webrtc介绍 WebRTC(Web Real-Time Communication)实现了基于网页的视频会议,标准是WHATWG 协议,目的是通过浏览器提供简单的javascript就可以达到实时通讯(Real-Time Communications (...

记录webrtc在火狐浏览器上的不出流问题

目的:在两个浏览器之间通过信令服务器建立P2P连接,实现实时音视频通话。 过程:修改的是janus的例子,不过现在基本上没有janus的影子了。浏览器A建立ws连接信令服务器获取idA,B建立ws连接信令服务器获取idB,B发送携带idA的绑定指令。两端绑定,目前A发送给信令服务器的消息转发到B,B发送给信令服务器的消息转发给A。 接下来就是A和B之间发送...

WebRTC通信流程

WebRTC是HTML5支持的重要特性之一,有了它,不再需要借助音视频相关的客户端,直接通过浏览器的Web页面就可以实现音视频对聊功能。而且WebRTC项目是开源的,我们可以借助WebRTC源码快速构建自己的音视频对聊功能。无论是使用前端JS的WebRTC API接口,还是在WebRTC源码上构建自己的对聊框架,都需要遵循以下执行流程: 上述序列中,We...