RTC 架构与发布订阅

同样是「多人音视频」,拓扑选错会让成本和体验同时崩掉。这一章讲清楚 Mesh / MCU / SFU 的差异、发布订阅模型如何映射到课堂角色,以及带宽到底怎么算。

1. 三种拓扑

维度MeshMCUSFU
上行路数N-111
下行路数N-11(合成画面)N-1(可分层)
服务端 CPU无极高(解码+混流+编码)低(只转发)
端到端延迟最低较高(编解码叠加)低
单房间规模≤ 4 人中等大规模
灵活性高低(画面被合成)高(每路独立订阅)
成本带宽随人数平方增长服务器成本高带宽成本线性增长

结论:小班连麦 3–6 人可以 Mesh,但一旦要「几十人看老师 + 个别人上台」,只有 SFU 能同时满足成本与体验。MCU 更多用于录制、转播、老式电话会议。

2. 发布订阅模型

SFU 把「谁在说话」和「谁在看」解耦成两个动作:

流的身份通常由三元组定位:

维度取值说明
userID用户谁发布的
媒体类型video / audio主流还是音频
streamIndex / streamType主流 / 屏幕流 / 副摄像头同一用户可有多路

工程含义:

  • 发布成功 ≠ 别人能看到。必须有人订阅。
  • 订阅是逐用户、逐媒体类型的,可以只订阅音频(省带宽)或只订阅屏幕流。
  • 大班场景常见策略:订阅老师全部流,订阅台上学生视频,其余学生只订阅音频。

3. 分层编码:让一路流适配所有人的网络

同一个画面,网络好的学生要 720p,地铁里的学生只要不断线。这靠分层编码实现:

方案原理优点代价
Simulcast编码器同时产出多个分辨率/码率的独立流实现简单、兼容性好上行带宽与 CPU 成倍增加
SVC一次编码,时域/空域/质量分层可裁剪上行只编一次编解码器支持要求高
双流(大小流)只出高低两档成本最低粒度粗

订阅策略要跟着角色走,而不是跟着「在线用户」走:

角色订阅策略理由
大班学生老师视频高层 + 台上学生低层 + 全部音频主画面清晰即可
老师台上学生视频中层 + 音频需要看清学生反应
上台学生自己的本地预览 + 老师和同学的高层互动质量优先
监课 / 巡课只订阅音频 + 低层视频数量多,控制成本

项目把 isAutoSubscribe 交给宿主决定(设 false),由宿主在 onUserPublishStream 里显式订阅——本质就是把「订阅预算」交给业务,而不是 SDK 一刀切。

4. 云端能力:混流、旁路、录制

能力解决的问题代价
云端混流把多路合成一路,降低下行路数失去单路订阅的灵活性
旁路推流复用 CDN 承载万人观看延迟升高(通常 1–5s)
云端录制课件 + 音视频合成回放额外计费与存储
转码统一输出分辨率/编码CPU 成本

判断标准很简单:要互动就用 WebRTC,要规模就上 CDN。两者的延迟差一个数量级,不能既要求 200ms 又要求十万人。

5. SEI:随视频帧下发的业务数据

SEI 是 H.264/H.265 码流里的自定义数据段,随帧到达接收端:

特点说明
与帧同步天然解决「音画不同步」的时间戳对齐
带内传输不依赖额外通道,穿透性最好
不可靠丢帧就丢数据,必须可自愈
容量有限通常控制在几百字节

典型用途:绝对时间戳校准、题目出现时刻、白板页 ID、录播打点。不适合传大块业务数据——那应该走信令或 HTTP。

6. 项目的分层架构

包是否感知课堂语义职责
core是直播间生命周期、13 个 ViewModel、业务信令
rtcAdapter否抽象 RTC 供应商,统一事件与方法名
whiteboard否只画不传,笔迹分层与输入滤波
util否日志、事件、网络与浏览器能力探测

rtcAdapter 的抽象契约分六组:房间(joinRoom / leaveRoom / setUserVisibility)、发布订阅、采集、屏幕共享、播放、参数配置。业务只认这套方法名,切换火山 VE 与腾讯 TRTC 时不需要改调用方。

两个供应商的差异必须显式抹平:

差异点处理方式
TRTC 没有 setParameter提供空实现,避免调用方分支
事件名不同统一成 rtcAdapter/events.ts 的字符串枚举
设备枚举方式不同initializeStatics 时切换三套实现
隐藏自己的语义不同封装成 setUserVisibility(false)

7. 带宽怎么算

以「1 位老师 + 100 位学生,720p 主讲」为例:

1老师上行     = 1.5 Mbps
2服务器下行   = 1.5 × 100 = 150 Mbps   (全部订阅高清)
3若学生订阅 360p 层:
4服务器下行   = 0.6 × 100 = 60 Mbps
5再加上台学生 2 人,各上行 0.8 Mbps、被 100 人订阅低层:
6服务器下行  += 0.25 × 100 × 2 = 50 Mbps
变量影响优化手段
订阅路数线性放大下行只订阅可见画面、只订阅音频
分层档位直接影响单路带宽按角色下发不同层
房间规模决定是否需要 CDN超过阈值走旁路推流
上行质量决定老师端是否拥塞主讲端优先保障、独立码率

容量规划的经验值:单场互动课堂的服务器出口 ≈ 订阅路数 × 平均码率 × 安全系数 1.3。安全系数用于吸收突发订阅(比如切班时全班同时重新订阅)。

8. 架构选型的检查清单

  • 房间最大同时上行路数是多少?超过 6 路基本就不要考虑 Mesh。
  • 是否需要每个学生独立视角(看不同的流)?需要就排除 MCU。
  • 是否存在万人观看场景?存在就规划 CDN 旁路,而不是硬扩 SFU。
  • 是否要求录制与回放?提前确认云端录制对编码格式的要求。
  • 是否需要跨云容灾?抽象层必须支持运行时切换供应商。

9. 相关章节