媒体采集与设备管理

采集是整条实时链路的源头。源头参数错了,后面的编码、传输、渲染再优化也救不回来:分辨率开太高导致上行拥塞、采样率不匹配导致变声、轨道结束后没有重建导致「有画面没声音」。

1. 采集在链路中的位置

采集侧能控制的是 AD,传输质量由 EH 决定。排查「画面模糊」时先分清是哪一段:采集分辨率不够,还是编码码率被压,还是订阅端拿的是低层流。

2. getUserMedia:约束不是「建议」

1const stream = await navigator.mediaDevices.getUserMedia({
2    audio: {
3        deviceId: { exact: micId },
4        echoCancellation: true,
5        noiseSuppression: true,
6        autoGainControl: true,
7        sampleRate: 48000,
8    },
9    video: {
10        deviceId: { exact: cameraId },
11        width: { ideal: 1280 },
12        height: { ideal: 720 },
13        frameRate: { ideal: 30, max: 30 },
14    },
15});

约束求解规则:

写法语义结果
{ ideal: 1280 }尽量满足不满足也返回可用值
{ exact: 1280 }必须满足不满足直接 OverconstrainedError
{ min: 640, max: 1280 }区间在区间内选最接近的
{ width: 1280 }简写,等同 ideal常见误写成强制约束

两个工程约束:

  1. 必须安全上下文。localhost 或 HTTPS,否则 navigator.mediaDevices 直接是 undefined——表现为「线上能用、内网 IP 调试不能用」。
  2. 一次只申请必要权限。同时申请摄像头与麦克风会让用户面对一个更吓人的弹窗,拒绝率更高。项目里的 openMic / openCamera / openMicAndCamera 就是三条不同的申请路径,并用 isOpeningMic / isOpeningCamera 互斥,避免并发弹窗。

3. 错误分类:不同错误要有不同兜底

错误名含义正确处置
NotAllowedError用户拒绝或浏览器策略禁止引导授权,不要立刻重试
NotFoundError没有匹配设备重新 enumerateDevices,降级到默认设备
NotReadableError设备被占用、驱动异常提示「设备被其他应用占用」,允许重试
OverconstrainedError约束无法满足去掉 exact,用 ideal 重试
AbortError系统层中断(如切后台)延迟重试
SecurityError非安全上下文检查 HTTPS

项目里把超时和错误分开处理:openMic 10s 未完成报 AudioCaptureTimeout,其余错误报 AudioCaptureError,并清掉 v5live_hasMicGranted、把设备标记为异常。区分「超时」和「拒绝」很重要——前者可能是驱动卡死,后者是用户行为,重合期的重试策略完全不同。

4. 参数怎么定

4.1 视频:分辨率、帧率、码率是三角关系

档位分辨率帧率推荐码率适用
流畅640×36015300–500 kbps弱网、小窗
标清640×36024500–800 kbps学生摄像头
高清1280×720301.2–2 Mbps老师主讲
超清1920×1080302.5–4 Mbps大屏课件、录播

经验公式:码率 ≈ 宽 × 高 × 帧率 × 运动系数 × 0.07 / 1000(kbps),运动系数按画面复杂度取 0.05~0.15。文档/PPT 场景画面静止,可以显著降低码率——这也是为什么屏幕共享应该走独立参数,而不是复用摄像头参数。

4.2 音频:48 kHz 是默认答案

参数建议值说明
采样率48000 HzOpus 原生支持,重采样损失最小
声道单声道人声场景双声道只增加码率
码率32–64 kbps48 kbps 是语音清晰度与带宽的平衡点
帧长20 ms抗丢包与延迟的折中
3A按场景外放必须 AEC;专业麦克风可关 ANS/AGC

采样率不一致不会报错,只会变声或变速。项目里把 sampleRate 固定 48000,就是为了避免不同设备协商出 44.1 kHz 后音频链路反复重采样。

项目 initRTCConfig() 的优先级是:普通用户取 rtcConfig.default,老师取 rtcConfig.teacherDefault;音频档位取 rtcConfig.audioProfile,但 iOS 强制 EAudioProfile.Normal——移动端高音质档位会显著抬高 CPU 与发热。

5. 轨道的生命周期

MediaStreamTrack 不是「一次拿到永久有效」:

1track.onended = () => {
2    // 设备被拔出、被系统抢占、屏幕共享被用户停止
3};
4track.onmute = () => {
5    // 临时静音(切后台、系统通话抢占)
6};

三类典型场景:

场景表现处理
拔掉 USB 摄像头track.ended重新枚举设备,切换到内置摄像头
蓝牙耳机断开音频轨 ended 或系统自动切回扬声器重新采集,避免「看起来开着麦但没声音」
屏幕共享被停止屏幕轨 ended结束共享状态并通知服务端取消发布

项目在 isKeepMicOpen 模式下监听 onTrackEnded,会重新枚举设备并在 5s 节流后重采——节流是必须的,否则设备反复插拔会触发采集风暴。

6. 屏幕共享

1const display = await navigator.mediaDevices.getDisplayMedia({
2    video: { frameRate: { ideal: 15 }, width: { max: 1920 } },
3    audio: false,
4});

与摄像头采集的差异:

  • 必须由用户手势触发,且浏览器会弹出选择器,不能静默调用。
  • 分辨率取决于被共享窗口,约束只能设上限。
  • 文字清晰度优先于帧率:15 fps + 高分辨率,比 30 fps + 低分辨率更适合讲课件。
  • 用户点「停止共享」等价于轨道结束,必须监听 onended 收回状态。
  • 屏幕流通常作为独立流发布(publishScreen),而不是替换摄像头轨,这样才能画中画并存。

项目里把屏幕共享、本地屏幕预览、屏幕视频分成多条状态(captureScreen、pushingScreenMediaType、mainScreenType),因为「老师共享了屏幕」和「学生正在看屏幕」是两个不同的事实。

7. 自动播放:最容易漏的一环

浏览器自动播放策略会导致两类静默失败:

  1. audio.play() 返回的 Promise 被 NotAllowedError 拒绝。
  2. AudioContext 创建后处于 suspended,音频图不工作——没有报错,只是没声音。

处理套路:

1async function ensureAudioUnlocked() {
2    const ctx = new AudioContext();
3    if (ctx.state === 'suspended') {
4        await ctx.resume(); // 必须在用户手势的调用栈里
5    }
6}

工程上的组合方案:

手段代价效果
进房前引导点击「进入课堂」多一次交互最稳,一次解锁全链路
首次静音自动播放,再引导开声音用户可能一直静音画面先出来
监听播放失败事件,弹出「点击恢复声音」需要 UI 兜底覆盖率最高

项目里 playVM 发出 AUTO_PLAY_FAILED,宿主在回调中补一次 play(),同时提供 resetAudioContext() 恢复被挂起的音频上下文;LiveRoom 甚至接管了 window.AudioContext,在退房时统一关闭所有实例,避免 WebAudio 句柄泄漏。

8. 项目落地:captureVM 的采集模型

三个采集开关决定了完全不同的生命周期:

开关默认行为适用
isKeepMicOpenfalse全程保持采集,轨道结束自动重采PC / Android
isCaptureWhenNeededfalse仅在需要时采集,节省资源iOS / iPad
isExternalAudioStreamfalse使用外部注入的音频轨iOS 外接声卡、录播混音

麦克风权限变化也要联动业务:MediaCallVM 在失去麦克风权限时取消举手、拒绝待处理的邀请、关闭麦克风;恢复时若此前是开启状态则自动重开。否则会出现「举手成功但上台后对方听不到」的幽灵问题。

9. 采集侧常见坑

现象根因验证方式
本地预览正常,远端无声只启动了采集,没有 publishStream看发布状态与 onUserPublishStream
有画面无声音音频轨被浏览器静音或选择了错误的 deviceIdtrack.enabled + getSettings()
声音忽大忽小AGC 在嘈杂环境反复调整关闭 AGC 或改用外接麦
自己听到自己本地流被接到了 <audio> 播放本地只做预览,不播放音频
移动端切后台后断流系统回收采集监听 visibilitychange 并重建轨道
屏幕共享越来越卡共享高帧率视频窗口降到 15 fps,限制最大分辨率

10. 相关章节