产品概述 - aopacloud/aopa-rtc GitHub Wiki
产品概述
奥帕RTC SDK 可帮助用户将实时音视频功能集成到 App 中。在大规模的实时互动场景下，你可以用它实现更好的实时互动效果。
在 SDK 基础上，奥帕搭建了奥帕云市场并引入了一批音视频领域的顶级服务商，旨在帮助用户无缝集成扩展服务、更方便地实现多种扩展特性。
集成新版本 SDK 后，你可以将多个外部音视频流（包括多路摄像头采集、多路屏幕采集、多路自采集）发布到任意频道。除此之外，你还可以使用内置播放器并将播放器的多路音频或视频流推送到网络。
优势介绍
本节描述奥帕 SDK 的主要优势。
云市场
- 方便集成：只需执行简单统一的 API 即可实现模块化功能的集成，将实时互动模块集成效率提高约 95%。
- 可扩展性设计：模块化和可扩展的 SDK 设计风格赋予了奥帕 SDK 良好的可扩展性，更有利于开发者基于奥帕云市场插件生态快速搭建好用的实时互动应用。
- 打造生态系统：可容纳众多开发者的实时音视频 App 社区，提供多种扩展组合。添加并开启云市场插件后，开发者可以实现更为丰富的实时音视频互动功能。
- 助力服务商：支持服务商将技术产品以插件的形式与奥帕 SDK 做技术上的融合，在奥帕云市场中展示并售卖，与奥帕一起共建开发者的实时互动生态系统。
多路媒体流
- 支持同时发布多路音频或视频流到一个或多个频道。
- 支持多种音频或视频采集来源，例如：多路摄像头，多路屏幕，多路麦克风，多路自采集。
内置媒体播放器
- 减小 SDK 包体积。
- 简化 API 的调用步骤、减少集成时间。
- 支持将媒体播放器的音视频流推送到任意频道。
- 统一管理音视频，使 App 具有更高的稳定性。
频道媒体选项
增加了频道媒体选项设计，简化了用户在频道内发布/订阅的操作。
直播场景区别
你可通过下表快速了解各类直播场景的区别。
| 项目 | 奥帕互动直播 | 奥帕极速直播 | 传统 CDN 直播 |
|---|---|---|---|
| 典型场景 | 主播和观众需要频繁进行音视频互动的直播场景，要求观众端超低延时 | 主播需要及时回应观众文字、弹幕及打赏信息，或与观众有较低频音视频互动的直播场景 | 完全不需要音视频互动的直播场景 |
| 延时指标 | 主播连麦的延时 ≤ 400 ms,主播和观众间的延时 400 ms 到 800 ms | 主播和观众间的延时 1,500 ms 到 2,000 ms | 主播和观众间的延时 > 3,000 ms |
| 同步性 | 主播与观众间同步性好,观众与观众间同步性好 | 主播与观众间同步性良好,观众与观众间同步性良好 | 主播与观众间同步性差,观众与观众间同步性差 |
| 互动体验 | 优 | 良 | 差 |
| 费用 | 较高 | 适中 | 较低 |
功能和场景
奥帕互动直播提供丰富的功能，你可以根据自己的场景需求灵活组合。
| 功能 | 描述 | 典型适用场景 |
|---|---|---|
| 单主播直播 | 支持单主播场景下的低延时直播（极速直播），观众可加入直播间观看直播。 | 教育大班课。秀场直播。电商直播。赛事直播。 |
| 观众连麦 | 观众与主播连麦聊天，其他观众围观。 | 大型直播时，主播邀请观众互动。狼人杀、剧本杀。 |
| 跨直播间连麦 | 多个主播跨直播间，连麦互动，观众围观。 | PK 连麦。 |
| 伴奏混音 | 将本地或在线的音频和用户声音混音，同时发送并播放给频道内其他用户。 | 在线合唱。针对幼儿的音乐互动课堂。 |
| 基础美颜 | 支持基础的美颜功能，包括设置美白、磨皮、祛痘、红润效果。 | 娱乐直播美颜。 |
| 屏幕共享 | 把屏幕内容同步展示给频道内的其他用户，支持指定共享某个屏幕或窗口，同时支持指定共享区域。 | 互动课堂。游戏主播展示游戏实战。 |
| 修改音视频原始数据 | 可支持变声，支持获取媒体引擎的原始语音或视频数据，对原始数据进行处理。 | 语音聊天室变声。娱乐直播美颜。 |
| 自定义视频源和渲染器 | 支持自定义的视频源和渲染器，可以不使用系统摄像头，使用自己构建的摄像头视频源、屏幕共享视频源、文件视频源等。可以更灵活地处理视频，比如添加美颜效果、滤镜等。 | 需要使用自定义的美颜库或者前处理库。开发者 App 中已经有自己的图像视频模块。开发者希望使用非摄像头的视频源，比如录屏数据。有些系统独占的视频采集设备，为了避免与其他业务冲突，需要灵活的设备管理策略。 |
| 旁路推流 | 将频道内的音视频内容通过 CDN 推送到其他 RTMP 服务器：能够随时启动或停止推流。能够在不间断推流的同时增减推流地址。能够调整合图布局。 | 在朋友圈、微博等推广直播内容。频道人数超限时，让更多人观看直播。 |
| 空间音效 | 塑造远端用户声音的方位感，模拟声音在真实世界中的传播过程，使频道内用户可以通过声音感知空间环境以及远端用户位置的变化。对媒体播放器设置空间音效，使本地用户在播放媒体文件时能听到空间感。 | 多人游戏。元宇宙互动。媒体播放器。 |
关键特性
| 特性 | 奥帕指标 |
|---|---|
| 集成 SDK 后的 App 增量 | 4.61 到 13.94 MB |
| 多主播互动 | 17 人 |
| 最多观众人数 | 100 万 |
| 观众端最低延时 | 400 到 800 ms |
| 视频属性 | SDK 采集支持 1080p 分辨率，60 fps 帧率,自采集支持 4K |
| 音频属性 | 音频采样率：16 kHz 到 48 kHz,支持单、双声道 |
| 音频抗丢包率 | 上下行抗丢包率 80% |
| 主播之间延时 | ≤ 400 ms |
平台兼容
支持多种平台，并支持平台间互通，具体的兼容性要求见下表。
| 平台 | 支持版本 |
|---|---|
| Android | ≥ 4.1Android SDK 支持如下 ABI：armeabi-v7a,arm64-v8a,x86,x86-64 |
| iOS | ≥ 9.0 |
| macOS | ≥ 10.10 macOS SDK 支持如下架构：x86-64,arm64 |
| Windows | ≥ Windows 7,Windows SDK 支持如下架构：x86,x86-64 |
最大并发数
请定时检查你的项目中的 PCU、PCW 和带宽情况，确保各项指标均小于配额基准线，以确保你的项目运行正常。
- 对于基础实时互动场景，当 PCU 或带宽任一指标达到配额基准，则视为已达到配额基准。
- 对于旁路推流功能，配额基准跟视频分辨率相关，当任一分辨率档位的 PCW 指标达到配额基准，则视为已达到配额基准。
信息
- PCU (Peak Concurrent Users)：指最大同时在线人数
- PCW (Per-Channel Workrate)：指最大并发任务数
- 带宽计算公式为：PCU × 主播的发送码率 × 并发主播数（单个频道）
| 服务 | PCU/PCW/带宽 | 国内 | 欧洲 | 美洲 | 亚洲 |
|---|---|---|---|---|---|
| 实时互动 | PCU | 10 K | 10 K | 10 K | 10 K |
| 带宽 | 10 Gbps | 10 Gbps | 10 Gbps | 10 Gbps | |
| 旁路推流 | PCW | SD:200,HD:50,FHD:20 | SD:50,HD:20,FHD:5 | SD:50,HD:20,FHD:5 | SD:50,HD:20,FHD:5 |