跳转到主要内容
音视频(实时)

Realtime API 概述

了解 Realtime API 支持的模型、接入方式、鉴权流程及现有教程和 Demo。

Realtime API 支持实时多模态交互、语音识别、语音合成、语音对话和音视频翻译。先查找所需模型支持的接入方式,再根据应用场景选择并进入对应的接入文档。

模型与协议支持

下表列出各模型和应用支持的协议。点击「支持」查看对应的接入文档。
模型/应用类型模型WebSocketWebRTCAOQ
实时全模态qwen3.8-omni-flash-realtime、qwen3.5-omni-plus-realtime、qwen3.5-omni-flash-realtime支持支持支持
实时语音合成qwen-audio-3.1-tts-plus、qwen-audio-3.1-tts-flash、qwen-audio-3.0-tts-flash、qwen-audio-3.0-tts-plus支持不支持支持
CosyVoice系列模型支持不支持支持
实时语音识别qwen-audio-3.1-asr-flash-message、qwen-audio-3.1-asr-flash-streaming、qwen-audio-3.0-asr-flash-streaming、Fun-ASR-Realtime系列模型Qwen-Audio-ASR-MessageQwen-Audio-ASR-StreamingFun-ASR-Realtime不支持Qwen-Audio-ASR-MessageQwen-Audio-ASR-StreamingFun-ASR-Realtime
实时语音对话qwen-audio-3.1-realtime-plus、qwen-audio-3.1-realtime-flash、qwen-audio-3.0-realtime-plus、qwen-audio-3.0-realtime-flash支持支持支持
实时语音翻译Qwen-Livetranslate-Realtime 系列模型支持支持支持
多模态开发套件multimodal-dialog支持支持支持
模型的名称、上下文、价格、快照版本等信息请参见千问AI平台控制台;并发限流条件请参考限流。

接入方式选择

Realtime API 支持 WebSocket、WebRTC 和 AOQ(AI over QUIC)三种接入方式。可用方式及输入、输出能力以所选模型的接入文档为准。
维度WebSocketWebRTCAOQ
适用场景实时语音和多模态交互、服务端集成、快速原型验证浏览器实时音视频交互、已有 WebRTC 基础设施的应用需要弱网优化及音视频、模型事件协同传输的原生应用
浏览器兼容性原生支持;需满足对应接口的鉴权要求原生支持当前 AOQ SDK 不提供浏览器接入
回声消除/降噪由客户端使用的音频采集与处理组件提供由浏览器或 WebRTC 客户端提供,依平台与配置而定以所用平台的 AOQ SDK 音频配置为准
端侧平台支持全平台(任何支持 WebSocket 的环境)浏览器、移动端移动端、桌面端和 Linux,详见 AOQ SDK 下载
Token Plan支持支持支持
  • WebSocket:适用于实时语音和多模态交互、服务端集成及原型验证。通过 DashScope SDK 可快速实现实时语音对话。
  • WebRTC:适用于需要浏览器原生支持或已有 WebRTC 基础设施的实时音视频交互。
  • AOQ:AOQ 基于 QUIC,面向弱网下的实时交互进行优化,支持音视频与模型事件分轨传输,适用于需要集成媒体采集、编解码和播放能力的原生应用。

接入准备

确认业务空间与接入域名,获取该业务空间对应的 API Key。
首次使用时,按控制台提示开通服务。创建后请立即复制并妥善保存 API Key,通过环境变量管理,勿嵌入客户端或提交到代码仓库。
使用 AOQ 时,按客户端平台下载 AOQ SDK。

鉴权方式

Realtime API 使用 API Key 进行身份认证。无论选择 AOQ、WebRTC 还是 WebSocket 协议接入,均通过 HTTP 请求头中的 Authorization 字段携带 Bearer Token 完成身份验证。 WebRTC 和 WebSocket 在建连时鉴权;AOQ 在 AppServer 请求连接凭证时使用 API Key 鉴权,客户端随后使用临时 Token 建连。连接建立后的数据传输无需重复鉴权。

建连鉴权详解

  • WebSocket
  • WebRTC
  • AOQ
WebSocket 在建立连接时通过 HTTP 请求头携带 API Key 进行鉴权,具体要求参见对应模型的接入文档。

开发资源

WebRTC 教程

AOQ 教程与 Demo

使用 Android Demo 验证 AOQ 接入效果。扫描二维码下载 APK,安装后配置 API Key 和 workspaceId,即可体验 Demo 支持的部分模型。
AOQ Android Demo 下载二维码