文本+图像/音频输入
快速开始
根据输出需求选择示例:文本分析使用 Qwen3.8-Omni-Flash(默认开启思考模式,支持联网搜索与工具调用),生成语音回复使用 Qwen3.5-Omni。
- 文本输出(Qwen3.8-Omni-Flash)
- 语音输出(Qwen3.5-Omni)
前提条件
- 获取 API Key 并将其设置为环境变量。
- 以下示例使用 OpenAI 兼容方式调用,需要安装 SDK。OpenAI Python SDK 版本要求 1.52.0+,Node.js SDK 版本要求 4.68.0+。
AUDIO_URL 设为可访问的 WAV 音频 URL:响应示例
响应示例
控制台依次输出思考过程与模型回复,末尾输出用量统计。Qwen3.8-Omni-Flash 默认开启思考模式,返回中包含
reasoning_content 字段;计费时思考部分计入 usage.completion_tokens_details.reasoning_tokens。支持的语言
Qwen3.5-Omni 支持的语言
Qwen3.5-Omni 支持的语言
输入语言(74 种): 中文、英语、德语、法语、意大利语、捷克语、印尼语、泰语、韩语、波兰语、日语、越南语、芬兰语、葡萄牙语、西班牙语、荷兰语、俄语、马来语、加泰罗尼亚语、瑞典语、土耳其语、乌克兰语、罗马尼亚语、斯洛伐克语、丹麦语、冰岛语、挪威语(博克马尔)、马其顿语、希腊语、匈牙利语、加利西亚语、菲律宾语、克罗地亚语、波斯尼亚语、斯洛文尼亚语、保加利亚语、哈萨克语、白俄罗斯语、拉脱维亚语、爱沙尼亚语、阿塞拜疆语、维吾尔语、斯瓦希里语、印地语、世界语、柯尔克孜语、塔吉克语、宿务语、南非语、阿拉伯语、立陶宛语、爪哇语、孟加拉语、波斯语、希伯来语、旁遮普语、古吉拉特语、蒙古语、阿斯图里亚斯语、卡纳达语、马拉地语、国际语、马拉雅拉姆语、马耳他语、新挪威语、泰卢固语、乌尔都语、格鲁吉亚语、巴斯克语、泰米尔语、奥里亚语、塞尔维亚语、毛利语输入方言(39 种): 东北话、贵州话、粤语、河南话、香港粤语、上海话、陕西话、天津话、台湾话、云南话、安徽话、福建话、甘肃话、广东话、湖北话、湖南话、江西话、山东话、山西话、四川话、广西话、海南话、重庆话、长沙话、杭州话、合肥话、银川话、郑州话、沈阳话、温州话、武汉话、昆明话、太原话、南昌话、济南话、兰州话、南京话、客家话、闽南语输出语言(29 种): 中文、英语、德语、意大利语、葡萄牙语、西班牙语、日语、韩语、法语、俄语、泰语、印度尼西亚语、阿拉伯语、越南语、土耳其语、芬兰语、波兰语、印地语、荷兰语、捷克语、乌尔都语、他加禄语、瑞典语、丹麦语、希伯来语、冰岛语、马来语、挪威语、波斯语输出方言(7 种): 四川话、北京话、天津话、南京话、陕西话、粤语、闽南语
Qwen3-Omni-Flash 支持的语言
Qwen3-Omni-Flash 支持的语言
输入/输出语言(11 种): 中文、英语、德语、法语、意大利语、泰语、韩语、日语、俄语、西班牙语、葡萄牙语输入/输出方言(8 种): 四川话、上海话、粤语、闽南语、陕西话、南京话、天津话、北京话
模型选型
本页示例覆盖三种模型:理解类任务使用 Qwen3.8-Omni-Flash(只输出文本),需要语音回复时使用 Qwen3.5-Omni(Plus 或 Flash)。三者差异如下:
| 系列 | 适用任务 | 输入上限 | 输出 | 思考模式 | 声音复刻 |
|---|---|---|---|---|---|
Qwen3.8-Omni-Flash(qwen3.8-omni-flash) | 音视频理解、会议纪要、字幕生成、文本问答 | 音频 3 小时、视频 2 小时 | 文本 | 默认开启 | 不支持(实时版支持) |
Qwen3.5-Omni(qwen3.5-omni-plus / qwen3.5-omni-flash) | 需要语音回复的离线场景,如视频配音、内容播报 | 音频 3 小时、视频 1 小时 | 文本、语音 | 不支持 | 支持(快照版本不支持) |
Qwen3-Omni-Flash(qwen3-omni-flash) | 成本敏感、输入较短的场景 | 单次输入 150 秒 | 文本、语音 | enable_thinking 控制 | 不支持 |
- 只要文本结果:选 Qwen3.8-Omni-Flash。它支持 Function Calling 和联网搜索,调用方式见下文「思考模式」与「联网搜索」。
- 需要语音输出:选 Qwen3.5-Omni。Plus 与 Flash 的调用参数一致,成本敏感时选 Flash;需要固定音色时按声音复刻创建音色。
- 既要最强理解又要语音:先用 Qwen3.8-Omni-Flash 得到文本,再用语音合成生成音频。
- Qwen3-Omni-Flash 仅在输入较短且成本优先时使用,音视频描述能力弱于 Qwen3.5-Omni。
模型效果
音视频内容分析
输入对这个视频生成一段全面的、带时间戳的描述。
输出00:00.000 - 00:02.500 A rain-soaked city street fills the widescreen frame. Long-exposure photography creates streaks of red and blue car lights on wet pavement. A solitary man in a dark knee-length trench coat and light shirt with a tie walks toward the camera along the right sidewalk.00:12.300 - 00:14.533 The camera tilts down. Inside a flashlight beam, a yellowed, aged single sheet lies in a shallow puddle, edges charred and corners curled. The man kneels, extending gloved fingers toward the document; ripples spread outward as his hand nears.仅展示部分时间戳。
多方言理解
输入描述不同中国方言歌手的音色特征、情感状态和完整歌词。
输出This audio features rap performances by singers from various regions of China. Hangzhou dialect (Wu) -- The male singer's voice is soft and gentle, with the distinctive smoothness and warmth of Wu dialect. His intonation rises and falls gently, and his rhythm is light and quick, creating a relaxed storytelling effect. Emotional state: Relaxed, comfortable, and full of everyday life. He describes Hangzhou's slow-paced lifestyle and urban changes, expressing affection for his hometown.仅展示部分结果。
歌词字幕生成
输入转录歌曲歌词并为每一行提供时间戳。
输出[00:00:12,680 --> 00:00:16,960] Cat thread sways past moonlight on trees. [00:00:18,400 --> 00:00:22,800] Radiators hum 1998 chart hits. [00:00:24,160 --> 00:00:28,080] Time parts the mist-like heat waves. [00:00:28,920 --> 00:00:33,000] Neon from the screen shines on my nose bridge. ... [00:04:09,000 --> 00:04:10,020] (End)仅展示部分结果。
音视频编程
Demo 1
Demo 2
使用方法
流式输出
Qwen-Omni 的所有请求必须设置 stream=True。
模型配置
根据您的使用场景配置参数、提示词和音视频长度,以平衡成本、速度和质量。
- 音视频理解
- 音频理解
| 使用场景 | 建议视频长度 | 建议提示词 | 建议 max_pixels 值 |
|---|---|---|---|
| 快速浏览,低成本 | ≤60 分钟 | 50 字以内的简单提示词 | 230,400 |
| 内容提取(长视频分段) | ≤60 分钟 | 50 字以内的简单提示词 | 921,600 至 2,073,600 |
| 标准分析(短视频标签) | ≤4 分钟 | 使用下方的结构化提示词 | 921,600 至 2,073,600 |
| 精细分析(多人/复杂场景) | ≤2 分钟 | 使用下方的结构化提示词 | 2,073,600 |
音视频理解的推荐结构化提示词
音视频理解的推荐结构化提示词
对长视频进行精细描述时,请先进行分段处理。
思考模式
关于启用/禁用、流式输出和
thinking_budget,请参阅思考。enable_thinking 默认为 false)。
在思考模式下,请设置 modalities: ["text"] — 启用思考时不支持音频输出。
联网搜索
以下示例以 Qwen3.5-Omni 为例。支持联网搜索的模型与策略请参阅联网搜索。通过 enable_search 参数启用联网搜索,并将 search_strategy 设置为 agent。
多模态输入
视频和文本输入
您可以通过图片列表或视频文件输入视频。如果输入视频文件,模型还可以理解视频中的音频。
以下示例代码使用互联网上的视频URL。如需输入本地视频,请参阅输入Base64编码的本地文件。所有调用均需使用流式输出。
视频文件格式 (可理解视频中的音频)
- 文件数量:
- Qwen3.5-Omni 系列:使用公开URL最多512个文件;使用Base64编码最多250个文件。
- Qwen3-Omni-Flash 系列:仅允许一个文件。
- 文件大小:
- Qwen3.5-Omni:最大2 GB,最长1小时。
- Qwen3-Omni-Flash:最大256 MB,最长150秒。
- 文件格式: MP4、AVI、MKV、MOV、FLV、WMV等。
- 视频文件中的视觉信息和音频信息分别计费。
图片列表格式
图片数量
- Qwen3.5-Omni:最少2张,最多2048张。
- Qwen3-Omni-Flash:最少2张,最多128张。
音频和文本输入
- 文件数量:
- Qwen3.5-Omni 系列:使用公开URL最多2048个文件;使用Base64编码最多250个文件。
- Qwen3-Omni-Flash 系列:仅允许一个文件。
- 文件大小:
- Qwen3.5-Omni:最大2 GB,最长3小时。
- Qwen3-Omni-Flash:最大100 MB,最长20分钟。
- 文件格式: 支持AMR、WAV、3GP、3GPP、AAC、MP3等主流格式。
use_multichannel 多通道字段及流式选项见创建响应。
图片和文本输入
Qwen-Omni 模型支持多张图片输入。输入图片的要求如下:
-
图片数量:
- 通过公开URL传入:每次请求最多 2048 张图片。
- 通过Base64编码字符串传入:每次请求最多 250 张图片。
-
图片大小:
- Qwen3.5 系列:每个图片文件不超过20 MB。
- Qwen3-Omni-Flash 系列:每个图片文件不超过10 MB。
- 图片的宽度和高度必须大于10像素。宽高比不得超过200:1或1:200。
- 支持的图片类型请参阅视觉和视频理解。
多轮对话
使用 Qwen-Omni 模型的多轮对话功能时,请注意以下事项:
- Assistant消息:messages数组中的assistant消息仅支持文本数据。
- User 消息:以下多轮示例中,每条 User 消息包含文本和一种媒体;不同的 User 消息可使用不同媒体。其他组合以所选模型的能力为准。
解析Base64编码的音频数据输出
Qwen-Omni 模型的音频输出是以流式方式传输的Base64编码数据。您可以使用字符串变量逐步累积每个片段的Base64数据。流式传输完成后,解码最终字符串即可创建音频文件。您也可以在接收到每个片段时实时解码并播放。
输入Base64编码的本地文件
- 图片
- 音频
- 视频文件
- 图片列表(作为视频)
本示例使用本地保存的文件 eagle.png。
API参考
Qwen-Omni的输入和输出参数,请参见 Chat completions API。
计费与限流
计费规则
Qwen-Omni根据不同模态(如音频、图像和视频)的token数量进行计费。详细价格请参见计费。
音频、图像和视频转换为token的规则
音频、图像和视频转换为token的规则
音频视频视频文件会生成两种类型的token:计算过程较为复杂。详情请参见以下代码:
- Qwen3.5-Omni 系列:输入音频总 token 数 = 音频时长(秒)x 7;输出音频总 token 数 = 音频时长(秒)x 12.5
- Qwen3-Omni-Flash:输入与输出音频的总 token 数 = 音频时长(秒)x 12.5
Qwen3.5-Omni 系列和Qwen3-Omni-Flash:每32 x 32像素对应1个token。
vl_high_resolution_images 参数提升图片分辨率上限至 16384 个 token(Qwen3-Omni-Flash 不支持该参数)。可使用以下代码,传入图像路径即可估算单张图片消耗的 token 总量:video_tokens(视觉)和 audio_tokens(音频)。video_tokens
下方代码为旧版估算示例,视频帧像素及总像素常量与当前 OpenAI Chat API 参考中 Qwen3.8-Omni-Flash、Qwen3.5-Omni 的限制不一致。请勿直接用它估算当前模型的生产费用;先核对所选模型的参数限制和实际返回的 Token 用量。
audio_tokens- Qwen3.5-Omni 系列:输入音频总 token 数 = 音频时长(秒)x 7;输出音频总 token 数 = 音频时长(秒)x 12.5
- Qwen3-Omni-Flash:输入与输出音频的总 token 数 = 音频时长(秒)x 12.5
- 若音频时长不足1秒,按1秒计算。
错误码
如果调用失败,请参见错误信息。
音色列表
各全模态模型支持的音色、试听样例和 voice 参数取值,见全模态音色列表。