跳转到主要内容
Qwen-Audio-ASR-Message

实时语音识别(Qwen-Audio-ASR-Message)服务端事件

本文介绍 Qwen-Audio-3.1-ASR-Flash-Message 实时语音识别服务通过 WebSocket 推送给客户端的服务端事件,包括 task-started、result-generated、task-finished、task-failed 四类事件的数据结构与字段含义。

事件交互流程

  1. 发送 run-task,收到 task-started 后开始发送音频。
  2. 持续发送音频,同时接收 result-generated。
  3. 任务运行期间,可通过 continue-task 更新对话上下文;音频仍通过音频通道发送。
  4. 音频发送完毕后发送 finish-task,继续接收结果,直到收到 task-finished;任务失败时返回 task-failed。
音频数据不通过 run-task 发送:WebSocket 使用二进制帧,AOQ 使用 Audio Track。连接、鉴权和音频传输方式请参见 WebSocket API 或 AOQ 接入。

task-started

任务启动成功,是客户端开始发送音频的信号。
收到 task-started 后才能发送音频。 run-task 仅用于启动和配置任务,不携带音频数据。
{
  "header": {
    "action": "run-task",
    "task_id": "1a8804af-8782-4710-8771-1b4f885286bc",
    "streaming": "duplex"
  },
  "payload": {
    "input": {},
    "task_group": "audio",
    "task": "asr",
    "function": "recognition",
    "model": "qwen-audio-3.1-asr-flash-message",
    "parameters": {
      "format": "pcm",
      "sample_rate": 16000
    }
  }
}
参数类型说明
headerobject
header.task_idstring客户端生成的任务 ID(UUID 格式)。
header.eventstring事件类型,固定为 task-started。
header.attributesobject附加属性(通常为空)。
payloadobject固定为{}。

result-generated

返回识别结果,包括句子开始、中间结果、句子最终结果和心跳。中间结果默认关闭,设置 intermediate_result_enabled=true 后开启。
sentence_end=true 仅表示当前句子结束,不表示任务结束。 心跳结果(heartbeat=true)可跳过;任务是否结束以 task-finished 为准。
{
  "header": {
    "action": "run-task",
    "task_id": "1a8804af-8782-4710-8771-1b4f885286bc",
    "streaming": "duplex"
  },
  "payload": {
    "input": {},
    "task_group": "audio",
    "task": "asr",
    "function": "recognition",
    "model": "qwen-audio-3.1-asr-flash-message",
    "parameters": {
      "format": "pcm",
      "sample_rate": 16000
    }
  }
}
参数类型说明
headerobject
header.task_idstring客户端生成的任务 ID(UUID 格式)。
header.eventstring事件类型,固定为 result-generated。
payloadobject
payload.outputobject
payload.output.sentenceobject
payload.output.sentence.begin_timeinteger句子开始时间(ms)。
payload.output.sentence.end_timeinteger句子结束时间(ms)。中间结果或心跳中可能为 null。
payload.output.sentence.textstring识别文本。 说明: 中间文本可能随识别过程更新,应按 sentence_id 更新同一句的展示内容,不要直接拼接中间文本。
payload.output.sentence.heartbeatboolean若为 true,可跳过该结果(心跳包)。
payload.output.sentence.sentence_beginboolean为 true 时表示句子开始,此时 text 可能为空。
payload.output.sentence.sentence_endboolean是否句子结束(true=最终结果,false=中间结果)。
payload.output.sentence.sentence_idinteger句子的序号标识。正常识别结果中,sentence_id 从 1 开始递增。当 heartbeat 为 true 时(即心跳包),sentence_id 固定为 0。
payload.output.sentence.wordsarray[object]字时间戳信息。
payload.output.sentence.words.begin_timeinteger字开始时间(ms)。
payload.output.sentence.words.end_timeinteger字结束时间(ms)。
payload.output.sentence.words.textstring识别文本。
payload.output.sentence.words.punctuationstring标点符号。
payload.usageobject当前任务截至本事件的累计用量。 说明: usage 表示当前任务的累计用量,不要将各事件中的 usage 相加。任务完成后,以 task-finished 中的最终累计用量为准。
payload.usage.durationinteger累计音频时长(秒),为兼容保留。
payload.usage.input_tokensinteger累计输入 Token 数。
payload.usage.output_tokensinteger累计输出 Token 数。
payload.usage.total_tokensinteger累计 Token 总数,为 input_tokens 与 output_tokens 之和。

task-finished

任务处理完成,全部识别结果已返回。客户端可关闭连接,或复用连接开启新任务。
{
  "header": {
    "action": "finish-task",
    "task_id": "1a8804af-8782-4710-8771-1b4f885286bc",
    "streaming": "duplex"
  },
  "payload": {
    "input": {}
  }
}
参数类型说明
headerobject
header.task_idstring客户端生成的任务 ID(UUID 格式)。
header.eventstring事件类型,固定为 task-finished。
header.attributesobject附加属性(通常为空)。
payloadobject包含 output(空对象)和 usage(本任务最终累计用量)。usage 字段定义与 result-generated 一致。

task-failed

任务失败。通过 error_code 和 error_message 获取错误原因。WebSocket 连接在任务失败后会被关闭,无法复用。 以下请求使用不支持的音频格式,用于展示 task-failed。错误码和错误信息随失败原因而变化。
{
  "header": {
    "action": "run-task",
    "task_id": "5927b897-6890-45cd-9b85-bc58bdaaadfb",
    "streaming": "duplex"
  },
  "payload": {
    "input": {},
    "task_group": "audio",
    "task": "asr",
    "function": "recognition",
    "model": "qwen-audio-3.1-asr-flash-message",
    "parameters": {
      "format": "invalid-format",
      "sample_rate": 16000
    }
  }
}
参数类型说明
headerobject
header.task_idstring客户端生成的任务 ID(UUID 格式)。
header.eventstring事件类型,固定为 task-failed。
header.error_codestring错误类型描述。
header.error_messagestring具体错误原因。
header.attributesobject附加属性(通常为空)。
payloadobject固定为{}。