跳转到主要内容
千问云 home page
核心接口

OmniRealtimeConversation 类

通过 import com.alibaba.dashscope.audio.omni.OmniRealtimeConversation; 导入 OmniRealtimeConversation 类。

构造函数

public OmniRealtimeConversation(OmniRealtimeParam param, OmniRealtimeCallback callback)
创建 OmniRealtimeConversation 实例。 参数：
参数类型说明
paramOmniRealtimeParam会话的配置参数，包括模型、URL 和 API Key。
callbackOmniRealtimeCallback处理服务端事件的回调实例。参见回调接口。

connect

public void connect() throws NoApiKeyException, InterruptedException
创建与服务端的连接。 服务端响应事件：session.created（会话已创建）、session.updated（会话配置已更新）。

updateSession

public void updateSession(OmniRealtimeConfig config)
更新当前会话的默认配置。参数设置请参见请求参数部分。 建立连接后，服务端会返回会话的默认输入和输出配置。如需更新默认会话配置，建议在连接建立后立即调用此方法。 服务端收到 session.update 事件后会验证参数。如果参数无效，返回错误；否则更新服务端的会话配置。 服务端响应事件：session.updated（会话配置已更新）。

appendAudio

public void appendAudio(String audioBase64)
将 Base64 编码的音频数据追加到云端输入音频缓冲区（提交前的临时数据存储区）。
  • 如果启用了 turn_detection，服务端使用缓冲区检测语音并决定何时提交。
  • 如果禁用了 turn_detection，由客户端控制每个事件的音频量（最大 15 MiB）。较小的数据块可提高 VAD 的响应速度。
服务端响应事件：无。

appendVideo

public void appendVideo(String videoBase64)
将 Base64 编码的图像数据添加到云端视频缓冲区（本地图像或实时视频流截图）。 图像输入限制：
  • 格式：JPG 或 JPEG。推荐分辨率：480p 或 720p（最大 1080p）。
  • 大小：每张图像最大 500 KB（Base64 编码前）。
  • 编码：必须经过 Base64 编码。
  • 频率：每秒 1 张图像。
服务端响应事件：无。

clearAppendedAudio

public void clearAppendedAudio()
清除当前云端缓冲区中的音频。 服务端响应事件：input_audio_buffer.cleared（服务端接收的音频已清除）。

commit

public void commit()
提交之前通过 append 添加到云端缓冲区的音频和视频。如果输入音频缓冲区为空，返回错误。
  • 如果启用了 turn_detection，服务端会自动提交音频缓冲区（客户端无需发送此事件）。
  • 如果禁用了 turn_detection，客户端必须提交音频缓冲区以创建用户消息项。
  1. 如果配置了 input_audio_transcription，系统会对音频进行转录。
  2. 提交缓冲区不会触发模型响应。
服务端响应事件：input_audio_buffer.committed（服务端已接收提交的音频）。

createResponse

public void createResponse(String instructions, List<OmniRealtimeModality> modalities)
指示服务端创建模型响应。当会话配置为启用 turn_detection 模式时，服务端会自动创建模型响应。 服务端响应事件：response.created、response.output_item.added、conversation.item.created、response.content_part.added、response.audio_transcript.delta、response.audio.delta、response.audio_transcript.done、response.audio.done、response.content_part.done、response.output_item.done、response.done。

cancelResponse

public void cancelResponse()
取消正在进行的响应。如果没有可取消的响应，返回错误。 服务端响应事件：无。

close

public void close(int code, String reason)
停止任务并关闭 WebSocket 连接。 参数：
参数类型说明
codeintWebSocket 关闭状态码。
reasonStringWebSocket 关闭原因。
服务端响应事件：无。

getSessionId

public String getSessionId()
获取当前任务的会话 ID。 服务端响应事件：无。

getResponseId

public String getResponseId()
获取最近一次响应的响应 ID。 服务端响应事件：无。

getFirstTextDelay

public long getFirstTextDelay()
获取最近一次响应的首包文本延迟。 服务端响应事件：无。

getFirstAudioDelay

public long getFirstAudioDelay()
获取最近一次响应的首包音频延迟。 服务端响应事件：无。

回调接口 (OmniRealtimeCallback)

服务端通过回调向客户端返回事件和数据。实现以下回调方法以处理服务端事件和数据。 通过 import com.alibaba.dashscope.audio.omni.OmniRealtimeCallback; 导入该接口。
方法参数返回值说明
onOpen()无无与服务端建立连接后立即调用。
onEvent(JsonObject message)message：服务端响应事件。无包含方法调用的响应以及模型生成的文本和音频。参见服务端事件。
onClose(int code, String reason)code：WebSocket 关闭状态码。reason：WebSocket 关闭原因。无与服务端的连接关闭后调用。