延迟优化

​

文本生成：七个优化方向

​

1. 选择合适的模型

​

2. 减少输出长度

• 约束自然语言输出：添加明确的长度指令（"用一句话回答"、"不超过 50 字"），或通过 few-shot 示例展示期望的简洁风格。
• 精简结构化输出：如果模型返回 JSON，使用简短的字段名（用 s 代替 sentiment_analysis_result），省略可选字段。
• 设置硬性限制：使用 max_tokens 限制输出长度，或用 stop 序列在特定分隔符处终止生成。

​

3. 精简输入 token

• 筛选检索结果：在 RAG 流水线中，按相关性对文本块排序和过滤后再发送给模型。去除网页内容中的 HTML 标签、样板文本和导航元素。
• 控制对话历史长度：只保留最近几轮对话，或将早期历史压缩为一条精简的系统消息。
• 用 few-shot 示例替代冗长指令：在提示词中加入典型示例，让模型学习你的格式规则和领域约束，比逐条写规则更高效。

​

4. 合并请求

• 让模型在一次调用中完成所有步骤，以 JSON 对象返回结果，每个步骤对应一个命名字段。
• 处理多个条目时，将它们批量放入一个提示词中（如"对这 10 条工单分类"），而不是发送 10 次单独请求。

​

5. 并行执行步骤

​

6. 提升感知速度

• 流式输出响应，让用户看到逐步生成的 token，而不是等待完整响应。关注首 token 时间（TTFT） 这一流式性能核心指标。参见流式输出。
• 分段处理输出：如果需要对模型输出做后处理（如翻译或审核），将流式输出发送到后端，再将处理后的片段逐步推送到前端。
• 显示进度指示：展示当前步骤（"正在搜索知识库..."、"正在生成回答..."），在多步骤工作流中保持用户参与感。

​

7. 能不用 LLM 就别用

• 固定回复：确认消息、错误提示和标准免责声明可以硬编码。
• 预生成内容：对于有限的输入空间（如下拉选项分类），可以离线生成回复并即时返回。
• 传统代码：格式化、过滤、排序和聚合用常规代码比 LLM 更快、更可靠。

​

图像与视频生成

• 当提示词已经足够完善时，关闭提示词改写（prompt_extend）可节省每次请求 3-5 秒。
• 迭代阶段使用较低分辨率（如 1024x1024 而非 2048x2048），仅在最终输出时提高分辨率。
• 用指数退避策略轮询任务完成状态——初始间隔 3 秒，逐步增加，设置 2 分钟超时。参见文生图——上线注意事项了解生产模式。
• 多图生成（n=4）是并行处理的，延迟与 n=1 基本相同。不需要多个变体时使用 n=1 以节省成本，因为每张图单独计费。

• 迭代阶段使用短时长（2-3 秒）和低分辨率（480P/720P），最终输出时再渲染完整时长和高分辨率。
• 提示词已经足够详细时，关闭提示词改写。
• 简单场景使用单镜头模式比多镜头模式更快。
• 将参考图片和视频托管在高速 CDN 上，减少上传和下载时间。

​

语音与音频

• 使用流式输出，在第一个合成片段生成后的几毫秒内即可听到音频，无需等待整个文件。参见实时流式合成。
• 交互场景选择 flash 模型变体以获得最低延迟。
• 使用压缩输出格式（mp3、opus）减少数据传输时间。
• 对于 LLM 驱动的语音应用，将 LLM 的流式文本输出直接接入 TTS 流式输入，实现端到端低延迟。

• 实时转写使用 WebSocket 端点，而非 REST API。参见 ASR 实时识别。
• 上传前压缩音频文件以减少传输时间。
• 大音频文件传入 URL 而非 Base64 编码数据，避免请求体膨胀。

​

上下文缓存

​

工作原理

​

三种模式

​

显式缓存示例

from openai import OpenAI
import os

client = OpenAI(
  api_key=os.getenv("DASHSCOPE_API_KEY"),
  base_url="https://dashscope.aliyuncs.com/compatible-mode/v1",
)

completion = client.chat.completions.create(
  model="qwen3-max",
  messages=[
    {
      "role": "system",
      "content": [
        {
          "type": "text",
          "text": "You are a helpful assistant specialized in answering questions about our product documentation. Here is the full reference manual:\n\n[... long reference document ...]",
          "cache_control": {"type": "ephemeral"}
        }
      ]
    },
    {
      "role": "user",
      "content": "How do I configure SSO?"
    }
  ]
)

print(completion.usage)
# 检查 completion.usage.prompt_tokens_details.cached_tokens 确认缓存命中

import OpenAI from "openai";

const openai = new OpenAI({
  apiKey: process.env.DASHSCOPE_API_KEY,
  baseURL: "https://dashscope.aliyuncs.com/compatible-mode/v1"
});

const completion = await openai.chat.completions.create({
  model: "qwen3-max",
  messages: [
    {
      role: "system",
      content: [
        {
          type: "text",
          text: "You are a helpful assistant specialized in answering questions about our product documentation. Here is the full reference manual:\n\n[... long reference document ...]",
          cache_control: { type: "ephemeral" }
        }
      ]
    },
    {
      role: "user",
      content: "How do I configure SSO?"
    }
  ]
});

console.log(completion.usage);
// 检查 completion.usage.prompt_tokens_details.cached_tokens 确认缓存命中

curl -X POST https://dashscope.aliyuncs.com/compatible-mode/v1/chat/completions \
  -H "Authorization: Bearer $DASHSCOPE_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "qwen3-max",
    "messages": [
      {
        "role": "system",
        "content": [
          {
            "type": "text",
            "text": "You are a helpful assistant specialized in answering questions about our product documentation. Here is the full reference manual:\n\n[... long reference document ...]",
            "cache_control": {"type": "ephemeral"}
          }
        ]
      },
      {
        "role": "user",
        "content": "How do I configure SSO?"
      }
    ]
  }'

{
  "usage": {
    "prompt_tokens": 1520,
    "completion_tokens": 85,
    "total_tokens": 1605,
    "prompt_tokens_details": {
      "cached_tokens": 1480,
      "cache_creation_input_tokens": 0
    }
  }
}

​

提高缓存命中率的技巧

• 保持系统提示词稳定。 缓存前缀的任何变化——哪怕一个字符——都会使缓存失效。对系统提示词进行版本管理，谨慎更新。
• 提示词结构：静态前缀 + 动态后缀。 系统指令和参考文档放前面，用户输入和 RAG 上下文放后面，最大化请求间的重叠部分。
• 在 5 分钟窗口内发送请求。 显式缓存和会话缓存在 5 分钟无活动后过期。对于低流量应用，可以定期发送保活请求。

​

综合应用

​

非文本模态速查表

​

下一步

• 流式输出——流式输出 token，缩短首次可见输出时间
• 上下文缓存——缓存模式详解、支持模型和定价
• 模型选择——对比模型能力、速度和定价
• 文生图——上线注意事项——图像生成的生产模式
• 实时流式 TTS——低延迟流式语音合成
• ASR 实时识别——基于 WebSocket 的实时语音识别
• 成本优化——与延迟优化互补的成本策略