在高并发场景下复用 HTTP 连接,减少资源消耗、避免请求超时。
连接复用
DashScope SDK 支持通过复用已有连接来减少资源消耗,提高请求处理效率。
- Java SDK:内置连接池机制,默认启用,可配置连接数、超时时间等参数。
- Python SDK:通过传入自定义 HTTP 客户端实现连接复用,支持同步和异步两种方式。
Java SDK
DashScope Java SDK 内置连接池机制,默认启用。建议根据业务并发量调整连接数和超时时间,优化连接复用效果。
配置参数说明
| 参数 | 含义 | 默认值 | 单位 | 备注 |
|---|---|---|---|---|
connectTimeout | 建立连接的超时时间。 | 120 | 秒 | 低延迟场景中,建议设置较短的连接超时时间,以减少等待时间。 |
readTimeout | 读取数据的超时时间。 | 300 | 秒 | |
writeTimeout | 写入数据的超时时间。 | 60 | 秒 | |
connectionIdleTimeout | 连接池中空闲连接的超时时间。 | 300 | 秒 | 高并发场景下适当延长,可避免频繁创建连接。 |
connectionPoolSize | 连接池中的最大连接数。 | 32 | 个 | 高并发场景下,连接数过低可能导致请求阻塞或频繁建连,过高会增加服务端负载,建议按需调整。 |
maximumAsyncRequests | 最大并发请求数(包含所有主机的全局限制),需小于或等于连接池最大连接数,否则可能出现请求阻塞。 | 32 | 个 | |
maximumAsyncRequestsPerHost | 单台主机的最大并发请求数,需小于或等于最大并发请求数。 | 32 | 个 |
代码示例
运行代码前,请配置 API Key 到环境变量并安装最新版 SDK。
以下示例展示如何配置连接池参数(超时时间、最大连接数等)并调用模型服务,可根据实际并发量调整参数。
Python SDK
DashScope Python SDK 通过传入自定义 HTTP 客户端(httpx.Client / httpx.AsyncClient)实现连接复用,支持 HTTP 异步和 HTTP 同步两种调用方式。
HTTP 异步调用方式
异步场景下,通过 httpx.AsyncClient 配合 httpx.Limits 实现连接复用。httpx.Limits 支持以下参数:
| 参数 | 含义 | 默认值 | 备注 |
|---|---|---|---|
max_connections | 总连接数限制。 | None(无限制) | 高并发场景下适当增大可提高并发能力。 |
max_keepalive_connections | 保持长连接的最大数量。 | None(无限制) | 控制连接池中保持活跃的连接数,避免对单一服务端造成过大压力。 |
keepalive_expiry | 长连接保活时间。 | 5.0(秒) | 空闲长连接超过该时长后自动关闭。 |
代码示例
运行代码前,请配置 API Key 到环境变量并安装最新版 SDK。
HTTP 同步调用方式
同步场景下,通过 httpx.Client 实现连接复用。同一个 HTTP 客户端内的多次请求会复用底层 TCP 连接,避免重复建连的开销。
代码示例
运行代码前,请配置 API Key 到环境变量并安装最新版 SDK。
最佳实践
- Java SDK:根据业务并发量合理配置
connectionPoolSize、maximumAsyncRequests等参数,避免连接数过高或过低。 - Python SDK:推荐使用
with语句自动管理 HTTP 客户端的生命周期,确保资源正确释放。 - 选择合适的调用方式:异步架构(如 asyncio、FastAPI)使用异步调用,传统同步架构使用同步调用。
错误码
如果模型调用失败(Python SDK 会抛出 DashScopeError 异常,HTTP 调用返回报错信息),请参见错误码进行排查。