RATE LIMITS
把限流当成正常边界处理。
账户、密钥、模型和上游容量可能共同影响请求频率。平台不承诺所有模型共用一个固定并发值。
客户端必须做到
- 01只重试可恢复错误
429、502、503、504 可有限重试;参数错误和无效密钥不要自动重试。
- 02指数退避并加入抖动
建议从 1 秒开始,逐次增加等待时间,并设置最大次数和总超时。
- 03保留请求 ID
记录时间、模型、状态码和响应中的请求 ID,排障时不要提交完整密钥或提示词。
- 04准备降级路径
关键业务应准备已验收的备用模型,并限制并发放大。
为什么不写一个统一 RPM?
真实限制会受账户策略、密钥配置、模型容量和上游状态影响。没有在账户中明确配置的数值,不应被文档虚构成平台承诺。需要固定容量时,请带上模型、并发和平均 Token 量联系技术支持评估。