RATE LIMITS

把限流当成正常边界处理。

账户、密钥、模型和上游容量可能共同影响请求频率。平台不承诺所有模型共用一个固定并发值。

客户端必须做到

  1. 01
    只重试可恢复错误

    429、502、503、504 可有限重试;参数错误和无效密钥不要自动重试。

  2. 02
    指数退避并加入抖动

    建议从 1 秒开始,逐次增加等待时间,并设置最大次数和总超时。

  3. 03
    保留请求 ID

    记录时间、模型、状态码和响应中的请求 ID,排障时不要提交完整密钥或提示词。

  4. 04
    准备降级路径

    关键业务应准备已验收的备用模型,并限制并发放大。

为什么不写一个统一 RPM?

真实限制会受账户策略、密钥配置、模型容量和上游状态影响。没有在账户中明确配置的数值,不应被文档虚构成平台承诺。需要固定容量时,请带上模型、并发和平均 Token 量联系技术支持评估。