速率限制概述

什么是速率限制

速率限制是指用户 API 在指定时间内访问智能创作平台服务频次规则。

1.1为什么做速率限制

速率限制是 API 的常见做法,其实施原因如下:

  • 保障资源的公平性及合理利用:确保资源公平使用。 防止某些用户过多请求,影响其他用户的正常使用体验。
  • 防止请求过载:提高服务可靠性。帮助管理平台总体负载,避免因请求激增而导致服务器出现性能问题。
  • 安全防护:防止恶意性攻击,导致平台过载甚至服务中断。

1.2 免费模型速率说明

  1. 智能创作平台对平台的免费模型做了不同规则的速率限制。
  2. 免费模型调用免费,账户的费用账单中看到此类模型的费用为调用消耗是 0。
  3. 免费模型的速率固定。对于部分免费模型,平台同时提供的速率限制不同

示例:

ERNIE-Lite-Pro-128K 速率:TPM = 800000 RPM = 10000

AIDC-AI/Marco-o1 速率:TPM = 50,000 RPM = 1,000

注:

  • TPM:Tokens Per Minute,每分钟内⽤户可以访问服务器所所消耗的token数所作出的限制
  • RPM:Requests Per Minute,每分钟内⽤户可以访问服务器的次数所作出的限制