Unlimited AI API 调用:速率限制详解
你可以进行无限 AI API 调用吗?此 API 没有月度配额,但有两个速率限制:每分钟请求数和同时请求数。以下是它们的实际含义以及如何编写代码以保持在限制范围内。
更新于
要点
- 完整密钥允许每分钟 300 次请求和 8 个并发请求;试用密钥允许 60 和 2。
- 429 且 code 为 rate_limited 表示每分钟请求过多;code 为 concurrency 表示同时请求过多。
- 流式请求会占用并发槽位直到流结束。
- 使用 8 个信号量,对 429 进行退避重试,遵守 Retry-After。


两个限制并排
就“无月度上限”而言的无限 AI API 调用,你已得到保障:计费为预付且按 token,无调用配额。限制吞吐量的是保护共享 GPU 的一对速率限制。
| 密钥类型 | 每分钟请求数 | 并发请求 |
|---|---|---|
| 完整密钥 | 300 | 8 |
| 试用密钥 | 60 | 2 |
其他固定限制:请求体最多 8 MB,100,000 token 上下文窗口(提示词加补全)。这些限制适用于每次请求,而非每分钟。
两个速率限制是独立的。如果每个请求耗时很长,你可以在每分钟仅发送 20 次请求时突破并发限制;如果请求非常快且短,你可以突破每分钟限制。
数字对实际工作负载的含义
快速估算工作负载的一种方法是利特尔法则:并发请求 = 到达率 x 平均持续时间。
- 聊天机器人,100 个活跃用户。 如果每个用户每 60 秒发送一条消息,即每分钟 100 次请求,远低于 300。每条回复耗时约 10 秒,因此平均并发为 (100 / 60) x 10,约 17。这超过了 8,因此你需要队列,而不仅仅是重试循环。
- 10,000 个短提示词的批处理。 以每分钟 300 次的速度,最短运行时间为 10,000 / 300 = 33.3 分钟。以 8 个槽位达到每分钟 300 次,调用平均耗时需为 1.6 秒 (8 x 60 / 300)。更长的调用会将瓶颈转移到并发:每次调用 8 秒,8 个槽位每分钟提供 60 次调用,任务耗时约 167 分钟。
- 单个开发人员脚本。 一次或两次请求永远不会接近任一限制。
教训是,对于长生成,并发几乎总是你首先遇到的限制。短输出则达到每分钟上限。
读取速率限制头
每个响应都带有你可以记录或用于适应的头:
X-RateLimit-Limit-Requests:你的每分钟请求速率限制。X-RateLimit-Limit-Concurrency:你的并发限制。X-Balance-USD:剩余额度。X-Request-Id:如果出现问题,引用此 ID 以获取支持。
使用 OpenAI Python SDK,使用原始响应包装器查看它们:
from openai import OpenAI
client = OpenAI(base_url="https://api.unlimitedaiapi.com/v1", api_key="YOUR_KEY")
raw = client.chat.completions.with_raw_response.create(
model="uncensored",
messages=[{"role": "user", "content": "Reply with one word."}],
)
print(raw.headers.get("X-RateLimit-Limit-Requests"))
print(raw.headers.get("X-RateLimit-Limit-Concurrency"))
print(raw.headers.get("X-Balance-USD"))
completion = raw.parse()
print(completion.choices[0].message.content)
在启动时检查这些值,并根据并发值调整工作池大小,而不是硬编码 8。这样,同一代码既适用于试用密钥,也适用于完整密钥。
429 告诉你什么
超过限制将返回 HTTP 429 错误代码:
rate_limited:每分钟请求过多。放慢速度。concurrency:进行中的请求过多。等待一个完成。
当 API 暂时过载时,还会返回带有 Retry-After: 5 头的 429。在所有情况下,正确的响应都是相同的:等待,然后重试,如果存在头值,则使用它。
流式传输的一个陷阱:流式请求占用其并发槽位,直到流结束。如果客户端打开流然后停止读取,或者 UI 让连接挂起,这些槽位将保持忙碌。始终关闭你放弃的流。
尊重两个限制的批处理运行器
此脚本保持最多 8 个请求同时进行,间隔开始以保持低于每分钟 300 次,并以退避方式重试 429。为试用密钥调整 CONCURRENCY 和 RPM。
import asyncio, random
from openai import AsyncOpenAI, RateLimitError
client = AsyncOpenAI(base_url="https://api.unlimitedaiapi.com/v1", api_key="YOUR_KEY", max_retries=0)
CONCURRENCY, RPM = 8, 300
sem = asyncio.Semaphore(CONCURRENCY)
interval = 60 / RPM # 0.2 s between starts
async def call(prompt, attempt=0):
async with sem:
try:
r = await client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": prompt}],
)
return r.choices[0].message.content
except RateLimitError as e:
if attempt >= 6:
raise
wait = float(e.response.headers.get("Retry-After", 5)) + random.random()
await asyncio.sleep(wait * (1.5 ** attempt))
return await call(prompt, attempt + 1)
async def main(prompts):
tasks = []
for p in prompts:
tasks.append(asyncio.create_task(call(p)))
await asyncio.sleep(interval)
return await asyncio.gather(*tasks)
results = asyncio.run(main(["Summarise: ..."] * 50))
在 429 休眠时释放信号量,以便其他任务继续移动。在客户端上设置 max_retries=0 可防止 SDK 在你的重试之上执行其自己的隐藏重试。
高容量设计建议
- 队列,不要扇出。 具有 8 个工作人员的作业队列优于为每个请求生成线程并重试。
- 添加抖动。 如果许多工作人员以相同时间退避,它们将同时返回并再次碰撞。
- 限制输出。 设置
max_tokens可降低调用持续时间,从而在并发上限下提高有效吞吐量。 - 在任务允许的情况下,偏好更少、更大的提示词,例如每次请求分类 20 个项目而不是一个。这将请求量减少 20 倍。注意 100,000 token 窗口。
- 将成本与速度一起跟踪。 每 1M 输入 token $0.15,每 1M 输出 token $0.50,10,000 次请求的任务,输入 2,000 token,输出 300 token,成本为 $4.50。查看 定价页面 了解充值金额和奖金。
如果完整密钥的限制对你的产品来说太低,请通过 支持页面 告知我们,并提供你预期的请求速率和平均输出长度。
看似限制的常见错误
一些故障看似速率限制,但原因不同。
重试风暴
客户端在每次遇到 429 时立即重试会加剧问题。十个工作线程无延迟地重试会使每分钟计数器保持在上限,导致它们都无法成功。在大规模并发下,带抖动的退避不是可选的。
计算请求,而不是尝试
重试也会计为请求。如果你的计划限制为每分钟 300 次,且 20% 的调用会重试,你的实际需求是 360。通过以约 80% 的限制值运行 起始循环来为此做预算,例如每分钟 240 次。
取消工作的超时
如果你的客户端在 30 秒后放弃,但服务器仍在生成内容,你可能会发起替换请求,而第一个请求仍占用一个槽位。将客户端超时时间设置为高于你预期的最长生成时间,或降低 max_tokens。
快速手动测试
为了在试用密钥上故意触发限制,同时发送三个请求:
for i in 1 2 3; do
curl -s -o /dev/null -w "%{http_code}
" https://api.unlimitedaiapi.com/v1/chat/completions -H "Authorization: Bearer YOUR_KEY" -H "Content-Type: application/json" -d '{"model":"uncensored","messages":[{"role":"user","content":"Write a 300 word story."}]}' &
done; wait
在试用密钥(2 个并发)上,你应该看到两个 200 响应和一个 429。
下一步操作
在 API 密钥页面获取密钥;一次性试用额度足以让你针对真实的 429 错误测试重试逻辑,因为试用密钥的每分钟 60 次和 2 个并发限制很容易故意触发。文档列出了所有接口,LangChain 和代理指南展示了如何在代理框架内限制并发,因为一个用户任务可能会生成多个并发调用。
更多指南
问答
API 调用是否有每日或每月限制?
没有。计费是按 token 预付的,没有调用配额。仅适用每分钟限制和并发限制。
当我超过每分钟 300 次请求时会发生什么?
API 返回 HTTP 429 错误码 rate_limited。等待后重试,如果存在 Retry-After 响应头,请遵循该头。
为什么在低流量下会出现并发错误?
长生成和开放流会占用槽位直到完成。八个慢请求就足以占满密钥的所有槽位,因此请限制 max_tokens 并关闭未使用的流。
429 响应会收费吗?
不会。失败或被拒绝的请求不收费。
只差一张表单,即可获得密钥
创建账户,复制密钥,更改基础 URL。这就是全部设置。