中文 ▾
获取 API 密钥

Unlimited AI API 调用:速率限制详解

你可以进行无限 AI API 调用吗?此 API 没有月度配额,但有两个速率限制:每分钟请求数和同时请求数。以下是它们的实际含义以及如何编写代码以保持在限制范围内。

更新于

要点

  • 完整密钥允许每分钟 300 次请求和 8 个并发请求;试用密钥允许 60 和 2。
  • 429 且 code 为 rate_limited 表示每分钟请求过多;code 为 concurrency 表示同时请求过多。
  • 流式请求会占用并发槽位直到流结束。
  • 使用 8 个信号量,对 429 进行退避重试,遵守 Retry-After。
八个数据通道通过一个网关排队,说明 API 速率限制和并发
余额秤将发光的 token 方块与硬币进行对比,展示按 token 计费的 API 成本

两个限制并排

就“无月度上限”而言的无限 AI API 调用,你已得到保障:计费为预付且按 token,无调用配额。限制吞吐量的是保护共享 GPU 的一对速率限制。

密钥类型每分钟请求数并发请求
完整密钥3008
试用密钥602

其他固定限制:请求体最多 8 MB,100,000 token 上下文窗口(提示词加补全)。这些限制适用于每次请求,而非每分钟。

两个速率限制是独立的。如果每个请求耗时很长,你可以在每分钟仅发送 20 次请求时突破并发限制;如果请求非常快且短,你可以突破每分钟限制。

数字对实际工作负载的含义

快速估算工作负载的一种方法是利特尔法则:并发请求 = 到达率 x 平均持续时间。

  • 聊天机器人,100 个活跃用户。 如果每个用户每 60 秒发送一条消息,即每分钟 100 次请求,远低于 300。每条回复耗时约 10 秒,因此平均并发为 (100 / 60) x 10,约 17。这超过了 8,因此你需要队列,而不仅仅是重试循环。
  • 10,000 个短提示词的批处理。 以每分钟 300 次的速度,最短运行时间为 10,000 / 300 = 33.3 分钟。以 8 个槽位达到每分钟 300 次,调用平均耗时需为 1.6 秒 (8 x 60 / 300)。更长的调用会将瓶颈转移到并发:每次调用 8 秒,8 个槽位每分钟提供 60 次调用,任务耗时约 167 分钟。
  • 单个开发人员脚本。 一次或两次请求永远不会接近任一限制。

教训是,对于长生成,并发几乎总是你首先遇到的限制。短输出则达到每分钟上限。

读取速率限制头

每个响应都带有你可以记录或用于适应的头:

  • X-RateLimit-Limit-Requests:你的每分钟请求速率限制。
  • X-RateLimit-Limit-Concurrency:你的并发限制。
  • X-Balance-USD:剩余额度。
  • X-Request-Id:如果出现问题,引用此 ID 以获取支持。

使用 OpenAI Python SDK,使用原始响应包装器查看它们:

from openai import OpenAI

client = OpenAI(base_url="https://api.unlimitedaiapi.com/v1", api_key="YOUR_KEY")

raw = client.chat.completions.with_raw_response.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Reply with one word."}],
)
print(raw.headers.get("X-RateLimit-Limit-Requests"))
print(raw.headers.get("X-RateLimit-Limit-Concurrency"))
print(raw.headers.get("X-Balance-USD"))
completion = raw.parse()
print(completion.choices[0].message.content)

在启动时检查这些值,并根据并发值调整工作池大小,而不是硬编码 8。这样,同一代码既适用于试用密钥,也适用于完整密钥。

429 告诉你什么

超过限制将返回 HTTP 429 错误代码:

  • rate_limited:每分钟请求过多。放慢速度。
  • concurrency:进行中的请求过多。等待一个完成。

当 API 暂时过载时,还会返回带有 Retry-After: 5 头的 429。在所有情况下,正确的响应都是相同的:等待,然后重试,如果存在头值,则使用它。

流式传输的一个陷阱:流式请求占用其并发槽位,直到流结束。如果客户端打开流然后停止读取,或者 UI 让连接挂起,这些槽位将保持忙碌。始终关闭你放弃的流。

尊重两个限制的批处理运行器

此脚本保持最多 8 个请求同时进行,间隔开始以保持低于每分钟 300 次,并以退避方式重试 429。为试用密钥调整 CONCURRENCY 和 RPM。

import asyncio, random
from openai import AsyncOpenAI, RateLimitError

client = AsyncOpenAI(base_url="https://api.unlimitedaiapi.com/v1", api_key="YOUR_KEY", max_retries=0)
CONCURRENCY, RPM = 8, 300
sem = asyncio.Semaphore(CONCURRENCY)
interval = 60 / RPM  # 0.2 s between starts

async def call(prompt, attempt=0):
    async with sem:
        try:
            r = await client.chat.completions.create(
                model="uncensored",
                messages=[{"role": "user", "content": prompt}],
            )
            return r.choices[0].message.content
        except RateLimitError as e:
            if attempt >= 6:
                raise
            wait = float(e.response.headers.get("Retry-After", 5)) + random.random()
            await asyncio.sleep(wait * (1.5 ** attempt))
    return await call(prompt, attempt + 1)

async def main(prompts):
    tasks = []
    for p in prompts:
        tasks.append(asyncio.create_task(call(p)))
        await asyncio.sleep(interval)
    return await asyncio.gather(*tasks)

results = asyncio.run(main(["Summarise: ..."] * 50))

在 429 休眠时释放信号量,以便其他任务继续移动。在客户端上设置 max_retries=0 可防止 SDK 在你的重试之上执行其自己的隐藏重试。

高容量设计建议

  • 队列,不要扇出。 具有 8 个工作人员的作业队列优于为每个请求生成线程并重试。
  • 添加抖动。 如果许多工作人员以相同时间退避,它们将同时返回并再次碰撞。
  • 限制输出。 设置 max_tokens 可降低调用持续时间,从而在并发上限下提高有效吞吐量。
  • 在任务允许的情况下,偏好更少、更大的提示词,例如每次请求分类 20 个项目而不是一个。这将请求量减少 20 倍。注意 100,000 token 窗口。
  • 将成本与速度一起跟踪。 每 1M 输入 token $0.15,每 1M 输出 token $0.50,10,000 次请求的任务,输入 2,000 token,输出 300 token,成本为 $4.50。查看 定价页面 了解充值金额和奖金。

如果完整密钥的限制对你的产品来说太低,请通过 支持页面 告知我们,并提供你预期的请求速率和平均输出长度。

看似限制的常见错误

一些故障看似速率限制,但原因不同。

重试风暴

客户端在每次遇到 429 时立即重试会加剧问题。十个工作线程无延迟地重试会使每分钟计数器保持在上限,导致它们都无法成功。在大规模并发下,带抖动的退避不是可选的。

计算请求,而不是尝试

重试也会计为请求。如果你的计划限制为每分钟 300 次,且 20% 的调用会重试,你的实际需求是 360。通过以约 80% 的限制值运行 起始循环来为此做预算,例如每分钟 240 次。

取消工作的超时

如果你的客户端在 30 秒后放弃,但服务器仍在生成内容,你可能会发起替换请求,而第一个请求仍占用一个槽位。将客户端超时时间设置为高于你预期的最长生成时间,或降低 max_tokens。

快速手动测试

为了在试用密钥上故意触发限制,同时发送三个请求:

for i in 1 2 3; do
  curl -s -o /dev/null -w "%{http_code}
" https://api.unlimitedaiapi.com/v1/chat/completions     -H "Authorization: Bearer YOUR_KEY" -H "Content-Type: application/json"     -d '{"model":"uncensored","messages":[{"role":"user","content":"Write a 300 word story."}]}' &
done; wait

在试用密钥(2 个并发)上,你应该看到两个 200 响应和一个 429。

下一步操作

在 API 密钥页面获取密钥;一次性试用额度足以让你针对真实的 429 错误测试重试逻辑,因为试用密钥的每分钟 60 次和 2 个并发限制很容易故意触发。文档列出了所有接口,LangChain 和代理指南展示了如何在代理框架内限制并发,因为一个用户任务可能会生成多个并发调用。

问答

API 调用是否有每日或每月限制?

没有。计费是按 token 预付的,没有调用配额。仅适用每分钟限制和并发限制。

当我超过每分钟 300 次请求时会发生什么?

API 返回 HTTP 429 错误码 rate_limited。等待后重试,如果存在 Retry-After 响应头,请遵循该头。

为什么在低流量下会出现并发错误?

长生成和开放流会占用槽位直到完成。八个慢请求就足以占满密钥的所有槽位,因此请限制 max_tokens 并关闭未使用的流。

429 响应会收费吗?

不会。失败或被拒绝的请求不收费。

只差一张表单,即可获得密钥

创建账户,复制密钥,更改基础 URL。这就是全部设置。

获取 API 密钥