Unlimited AI API 請求:速率限制說明
你能進行無限的 AI API 請求嗎?此 API 無每月配額,但有兩項速率限制:每分鐘請求數與同時請求數。以下說明其實際意義及如何編寫符合限制的程式碼。
更新於
重點摘要
- 完整金鑰允許每分鐘 300 次請求與 8 個並行請求;試用金鑰允許每分鐘 60 次與 2 個並行請求。
- 錯誤代碼為 rate_limited 的 429 表示每分鐘請求過多;錯誤代碼為 concurrency 表示同時請求過多。
- 串流請求會佔用並行槽位直到串流結束。
- 使用數量為 8 的訊號量,並以退避策略重試 429,遵守 Retry-After 標頭。


兩項限制並列
若指「無每月上限」的無限 AI API 請求,你已獲得保障:計費為預付且按 token 計算,無請求配額。限制吞吐量的是兩項保護共用 GPU 的速率限制。
| 金鑰類型 | 每分鐘請求數 | 並行請求 |
|---|---|---|
| 完整金鑰 | 300 | 8 |
| 試用金鑰 | 60 | 2 |
其他固定限制:請求主體最大 8 MB,上下文視窗為 100,000 token(提示詞加補完)。這些限制適用於每次請求,而非每分鐘。
兩項速率限制是獨立的。若每個請求耗時較長,即使每分鐘僅發送 20 次請求也可能超過並行限制;若請求極快且短,則可能超過每分鐘限制。
數字對實際負載的意義
快速估算負載的方法是利特爾定律:並行請求數 = 到達率 x 平均持續時間。
- 聊天機器人,100 個活躍使用者。 若每個使用者每 60 秒發送一次訊息,即為每分鐘 100 個請求,遠低於 300。每個回覆約需 10 秒,因此平均並行度為 (100 / 60) x 10,約為 17。這超過了 8,因此你需要佇列機制,而不僅僅是重試迴圈。
- 10,000 個短提示詞批次。 以每分鐘 300 個的速度,最短運行時間為 10,000 / 300 = 33.3 分鐘。要達到每分鐘 300 個請求且使用 8 個槽位,請求耗時平均必須為 1.6 秒 (8 x 60 / 300)。較長的請求會將瓶頸轉向並行度:若每個請求耗時 8 秒,8 個槽位每分鐘僅能處理 60 個請求,任務約需 167 分鐘。
- 單一開發者腳本。 一次或兩次請求遠不會觸及任何限制。
教訓是:對於長時間生成,並行性幾乎總是第一個觸及的限制。短輸出則會觸及每分鐘上限。
讀取速率限制標頭
每個回應都包含你可以記錄或用於調整的標頭:
X-RateLimit-Limit-Requests:每分鐘請求次數上限。X-RateLimit-Limit-Concurrency:你的並行限制。X-Balance-USD:剩餘額度。X-Request-Id:若出現異常,請引用此標頭以尋求支援。
使用 OpenAI Python SDK 時,使用原始回應包裝器即可查看這些標頭:
from openai import OpenAI
client = OpenAI(base_url="https://api.unlimitedaiapi.com/v1", api_key="YOUR_KEY")
raw = client.chat.completions.with_raw_response.create(
model="uncensored",
messages=[{"role": "user", "content": "Reply with one word."}],
)
print(raw.headers.get("X-RateLimit-Limit-Requests"))
print(raw.headers.get("X-RateLimit-Limit-Concurrency"))
print(raw.headers.get("X-Balance-USD"))
completion = raw.parse()
print(completion.choices[0].message.content)
在啟動時檢查這些標頭,並根據並行值調整工作佇列大小,而非硬編碼 8。這樣程式碼即可同時適用於試用金鑰與完整金鑰。
429 告訴你什麼
超過限制會回傳 HTTP 429 與錯誤代碼:
rate_limited:每分鐘請求過多。請減慢速度。concurrency:進行中的請求過多。等待一個完成。
當 API 暫時過載時,也會回傳 HTTP 429 狀態碼,並附上 Retry-After: 5 標頭。在所有情況下,正確的回應方式相同:等待,然後重試,並在標頭存在時使用其值。
串流的一個陷阱:串流請求會佔用其並行槽位直到串流結束。若客戶端開啟串流後停止讀取,或 UI 保持連線掛起,這些槽位會保持忙碌。請務必關閉你放棄的串流。
尊重兩項限制的批次執行器
此腳本最多保持 8 個請求處於執行狀態,間隔開始時間以維持每分鐘低於 300 個請求,並以退避策略重試 429。調整 CONCURRENCY 和 RPM 以適用試用金鑰。
import asyncio, random
from openai import AsyncOpenAI, RateLimitError
client = AsyncOpenAI(base_url="https://api.unlimitedaiapi.com/v1", api_key="YOUR_KEY", max_retries=0)
CONCURRENCY, RPM = 8, 300
sem = asyncio.Semaphore(CONCURRENCY)
interval = 60 / RPM # 0.2 s between starts
async def call(prompt, attempt=0):
async with sem:
try:
r = await client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": prompt}],
)
return r.choices[0].message.content
except RateLimitError as e:
if attempt >= 6:
raise
wait = float(e.response.headers.get("Retry-After", 5)) + random.random()
await asyncio.sleep(wait * (1.5 ** attempt))
return await call(prompt, attempt + 1)
async def main(prompts):
tasks = []
for p in prompts:
tasks.append(asyncio.create_task(call(p)))
await asyncio.sleep(interval)
return await asyncio.gather(*tasks)
results = asyncio.run(main(["Summarise: ..."] * 50))
在等待 429 的睡眠期間會釋放訊號量,因此其他任務得以繼續進行。在客戶端設定 max_retries=0 可防止 SDK 在你的重試機制之上執行其內部的隱藏重試。
高流量設計建議
- 佇列,不要扇出。 具有 8 個工作程序的作業佇列優於為每個請求生成執行緒並重試。
- 加入抖動。 若許多工作程序在相同時間內退避,它們會同時返回並再次碰撞。
- 限制輸出。 設定
max_tokens可降低呼叫持續時間,從而在並行上限內提高有效吞吐量。 - 若任務允許,偏好較少但較大的提示詞,例如每次請求分類 20 個項目而非一個。這可將請求數量減少 20 倍。注意 100,000 token 的視窗限制。
- 追蹤成本與速度。 每 1M 輸入 token 為 $0.15,每 1M 輸出 token 為 $0.50。一個包含 2,000 個輸入 token 與 300 個輸出 token 的 10,000 次請求任務成本為 $4.50。請見 定價頁面 了解儲值金額與獎金。
若完整金鑰的限制對你的產品而言太低,請透過 支援頁面 告知,並附上你的預期請求速率與平均輸出長度。
看似限制的常見錯誤
某些故障看似速率限制,但原因不同。
重試風暴
在每次 429 時立即重試的客戶端會使問題惡化。十個工作程序無延遲地重試會使每分鐘計數器卡在上限,導致它們都無法成功。在大量請求時,帶有抖動的退避機制並非可選。
計算請求而非嘗試次數
你的重試也計入請求。若你的配額為每分鐘 300 次,且 20% 的呼叫被重試,則你的實際需求為 360。透過以限制約 80% 的速度運行起始迴圈來進行預算,例如每分鐘 240 次。
取消工作的超時
若你的客戶端在 30 秒後放棄,但伺服器仍在生成,你可能在第一個請求仍佔用槽位時開啟替換請求。將客戶端超時設定高於你預期的最長生成時間,或降低 max_tokens。
快速手動測試
若要故意觸發試用金鑰的限制,請同時發送三個請求:
for i in 1 2 3; do
curl -s -o /dev/null -w "%{http_code}
" https://api.unlimitedaiapi.com/v1/chat/completions -H "Authorization: Bearer YOUR_KEY" -H "Content-Type: application/json" -d '{"model":"uncensored","messages":[{"role":"user","content":"Write a 300 word story."}]}' &
done; wait
對於試用金鑰(2 個並行),你應該看到兩個 200 回應與一個 429。
下一步該去哪
在 API 金鑰頁面 取得金鑰;一鍵免費試用額度足以讓你針對真實的 429 錯誤測試重試邏輯,因為試用金鑰的每分鐘 60 個請求與 2 個並行限制很容易故意觸發。文件 列出了所有端點,LangChain 與代理程式說明 則展示如何在代理程式框架內限制並行請求,其中一個使用者任務可能會產生多個並行請求。
更多指南
問答
API 呼叫有每日或每月限制嗎?
沒有。計費方式為按 token 預付額度,且沒有呼叫配額。僅適用每分鐘與並行請求限制。
當我超過每分鐘 300 次請求時會發生什麼事?
API 以錯誤代碼 rate_limited 回應 HTTP 429。等待並重試,若存在 Retry-After 標頭則使用其值。
為什麼在低流量下仍會收到並行請求錯誤?
長時間的生成與開啟的串流輸出會佔用槽位直到完成。八個慢速請求就足以耗盡金鑰的完整配額,因此請限制 max_tokens 並關閉未使用的串流。
429 回應會計費嗎?
不會。失敗或被拒絕的請求不會收費。
只差一張表單,即可取得金鑰
建立帳號、複製金鑰、更改基礎 URL。這就是整個設定過程。