繁中 ▾
取得 API 金鑰

Unlimited AI API 請求:速率限制說明

你能進行無限的 AI API 請求嗎?此 API 無每月配額,但有兩項速率限制:每分鐘請求數與同時請求數。以下說明其實際意義及如何編寫符合限制的程式碼。

更新於

重點摘要

  • 完整金鑰允許每分鐘 300 次請求與 8 個並行請求;試用金鑰允許每分鐘 60 次與 2 個並行請求。
  • 錯誤代碼為 rate_limited 的 429 表示每分鐘請求過多;錯誤代碼為 concurrency 表示同時請求過多。
  • 串流請求會佔用並行槽位直到串流結束。
  • 使用數量為 8 的訊號量,並以退避策略重試 429,遵守 Retry-After 標頭。
八個資料包通道排隊通過單一閘道,說明 API 速率限制與並行請求
天平秤著發光的 token 方塊與硬幣,說明按 token 計費的 API 成本

兩項限制並列

若指「無每月上限」的無限 AI API 請求,你已獲得保障:計費為預付且按 token 計算,無請求配額。限制吞吐量的是兩項保護共用 GPU 的速率限制。

金鑰類型每分鐘請求數並行請求
完整金鑰3008
試用金鑰602

其他固定限制:請求主體最大 8 MB,上下文視窗為 100,000 token(提示詞加補完)。這些限制適用於每次請求,而非每分鐘。

兩項速率限制是獨立的。若每個請求耗時較長,即使每分鐘僅發送 20 次請求也可能超過並行限制;若請求極快且短,則可能超過每分鐘限制。

數字對實際負載的意義

快速估算負載的方法是利特爾定律:並行請求數 = 到達率 x 平均持續時間。

  • 聊天機器人,100 個活躍使用者。 若每個使用者每 60 秒發送一次訊息,即為每分鐘 100 個請求,遠低於 300。每個回覆約需 10 秒,因此平均並行度為 (100 / 60) x 10,約為 17。這超過了 8,因此你需要佇列機制,而不僅僅是重試迴圈。
  • 10,000 個短提示詞批次。 以每分鐘 300 個的速度,最短運行時間為 10,000 / 300 = 33.3 分鐘。要達到每分鐘 300 個請求且使用 8 個槽位,請求耗時平均必須為 1.6 秒 (8 x 60 / 300)。較長的請求會將瓶頸轉向並行度:若每個請求耗時 8 秒,8 個槽位每分鐘僅能處理 60 個請求,任務約需 167 分鐘。
  • 單一開發者腳本。 一次或兩次請求遠不會觸及任何限制。

教訓是:對於長時間生成,並行性幾乎總是第一個觸及的限制。短輸出則會觸及每分鐘上限。

讀取速率限制標頭

每個回應都包含你可以記錄或用於調整的標頭:

  • X-RateLimit-Limit-Requests:每分鐘請求次數上限。
  • X-RateLimit-Limit-Concurrency:你的並行限制。
  • X-Balance-USD:剩餘額度。
  • X-Request-Id:若出現異常,請引用此標頭以尋求支援。

使用 OpenAI Python SDK 時,使用原始回應包裝器即可查看這些標頭:

from openai import OpenAI

client = OpenAI(base_url="https://api.unlimitedaiapi.com/v1", api_key="YOUR_KEY")

raw = client.chat.completions.with_raw_response.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Reply with one word."}],
)
print(raw.headers.get("X-RateLimit-Limit-Requests"))
print(raw.headers.get("X-RateLimit-Limit-Concurrency"))
print(raw.headers.get("X-Balance-USD"))
completion = raw.parse()
print(completion.choices[0].message.content)

在啟動時檢查這些標頭,並根據並行值調整工作佇列大小,而非硬編碼 8。這樣程式碼即可同時適用於試用金鑰與完整金鑰。

429 告訴你什麼

超過限制會回傳 HTTP 429 與錯誤代碼:

  • rate_limited:每分鐘請求過多。請減慢速度。
  • concurrency:進行中的請求過多。等待一個完成。

當 API 暫時過載時,也會回傳 HTTP 429 狀態碼,並附上 Retry-After: 5 標頭。在所有情況下,正確的回應方式相同:等待,然後重試,並在標頭存在時使用其值。

串流的一個陷阱:串流請求會佔用其並行槽位直到串流結束。若客戶端開啟串流後停止讀取,或 UI 保持連線掛起,這些槽位會保持忙碌。請務必關閉你放棄的串流。

尊重兩項限制的批次執行器

此腳本最多保持 8 個請求處於執行狀態,間隔開始時間以維持每分鐘低於 300 個請求,並以退避策略重試 429。調整 CONCURRENCY 和 RPM 以適用試用金鑰。

import asyncio, random
from openai import AsyncOpenAI, RateLimitError

client = AsyncOpenAI(base_url="https://api.unlimitedaiapi.com/v1", api_key="YOUR_KEY", max_retries=0)
CONCURRENCY, RPM = 8, 300
sem = asyncio.Semaphore(CONCURRENCY)
interval = 60 / RPM  # 0.2 s between starts

async def call(prompt, attempt=0):
    async with sem:
        try:
            r = await client.chat.completions.create(
                model="uncensored",
                messages=[{"role": "user", "content": prompt}],
            )
            return r.choices[0].message.content
        except RateLimitError as e:
            if attempt >= 6:
                raise
            wait = float(e.response.headers.get("Retry-After", 5)) + random.random()
            await asyncio.sleep(wait * (1.5 ** attempt))
    return await call(prompt, attempt + 1)

async def main(prompts):
    tasks = []
    for p in prompts:
        tasks.append(asyncio.create_task(call(p)))
        await asyncio.sleep(interval)
    return await asyncio.gather(*tasks)

results = asyncio.run(main(["Summarise: ..."] * 50))

在等待 429 的睡眠期間會釋放訊號量,因此其他任務得以繼續進行。在客戶端設定 max_retries=0 可防止 SDK 在你的重試機制之上執行其內部的隱藏重試。

高流量設計建議

  • 佇列,不要扇出。 具有 8 個工作程序的作業佇列優於為每個請求生成執行緒並重試。
  • 加入抖動。 若許多工作程序在相同時間內退避,它們會同時返回並再次碰撞。
  • 限制輸出。 設定 max_tokens 可降低呼叫持續時間,從而在並行上限內提高有效吞吐量。
  • 若任務允許,偏好較少但較大的提示詞,例如每次請求分類 20 個項目而非一個。這可將請求數量減少 20 倍。注意 100,000 token 的視窗限制。
  • 追蹤成本與速度。 每 1M 輸入 token 為 $0.15,每 1M 輸出 token 為 $0.50。一個包含 2,000 個輸入 token 與 300 個輸出 token 的 10,000 次請求任務成本為 $4.50。請見 定價頁面 了解儲值金額與獎金。

若完整金鑰的限制對你的產品而言太低,請透過 支援頁面 告知,並附上你的預期請求速率與平均輸出長度。

看似限制的常見錯誤

某些故障看似速率限制,但原因不同。

重試風暴

在每次 429 時立即重試的客戶端會使問題惡化。十個工作程序無延遲地重試會使每分鐘計數器卡在上限,導致它們都無法成功。在大量請求時,帶有抖動的退避機制並非可選。

計算請求而非嘗試次數

你的重試也計入請求。若你的配額為每分鐘 300 次,且 20% 的呼叫被重試,則你的實際需求為 360。透過以限制約 80% 的速度運行起始迴圈來進行預算,例如每分鐘 240 次。

取消工作的超時

若你的客戶端在 30 秒後放棄,但伺服器仍在生成,你可能在第一個請求仍佔用槽位時開啟替換請求。將客戶端超時設定高於你預期的最長生成時間,或降低 max_tokens。

快速手動測試

若要故意觸發試用金鑰的限制,請同時發送三個請求:

for i in 1 2 3; do
  curl -s -o /dev/null -w "%{http_code}
" https://api.unlimitedaiapi.com/v1/chat/completions     -H "Authorization: Bearer YOUR_KEY" -H "Content-Type: application/json"     -d '{"model":"uncensored","messages":[{"role":"user","content":"Write a 300 word story."}]}' &
done; wait

對於試用金鑰(2 個並行),你應該看到兩個 200 回應與一個 429。

下一步該去哪

在 API 金鑰頁面 取得金鑰;一鍵免費試用額度足以讓你針對真實的 429 錯誤測試重試邏輯,因為試用金鑰的每分鐘 60 個請求與 2 個並行限制很容易故意觸發。文件 列出了所有端點,LangChain 與代理程式說明 則展示如何在代理程式框架內限制並行請求,其中一個使用者任務可能會產生多個並行請求。

問答

API 呼叫有每日或每月限制嗎?

沒有。計費方式為按 token 預付額度,且沒有呼叫配額。僅適用每分鐘與並行請求限制。

當我超過每分鐘 300 次請求時會發生什麼事?

API 以錯誤代碼 rate_limited 回應 HTTP 429。等待並重試,若存在 Retry-After 標頭則使用其值。

為什麼在低流量下仍會收到並行請求錯誤?

長時間的生成與開啟的串流輸出會佔用槽位直到完成。八個慢速請求就足以耗盡金鑰的完整配額,因此請限制 max_tokens 並關閉未使用的串流。

429 回應會計費嗎?

不會。失敗或被拒絕的請求不會收費。

只差一張表單,即可取得金鑰

建立帳號、複製金鑰、更改基礎 URL。這就是整個設定過程。

取得 API 金鑰