JA ▾
API キーを取得

Unlimited AI API 呼び出し:レート制限の解説

API呼び出しの回数に制限はありますか?このAPIには月間の使用制限はありませんが、1分あたりのリクエスト数と同時実行数の2つのレート制限があります。実際の運用での意味と、それら内に収まるコードの書き方を以下に示します。

更新日:

主要ポイント

  • フルキーは 1 分あたり 300 リクエストと並列 8 を許可し、トライアルキーは 60 と 2 を許可します。
  • エラーコード rate_limited の 429 は 1 分あたりの制限超過を、エラーコード concurrency は同時実行数の制限超過を示します。
  • ストリーミングリクエストは、ストリームが終了するまで同時実行数のスロットを占有します。
  • セマフォを 8 に設定し、Retry-After を尊重してバックオフで 429 を再試行してください。
1 つのゲートを通るデータパケットのキューを示す図で、API のレート制限と同時実行数を説明しています
トークン立方体が硬貨と天秤にかけられている残高のスケール、トークン単位のAPIコストを視覚化

並べて比較する 2 つの制限

月間制限なしの呼び出しは可能です。課金は前払いでトークン単位、呼び出し制限はありません。スループットを制限するのは、共有GPUを守るレート制限です。

キーの種類1分あたりのリクエスト数同時リクエスト
フルキー3008
トライアルキー602

その他の固定制限:リクエストボディは最大 8 MB、コンテキストウィンドウは 100,000 トークン(プロンプトと補完の合計)です。これらは 1 分あたりの制限ではなく、リクエストごとに適用されます。

2 つのレート制限は独立しています。各リクエストに長時間かかる場合、1 分あたり 20 リクエストのみでも並列数の制限を超えることができます。また、非常に高速で短い呼び出しの場合、1 分あたりの制限を超えることができます。

実際のワークロードにおける数字の意味

ワークロードの規模を把握する簡単な方法は、リトルの法則です:同時実行数 = 到着率 x 平均所要時間。

  • チャットボット、アクティブユーザー 100 名。 各ユーザーが 60 秒ごとにメッセージを送信する場合、1 分あたり 100 リクエストとなり、300 の上限を大幅に下回ります。各返信に約 10 秒かかるため、平均同時実行数は (100 / 60) x 10 で約 17 になります。これは 8 を超えるため、リトライループだけでなくキューイングが必要です。
  • 10,000 件の短いプロンプトのバッチ。 1 分あたり 300 の場合、最短実行時間は 10,000 / 300 = 33.3 分です。1 分あたり 300、8 スロットで達成するには、呼び出しの平均時間が 1.6 秒(8 x 60 / 300)である必要があります。呼び出し時間が長い場合、ボトルネックは並列数にシフトします。呼び出しあたり 8 秒の場合、8 スロットで 1 分あたり 60 件の呼び出しとなり、ジョブには約 167 分かかります。
  • 単一開発者のスクリプト実行。 1 回または 2 回のリクエストでは、どちらの制限にも近づきません。

教訓は、長時間の生成では並列数がほぼ常に最初に達する制限であり、短い出力では 1 分あたりの天井に達することです。

レート制限ヘッダーの読み方

すべてのレスポンスには、ログに記録したり適応に使用したりできるヘッダーが含まれます:

  • X-RateLimit-Limit-Requests:1 分あたりの制限。
  • X-RateLimit-Limit-Concurrency:並列数の制限。
  • X-Balance-USD:残高クレジット。
  • X-Request-Id:不審な点がある場合はサポートに引用してください。

OpenAI Python SDK では、生のレスポンスラッパーを使用してこれらを確認できます:

from openai import OpenAI

client = OpenAI(base_url="https://api.unlimitedaiapi.com/v1", api_key="YOUR_KEY")

raw = client.chat.completions.with_raw_response.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Reply with one word."}],
)
print(raw.headers.get("X-RateLimit-Limit-Requests"))
print(raw.headers.get("X-RateLimit-Limit-Concurrency"))
print(raw.headers.get("X-Balance-USD"))
completion = raw.parse()
print(completion.choices[0].message.content)

起動時にこれを一度確認し、8 をハードコードするのではなく、並列数の値からワーカープールの規模を決定してください。そうすれば、同じコードがトライアルキーとフルキーの両方で機能します。

429があなたに伝えること

制限を超えると HTTP 429 とエラーコードが返されます:

  • rate_limited:1分あたりのリクエストが多すぎます。速度を落としてください。
  • concurrency:進行中のリクエストが多すぎます。1 つが完了するまで待ってください。

API は一時的に過負荷の場合、Retry-After: 5 ヘッダー付きで 429 も返します。どのケースでも適切な対応は同じです:待ち、その後再試行し、ヘッダー値がある場合はそれを使用してください。

ストリーミングに関する注意点:ストリーミングリクエストはストリームが終了するまで並列スロットを占有します。クライアントがストリームを開いて読み取りを停止した場合や、UI が接続を放置した場合、それらのスロットは使用中のままになります。放棄したストリームは必ず閉じてください。

両方の制限を尊重するバッチランナー

このスクリプトは、進行中のリクエストを最大 8 件に制限し、開始間隔を空けて 1 分あたり 300 を下回るようにし、バックオフで 429 を再試行します。トライアルキーの場合は CONCURRENCY と RPM を調整してください。

import asyncio, random
from openai import AsyncOpenAI, RateLimitError

client = AsyncOpenAI(base_url="https://api.unlimitedaiapi.com/v1", api_key="YOUR_KEY", max_retries=0)
CONCURRENCY, RPM = 8, 300
sem = asyncio.Semaphore(CONCURRENCY)
interval = 60 / RPM  # 0.2 s between starts

async def call(prompt, attempt=0):
    async with sem:
        try:
            r = await client.chat.completions.create(
                model="uncensored",
                messages=[{"role": "user", "content": prompt}],
            )
            return r.choices[0].message.content
        except RateLimitError as e:
            if attempt >= 6:
                raise
            wait = float(e.response.headers.get("Retry-After", 5)) + random.random()
            await asyncio.sleep(wait * (1.5 ** attempt))
    return await call(prompt, attempt + 1)

async def main(prompts):
    tasks = []
    for p in prompts:
        tasks.append(asyncio.create_task(call(p)))
        await asyncio.sleep(interval)
    return await asyncio.gather(*tasks)

results = asyncio.run(main(["Summarise: ..."] * 50))

セマフォは 429 で待機中に解放されるため、他のタスクは継続して動作します。クライアントに max_retries=0 を設定すると、SDK による独自の隠れた再試行が抑制されます。

大量処理向けの設計のヒント

  • キューを使用し、ファンアウトしない。 ワーカー 8 個のジョブキューは、リクエストごとにスレッドを生成して再試行するよりも優れています。
  • ジッターを追加する。 多くのワーカーが同じ時間だけバックオフすると、すべてが同時に復帰して再び衝突します。
  • 出力を制限する。 max_tokens を設定すると呼び出し時間が短縮され、並列数の制限内で実効スループットが向上します。
  • 可能であれば、より少ない、大きなプロンプトを優先する。例えば、1 回あたり 1 件ではなく、1 回あたり 20 件の分類など。これによりリクエスト数を 20 分の 1 に削減できます。100,000 トークンのウィンドウに注意してください。
  • コストを速度と同時に追跡してください。 入力トークン100万あたり $0.15、出力トークン100万あたり $0.50 で、入力が2,000トークン、出力が300トークンのリクエスト10,000件のジョブには $4.50 かかります。チャージ額とボーナスについては 料金ページ を参照してください。

フルキーの制限が製品にとって低すぎる場合は、期待されるリクエスト率と平均出力長を記載して サポートページ でお知らせください。

制限と見間違えやすい一般的なミス

レート制限のように見えるが、他の原因による失敗があります。

リトライの嵐

429 エラー発生時に即座に再試行するクライアントは問題を悪化させます。遅延なしで10人のワーカーが再試行すると、1 分あたりのカウントが上限に張り付いたままになり、どれもうまくいきません。ボリュームがある場合は、ジッター付きのバックオフが必須です。

試行ではなくリクエストをカウントする

再試行もリクエストとしてカウントされます。プランが 1 分あたり 300 で、呼び出しの 20% が再試行される場合、実際の需要は 360 です。制限の約 80%(例えば 1 分あたり 240)でスタートループを実行することで、これを見越してください。

作業をキャンセルするタイムアウト

クライアントが30秒後に処理を中断してもサーバーがまだ生成中である場合、最初のリクエストがスロットを占有している間に代替のリクエストを開く可能性があります。クライアントのタイムアウトを最長の予想生成時間より長くするか、max_tokensを小さく設定してください。

クイック手動テスト

トライアルキーで意図的に制限をトリガーさせるには、3 つのリクエストを同時に実行します:

for i in 1 2 3; do
  curl -s -o /dev/null -w "%{http_code}
" https://api.unlimitedaiapi.com/v1/chat/completions     -H "Authorization: Bearer YOUR_KEY" -H "Content-Type: application/json"     -d '{"model":"uncensored","messages":[{"role":"user","content":"Write a 300 word story."}]}' &
done; wait

トライアルキー(並列 2)では、2 件の 200 レスポンスと 1 件の 429 が表示されるはずです。

次のステップ

API キーページでキーを取得してください。トライアルクレジットは、実際の 429 エラーに対してリトライロジックをテストするのに十分な量です。トライアルキーは 1 分あたり 60 リクエスト、並列 2 件の制限があり、意図的にこの制限に達させるのは容易です。ドキュメントにはすべてのエンドポイントが記載されており、LangChain およびエージェントのノートでは、1 つのユーザータスクが複数の同時呼び出しを生成しうるエージェントフレームワーク内で、並列リクエスト数を制限する方法を示しています。

質問と回答

API 呼び出しに日次または月次の制限はありますか?

いいえ。課金はトークン単位の前払いであり、呼び出し枠の制限はありません。適用されるのは、1 分あたりの制限と並列制限のみです。

1 分あたり 300 リクエストを超えた場合どうなりますか?

APIはエラーコード rate_limited のHTTP 429を返します。待機して再試行し、Retry-After ヘッダーが含まれている場合はそれを使用してください。

なぜ低トラフィックでも並列制限エラーが発生するのですか?

長時間の生成処理やオープンなストリームは、完了するまでスロットを占有します。遅いリクエストが 8 件あればキーの上限に達するため、max_tokens を制限し、未使用のストリームを閉じてください。

429レスポンスは課金されるか?

いいえ。失敗または拒否されたリクエストは課金されません。

キーはフォーム 1 つで手に入ります

アカウントを作成し、キーをコピーし、ベースURLを変更します。これでセットアップは完了です。

API キーを取得