KO ▾
API 키 받기

Unlimited AI API 호출: 속도 제한 설명

무제한 ai api 호출이 가능한가요? 이 API에는 월간 할당량이 없지만 두 가지 속도 제한(분당 요청 수, 동시 요청 수)이 있습니다. 실제 의미와 이를 준수하는 코드 작성 방법을 확인하세요.

업데이트

주요 포인트

  • 전체 키는 분당 300회, 동시 8개 요청을 허용하며, 체험 키는 분당 60회, 동시 2개를 허용합니다.
  • code rate_limited가 있는 429는 분당 초과를 의미하며, code concurrency는 동시 초과를 의미합니다.
  • 스트리밍 요청은 스트림이 끝날 때까지 동시 요청 슬롯을 점유합니다.
  • 세마포어 8을 사용하고 Retry-After를 준수하며 백오프로 429를 재시도하세요.
하나의 게이트를 통해 큐에 쌓이는 데이터 패킷 8개의 레인을 나타내어 API 속도 제한 및 동시성을 시각화합니다.
발광 토큰 큐브와 동전을 저울에 달아 토큰별 API 비용을 설명하는 일러스트

두 가지 제한 사항 병렬 비교

"월간 한도 없음" 관점의 unlimited ai api 호출은 지원됩니다. 선불 토큰 기반 결제이며 호출 할당량이 없습니다. 처리량을 제한하는 것은 공유 GPU를 보호하기 위한 두 가지 속도 제한입니다.

키 유형분당 요청 수동시 요청
전체 키3008
체험 키602

기타 고정 제한: 최대 8 MB 요청 본문 및 100,000 토큰 컨텍스트 창(프롬프트 및 완성 포함). 이는 분당이 아닌 요청별로 적용됩니다.

두 속도 제한은 독립적입니다. 각 요청이 오래 걸리면 분당 20회 요청만 보내도 동시성 제한을 초과할 수 있으며, 매우 빠르고 짧은 호출로 분당 제한을 초과할 수 있습니다.

실제 워크로드에서 숫자의 의미

워크로드 크기를 빠르게 결정하는 방법은 Little의 법칙입니다: 동시 요청 = 도착률 x 평균 지속 시간.

  • 채팅봇, 활성 사용자 100명. 각 사용자가 60초마다 메시지를 보내면 분당 100개의 요청이 발생하며, 이는 300보다 훨씬 적습니다. 각 응답에는 약 10초가 걸리므로 평균 동시 실행 수는 (100 / 60) x 10로 약 17입니다. 이는 8을 초과하므로, 단순한 재시도 루프가 아닌 큐잉이 필요합니다.
  • 10,000개 짧은 프롬프트 배치. 분당 300회 기준 최소 실행 시간은 10,000 / 300 = 33.3분입니다. 8개의 슬롯으로 분당 300회에 도달하려면 호출 평균이 1.6초(8 x 60 / 300)여야 합니다. 호출이 길면 병목이 동시성으로 이동합니다: 호출당 8초일 때 8개의 슬롯은 분당 60회 호출을 제공하며 작업은 약 167분이 걸립니다.
  • 단일 개발자 스크립팅. 한 번에 한두 개 요청은 어느 한계에도 거의 도달하지 않습니다.

교훈은 긴 생성의 경우 동시성이 거의 항상 먼저 도달하는 제한이라는 것입니다. 짧은 출력은 분당 한계에 부딪힙니다.

속도 제한 헤더 읽기

모든 응답에는 로깅하거나 적응에 사용할 수 있는 헤더가 포함됩니다:

  • X-RateLimit-Limit-Requests: 분당 요청 수 제한입니다.
  • X-RateLimit-Limit-Concurrency: 동시 요청 수 제한입니다.
  • X-Balance-USD: 남은 크레딧.
  • X-Request-Id: 문제가 발생하면 이 값을 언급하여 지원을 받으세요.

OpenAI Python SDK를 사용할 때 raw response wrapper를 사용하여 헤더를 확인하세요:

from openai import OpenAI

client = OpenAI(base_url="https://api.unlimitedaiapi.com/v1", api_key="YOUR_KEY")

raw = client.chat.completions.with_raw_response.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Reply with one word."}],
)
print(raw.headers.get("X-RateLimit-Limit-Requests"))
print(raw.headers.get("X-RateLimit-Limit-Concurrency"))
print(raw.headers.get("X-Balance-USD"))
completion = raw.parse()
print(completion.choices[0].message.content)

시작 시 한 번만 확인하고, 8을 하드코딩하는 대신 동시성 값을 기반으로 작업자 풀의 크기를 설정하세요. 이렇게 하면 동일한 코드가 무료 체험 키와 일반 키 모두에서 작동합니다.

429이 알려주는 것

제한을 초과하면 HTTP 429와 오류 코드가 반환됩니다:

  • rate_limited: 분당 요청이 너무 많습니다. 속도를 줄이세요.
  • concurrency: 진행 중인 요청이 너무 많습니다. 하나가 완료될 때까지 기다리세요.

API는 일시적으로 과부하 상태일 때 429와 Retry-After: 5 헤더도 반환합니다. 모든 경우 올바른 응답은 동일합니다: 기다렸다가 다시 시도하고 헤더 값이 있으면 사용하세요.

스트리밍의 함정: 스트리밍 요청은 스트림이 끝날 때까지 동시성 슬롯을 점유합니다. 클라이언트가 스트림을 열지만 읽기를 중단하거나 UI가 연결을 유지하면 해당 슬롯이 사용 중인 상태로 유지됩니다. 버린 스트림은 항상 닫으세요.

두 제한을 모두 준수하는 배치 러너

이 스크립트는 처리 중인 요청을 최대 8개로 유지하고, 분당 300개 미만으로 시작 간격을 조정하며, 429 응답에 백오프로 재시도합니다. 체험 키의 경우 CONCURRENCY 및 RPM을 조정하세요.

import asyncio, random
from openai import AsyncOpenAI, RateLimitError

client = AsyncOpenAI(base_url="https://api.unlimitedaiapi.com/v1", api_key="YOUR_KEY", max_retries=0)
CONCURRENCY, RPM = 8, 300
sem = asyncio.Semaphore(CONCURRENCY)
interval = 60 / RPM  # 0.2 s between starts

async def call(prompt, attempt=0):
    async with sem:
        try:
            r = await client.chat.completions.create(
                model="uncensored",
                messages=[{"role": "user", "content": prompt}],
            )
            return r.choices[0].message.content
        except RateLimitError as e:
            if attempt >= 6:
                raise
            wait = float(e.response.headers.get("Retry-After", 5)) + random.random()
            await asyncio.sleep(wait * (1.5 ** attempt))
    return await call(prompt, attempt + 1)

async def main(prompts):
    tasks = []
    for p in prompts:
        tasks.append(asyncio.create_task(call(p)))
        await asyncio.sleep(interval)
    return await asyncio.gather(*tasks)

results = asyncio.run(main(["Summarise: ..."] * 50))

세마포어는 429 대기 중 해제되므로 다른 작업이 계속 진행됩니다. 클라이언트에 max_retries=0을 설정하면 SDK가 자체 숨겨진 재시도를 수행하지 않도록 합니다.

고용량 디자인 팁

  • 큐를 사용하고 분산하지 마세요. 8개의 작업자가 있는 작업 큐가 요청당 스레드를 생성하고 재시도하는 것보다 낫습니다.
  • 지터(jitter)를 추가하세요. 여러 작업자가 동일한 시간 동안 대기하면 모두 동시에 응답하여 다시 충돌합니다.
  • 출력을 제한하세요. max_tokens 설정은 호출 지속 시간을 줄여 동시성 캡 아래에서 유효 처리량을 높입니다.
  • 가능하면 더 적고 더 큰 프롬프트를 선호하세요. 예를 들어 요청당 1개 대신 20개 항목을 분류하는 방식입니다. 이렇게 하면 요청 수가 20배 줄어듭니다. 100,000 토큰 컨텍스트 창을 고려하세요.
  • 속도와 비용을 함께 추적하세요. 입력 토큰 100만 개당 $0.15, 출력 토큰 100만 개당 $0.50입니다. 입력 2,000 토큰, 출력 300 토큰의 10,000개 요청 작업 비용은 $4.50입니다. 가격 책정 페이지에서 충전 금액과 보너스를 확인하세요.

전체 키 제한이 제품에 너무 낮다면 예상 요청률 및 평균 출력 길이와 함께 지원 페이지를 통해 알려주세요.

제한으로 오해하기 쉬운 일반적인 실수

일부 실패는 속도 제한처럼 보이지만 다른 원인이 있습니다.

재시도 폭풍

모든 429에 즉시 재시도하는 클라이언트는 문제를 악화시킵니다. 지연 없이 10개의 작업자가 재시도하면 분당 카운터가 한계에 고정되어 그중 아무도 성공하지 못합니다. 대량 처리 시 지터와 함께 백오프는 선택사항이 아닙니다.

시도 횟수가 아닌 요청 수 계산

재시도도 요청으로 카운트됩니다. 계획이 분당 300회이고 호출의 20%가 재시도되면 실제 수요는 360입니다. 한도의 약 80%로 시작 루프를 실행하여 예산을 책정하세요. 예를 들어 분당 240회.

작업을 취소하는 시간 초과

클라이언트가 30초 후에 포기하지만 서버가 여전히 생성 중이면 첫 번째 요청이 슬롯을 유지하는 동안 대체 요청을 열 수 있습니다. 클라이언트 시간 초과를 예상되는 최대 생성 시간보다 높게 설정하거나 max_tokens을 낮추세요.

빠른 수동 테스트

체험 키로 의도적으로 제한을 트리거하려면 세 가지 요청을 동시에 보내세요:

for i in 1 2 3; do
  curl -s -o /dev/null -w "%{http_code}
" https://api.unlimitedaiapi.com/v1/chat/completions     -H "Authorization: Bearer YOUR_KEY" -H "Content-Type: application/json"     -d '{"model":"uncensored","messages":[{"role":"user","content":"Write a 300 word story."}]}' &
done; wait

체험 키(동시 2개)에서는 두 개의 200 응답과 하나의 429를 보게 됩니다.

다음 단계

API 키 페이지에서 키를 발급하세요; 무료 체험 크레딧은 실제 429 응답을 대상으로 재시도 로직을 테스트하기에 충분합니다. 체험 키의 분당 60개, 동시 2개 제한은 의도적으로 쉽게 도달할 수 있습니다. 문서에는 모든 엔드포인트가 나열되어 있으며, LangChain 및 에이전트 참고 문서에는 에이전트 프레임워크 내에서 동시성을 제한하는 방법이 나와 있습니다. 여기서 하나의 사용자 작업이 여러 동시 호출을 생성할 수 있습니다.

질문과 답변

API 호출에 일일 또는 월간 제한이 있나요?

아니요. 과금은 토큰 단위 선불 크레딧으로 이루어지며 호출 할당량은 없습니다. 분당 및 동시 요청 제한만 적용됩니다.

분당 300회 요청을 초과하면 어떻게 되나요?

API는 HTTP 429 상태 코드와 함께 rate_limited 오류 코드를 반환합니다. Retry-After 헤더가 있는 경우 해당 헤더를 참고하여 기다렸다가 재시도하세요.

저조한 트래픽에서도 동시 요청 오류가 발생하는 이유는 무엇인가요?

긴 생성 작업과 열린 스트림은 완료될 때까지 슬롯을 점유합니다. 느린 요청 8개만으로도 키의 전체 동시 요청 한도에 도달할 수 있으므로 max_tokens를 제한하고 사용하지 않는 스트림을 닫으세요.

429 응답에 요금이 부과되나요?

아닙니다. 실패하거나 거부된 요청에는 요금이 부과되지 않습니다.

키는 양식 하나만 작성하면 받을 수 있습니다

계정을 생성하고 키를 복사한 후 기본 URL을 변경하세요. 설정은 이것으로 끝입니다.

API 키 받기