Wywołania API Unlimited AI: Wyjaśnienie limitów
Czy możesz wykonywać nieograniczoną liczbę wywołań API AI? W tym API nie ma miesięcznego limitu, ale obowiązują dwa limity zapytań: zapytań na minutę i zapytań jednocześnie. Oto co to oznacza w praktyce i jak napisać kod, który mieści się w tych limitach.
Zaktualizowano
Kluczowe punkty
- Pełny klucz pozwala na 300 zapytań na minutę i 8 równoległych; klucz próbny pozwala na 60 i 2.
- 429 z kodem rate_limited oznacza zbyt wiele na minutę; kod concurrency oznacza zbyt wiele jednocześnie.
- Zapytanie strumieniowe zajmuje swój slot concurrency do momentu zakończenia strumienia.
- Użyj semafora o wartości 8 i ponawiaj błędy 429 z backoffem, szanując nagłówek Retry-After.


Dwa limity obok siebie
Jeśli chodzi o nieograniczoną liczbę wywołań API AI w rozumieniu „braku miesięcznego limitu”, masz to pokryte: rozliczenie jest oparte na przedpłaconym kredycie i tokenach, bez limitu wywołań. Przepustowość ograniczają dwa limity zapytań chroniące współdzielone GPU.
| Typ klucza | Zapytania na minutę | Zapytania równoległe |
|---|---|---|
| Pełny klucz | 300 | 8 |
| Klucz próbny | 60 | 2 |
Inne stałe limity: ciało zapytania do 8 MB i okno kontekstu 100 000 tokenów (prompt plus completion). Dotyczy to każdego zapytania, nie na minutę.
Oba limity szybkości są niezależne. Możesz przekroczyć limit równoległości, wysyłając tylko 20 zapytań na minutę, jeśli każde trwa długo, i możesz przekroczyć limit na minutę bardzo szybkimi, krótkimi wywołaniami.
Co oznaczają liczby dla rzeczywistych obciążeń
Szybki sposób na oszacowanie obciążenia to prawo Little'a: zapytania równoległe = częstość przychodzenia x średni czas trwania.
- Chatbot, 100 aktywnych użytkowników. Jeśli każdy wysyła wiadomość co 60 sekund, to 100 zapytań na minutę, znacznie poniżej 300. Każda odpowiedź trwa około 10 sekund, więc średnia równoległość to (100 / 60) x 10, około 17. Przekracza to 8, więc potrzebujesz kolejkowania, nie tylko pętli ponawiania.
- Partia 10 000 krótkich promptów. Przy 300 na minutę minimalny czas wykonania to 10 000 / 300 = 33,3 minuty. Aby osiągnąć 300 na minutę z 8 slotami, wywołania muszą mieć średnio 1,6 sekundy (8 x 60 / 300). Dłuższe wywołania przesuwają wąskie gardło do równoległości: przy 8 sekundach na wywołanie, 8 slotów daje 60 wywołań na minutę, a zadanie trwa około 167 minut.
- Pojedynczy programista skryptujący. Jedno lub dwa zapytania na raz nigdy nie zbliżają się do żadnego limitu.
Wniosek jest taki, że przy długich generacjach równoległość jest prawie zawsze limitem, który trafisz jako pierwszy. Krótkie wyjścia uderzają w sufit limitu na minutę.
Odczytywanie nagłówków limitów szybkości
Każda odpowiedź zawiera nagłówki, które możesz logować lub używać do adaptacji:
X-RateLimit-Limit-Requests: Twój limit na minutę.X-RateLimit-Limit-Concurrency: Twój limit równoległości.X-Balance-USD: pozostały kredyt.X-Request-Id: podaj go, jeśli coś wygląda nieprawidłowo.
Z biblioteką Python OpenAI SDK użyj wrappera surowej odpowiedzi, aby je zobaczyć:
from openai import OpenAI
client = OpenAI(base_url="https://api.unlimitedaiapi.com/v1", api_key="YOUR_KEY")
raw = client.chat.completions.with_raw_response.create(
model="uncensored",
messages=[{"role": "user", "content": "Reply with one word."}],
)
print(raw.headers.get("X-RateLimit-Limit-Requests"))
print(raw.headers.get("X-RateLimit-Limit-Concurrency"))
print(raw.headers.get("X-Balance-USD"))
completion = raw.parse()
print(completion.choices[0].message.content)
Sprawdź je raz przy starcie i dobierz pulę workerów z wartości równoległości, zamiast hardkodować 8. Dzięki temu ten sam kod zadziała dla klucza próbnego i pełnego.
Co mówi błąd 429
Przekroczenie limitu zwraca HTTP 429 z kodem błędu:
rate_limited: za dużo zapytań na minutę. Zwolnij.concurrency: zbyt wiele zapytań w locie. Poczekaj, aż jedno się zakończy.
API zwraca również 429 z nagłówkiem Retry-After: 5, gdy jest tymczasowo przeciążony. W każdym przypadku właściwą reakcją jest to samo: poczekaj, a następnie spróbuj ponownie, używając wartości nagłówka, jeśli jest obecny.
Pułapka ze strumieniowaniem: zapytanie strumieniowe zajmuje swój slot równoległości do końca strumienia. Jeśli klient otworzy strumień, a potem przestanie go czytać, lub interfejs UI pozostawi połączenia wiszące, te sloty pozostają zajęte. Zawsze zamykaj porzucone strumienie.
Uruchomiacz wsadowy szanujący oba limity
Ten skrypt utrzymuje maksymalnie 8 zapytań w locie, rozprasza starty, aby utrzymać się poniżej 300 na minutę, i ponawia błędy 429 z backoffem. Dostosuj CONCURRENCY i RPM dla klucza próbnego.
import asyncio, random
from openai import AsyncOpenAI, RateLimitError
client = AsyncOpenAI(base_url="https://api.unlimitedaiapi.com/v1", api_key="YOUR_KEY", max_retries=0)
CONCURRENCY, RPM = 8, 300
sem = asyncio.Semaphore(CONCURRENCY)
interval = 60 / RPM # 0.2 s between starts
async def call(prompt, attempt=0):
async with sem:
try:
r = await client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": prompt}],
)
return r.choices[0].message.content
except RateLimitError as e:
if attempt >= 6:
raise
wait = float(e.response.headers.get("Retry-After", 5)) + random.random()
await asyncio.sleep(wait * (1.5 ** attempt))
return await call(prompt, attempt + 1)
async def main(prompts):
tasks = []
for p in prompts:
tasks.append(asyncio.create_task(call(p)))
await asyncio.sleep(interval)
return await asyncio.gather(*tasks)
results = asyncio.run(main(["Summarise: ..."] * 50))
Semafor jest zwalniany podczas oczekiwania na odpowiedź 429, dzięki czemu inne zadania mogą kontynuować działanie. Ustawienie max_retries=0 w kliencie zapobiega wykonywaniu przez SDK ukrytych ponownych prób obok Twoich.
Wskazówki projektowe dla dużych wolumenów
- Kolejkuj, nie rozgałęziaj. Kolejka zadań z 8 workerami bije na głowę tworzenie wątku na zapytanie i ponawianie.
- Dodaj jitter. Jeśli wielu workerów cofnie się na ten sam czas, wszyscy wrócą razem i ponownie się zderzą.
- Ogranicz wyjście. Ustawienie
max_tokensskraca czas trwania wywołania, co zwiększa efektywną przepustowość pod limitem równoległości. - Preferuj mniej, większe prompty gdy zadanie na to pozwala, np. klasyfikowanie 20 elementów na zapytanie zamiast jednego. To redukuje liczbę zapytań 20-krotnie. Pamiętaj o oknie 100 000 tokenów.
- Śledź koszt wraz z prędkością. Przy $0,15 za 1M tokenów wejściowych i $0,50 za 1M tokenów wyjściowych, zadanie 10 000 zapytań z 2 000 tokenami wejściowymi i 300 wyjściowymi kosztuje $4,50. Zobacz stronę z cenami, aby zobaczyć kwoty doładowań i bonusy.
Jeśli limity dla pełnego klucza są zbyt niskie dla Twojego produktu, daj nam znać przez stronę wsparcia, podając spodziewaną częstotliwość zapytań i średnią długość odpowiedzi.
Typowe błędy wyglądające jak limity
Niektóre awarie wyglądają jak limitowanie szybkości, ale mają inną przyczynę.
Burze ponawiania
Klient, który natychmiast ponawia każde 429, pogarsza problem. Dziesięciu workerów ponawiających bez opóźnienia utrzymuje licznik na minutę na sufitie, więc żaden z nich nie odnosi sukcesu. Backoff z jitterem nie jest opcjonalny przy dużym wolumenie.
Liczenie zapytań, nie prób
Twoje ponowienia liczą się jako zapytania. Jeśli Twój plan to 300 na minutę i 20% wywołań jest ponawianych, Twoje rzeczywiste zapotrzebowanie to 360. Zbudgetuj to, uruchamiając pętlę startową przy około 80% limitu, np. 240 na minutę.
Time-outy, które anulują pracę
Jeśli Twój klient podda się po 30 sekundach, ale serwer nadal generuje, możesz otworzyć zastępcze zapytanie, podczas gdy pierwsze nadal zajmuje slot. Ustaw time-outy klienta powyżej Twojego najdłuższego oczekiwanego generowania lub obniż max_tokens.
Szybki test ręczny
Aby celowo wyzwolić limit na kluczu próbnym, wyślij trzy zapytania jednocześnie:
for i in 1 2 3; do
curl -s -o /dev/null -w "%{http_code}
" https://api.unlimitedaiapi.com/v1/chat/completions -H "Authorization: Bearer YOUR_KEY" -H "Content-Type: application/json" -d '{"model":"uncensored","messages":[{"role":"user","content":"Write a 300 word story."}]}' &
done; wait
Na kluczu próbnym (2 równoległe) powinieneś zobaczyć dwie odpowiedzi 200 i jedną 429.
Gdzie iść dalej
Pobierz klucz na stronie klucza API; jednorazowy kredyt próbny wystarczy do przetestowania logiki ponownych prób w odpowiedzi na prawdziwe błędy 429, ponieważ limity klucza próbnego wynoszą 60 zapytań na minutę i 2 równoległe połączenia, które łatwo celowo przekroczyć. Dokumentacja wymienia wszystkie endpointy, a notatki LangChain i agentów pokazują, jak ograniczyć równoległość w ramach frameworków agentów, gdzie jedno zadanie użytkownika może wygenerować kilka równoległych wywołań.
Więcej przewodników
Pytania i odpowiedzi
Czy istnieją dzienne lub miesięczne limity wywołań API?
Nie. Płatność jest przedpłacona za tokeny i nie ma limitu liczby zapytań. Obowiązują tylko limity na minutę i równoległości.
Co się stanie, gdy przekroczę limit 300 zapytań na minutę?
API zwraca kod HTTP 429 z kodem błędu rate_limited. Poczekaj i spróbuj ponownie, używając nagłówka Retry-After, jeśli jest obecny.
Dlaczego otrzymuję błąd równoległości przy niskim ruchu?
Długie generacje i otwarte strumienie zajmują slot do momentu zakończenia. Osiem wolnych zapytań wystarczy, aby zapełnić pełny klucz, więc ogranicz max_tokens i zamykaj nieużywane strumienie.
Czy odpowiedzi 429 są rozliczane?
Nie. Nieudane lub odrzucone zapytania nie są rozliczane.
Twój klucz jest o jeden formularz stąd
Utwórz konto, skopiuj klucz, zmień bazowy URL. To cała konfiguracja.