TR ▾
API anahtarı al

Unlimited AI API Çağrıları: Hız Limitleri Açıklandı

Sınırsız ai api çağrısı yapabilir misiniz? Bu API için aylık kota yoktur, ancak iki hız limiti vardır: dakika başına istekler ve eşzamanlı istekler. Bunların pratikte ne anlama geldiğini ve bunların içinde kalacak şekilde kod yazmanın nasıl yapılacağını işte burada açıklıyoruz.

güncellendi

Temel noktalar

  • Tam bir anahtar dakikada 300 istek ve 8 eşzamanlı istek yapmanızı sağlar; deneme anahtarı ise 60 ve 2 yapmanızı sağlar.
  • 429 yanıt kodu rate_limited, dakikada çok fazla istek yapıldığını gösterir; concurrency kodu ise aynı anda çok fazla istek yapıldığını belirtir.
  • Akışlı bir istek, akış bitene kadar eşzamanlılık slotunu işgal eder.
  • 8 değerinde bir semafor (semaphore) kullanın ve 429 yanıtında geri çekilme (backoff) ile yeniden deneyin; Retry-After başlığını dikkate alın.
Bir kapıdan geçen veri paketlerinin sekiz şeridinin kuyrukta beklediğini gösteren API hız limitleri ve eşzamanlılık görseli
Token küpleri ve paralar arasında tartılan bakiye ölçeği, token başına API maliyetini gösterir

Yan yana iki limit

"Aylık sınır yok" anlamında sınırsız ai api çağrıları için durumunuz güvende: faturalandırma token başına ön ödemelidir ve çağrı kotası yoktur. Geçiş hızını sınırlayan, paylaşılan GPU'ları koruyan bir çift hız limiti vardır.

Anahtar türüDakikada istekEşzamanlı istekler
Tam anahtar3008
Deneme anahtarı602

Diğer sabit limitler: 8 MB'a kadar bir istek gövdesi ve 100.000 token'lık bir bağlam penceresi (istem ve tamamlama dahil). Bunlar dakikada bir değil, istek başına geçerlidir.

İki hız limiti bağımsızdır. Her biri uzun sürüyorsa, dakikada yalnızca 20 istek göndererek eşzamanlılık limitini aşabilirsiniz ve çok hızlı, kısa çağrılar yaparak dakikalık limiti aşabilirsiniz.

Sayıların gerçek yükler için anlamı

İş yükünüzü boyutlandırmanın hızlı bir yolu Little yasasıdır: eşzamanlı istekler = varış oranı x ortalama süre.

  • Sohbet botu, 100 aktif kullanıcı. Her biri 60 saniyede bir mesaj gönderirse, bu dakikada 100 istek anlamına gelir ki bu 300'ün oldukça altındadır. Her yanıt yaklaşık 10 saniye sürer, bu nedenle ortalama eşzamanlılık (100 / 60) x 10, yaklaşık 17'dir. Bu 8'i aştığı için, yalnızca bir yeniden deneme döngüsünden ziyade kuyruklama yapmanız gerekir.
  • 10.000 kısa istemden oluşan toplu iş. Dakikada 300 ile minimum çalışma süresi 10.000 / 300 = 33,3 dakikadır. Dakikada 300'e ulaşmak için 8 slotla çağrıların ortalama 1,6 saniye sürmesi gerekir (8 x 60 / 300). Daha uzun çağrılar darboğazı eşzamanlılığa kaydırır: çağrı başına 8 saniye ile 8 slot dakikada 60 çağrı verir ve iş yaklaşık 167 dakika sürer.
  • Tek geliştirici betiği. Bir veya iki istek aynı anda hiçbir limite yaklaşmaz.

Ders, uzun üretimler için eşzamanlılığın neredeyse her zaman ilk aşacağınız limit olduğu gerçeğidir. Kısa çıktılar dakikalık tavana çarpar.

Hız limiti başlıklarını okumak

Her yanıt, günlüğe kaydedebileceğiniz veya uyarlamak için kullanabileceğiniz başlıklar taşır:

  • X-RateLimit-Limit-Requests: dakikalık limitiniz.
  • X-RateLimit-Limit-Concurrency: eşzamanlı limitiniz.
  • X-Balance-USD: kalan kredi.
  • X-Request-Id: bir şeyler yanlış görünürse bunu destek için belirtin.

OpenAI Python SDK ile ham yanıt sarmalayıcısını kullanarak bunları görebilirsiniz:

from openai import OpenAI

client = OpenAI(base_url="https://api.unlimitedaiapi.com/v1", api_key="YOUR_KEY")

raw = client.chat.completions.with_raw_response.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Reply with one word."}],
)
print(raw.headers.get("X-RateLimit-Limit-Requests"))
print(raw.headers.get("X-RateLimit-Limit-Concurrency"))
print(raw.headers.get("X-Balance-USD"))
completion = raw.parse()
print(completion.choices[0].message.content)

Bunları başlangıçta bir kez kontrol edin ve işçi havuzunuzu 8'i sabit kodlamak yerine eşzamanlılık değerinden boyutlandırın. Bu şekilde aynı kod hem deneme anahtarı hem de tam anahtar için çalışır.

429 size ne söyler

Bir limiti aşmak HTTP 429 ve bir hata kodu döndürür:

  • rate_limited: dakikada çok fazla istek. Hızınızı düşürün.
  • concurrency: devam eden çok fazla istek. Birinin bitmesini bekleyin.

API, geçici olarak aşırı yüklendiğinde ayrıca Retry-After: 5 başlığıyla 429 döndürür. Her durumda doğru yanıt aynıdır: bekleyin, ardından varsa başlık değerini kullanarak tekrar deneyin.

Akışla ilgili bir tuzak: akışlı bir istek, akış sona erene kadar eşzamanlılık slotunu işgal eder. Bir istemci bir akış açar ve ardından okumayı durdurursa veya bir UI bağlantıları askıda bırakırsa, bu slotlar meşgul kalır. Bıraktığınız akışları her zaman kapatın.

Her iki limite de uyan bir toplu çalıştırıcı

Bu betik en fazla 8 isteği aynı anda işlemde tutar, başlangıçları dakikada 300'ün altında kalmak için ayırır ve 429'larda backoff ile yeniden dener. Deneme anahtarı için CONCURRENCY ve RPM değerlerini ayarlayın.

import asyncio, random
from openai import AsyncOpenAI, RateLimitError

client = AsyncOpenAI(base_url="https://api.unlimitedaiapi.com/v1", api_key="YOUR_KEY", max_retries=0)
CONCURRENCY, RPM = 8, 300
sem = asyncio.Semaphore(CONCURRENCY)
interval = 60 / RPM  # 0.2 s between starts

async def call(prompt, attempt=0):
    async with sem:
        try:
            r = await client.chat.completions.create(
                model="uncensored",
                messages=[{"role": "user", "content": prompt}],
            )
            return r.choices[0].message.content
        except RateLimitError as e:
            if attempt >= 6:
                raise
            wait = float(e.response.headers.get("Retry-After", 5)) + random.random()
            await asyncio.sleep(wait * (1.5 ** attempt))
    return await call(prompt, attempt + 1)

async def main(prompts):
    tasks = []
    for p in prompts:
        tasks.append(asyncio.create_task(call(p)))
        await asyncio.sleep(interval)
    return await asyncio.gather(*tasks)

results = asyncio.run(main(["Summarise: ..."] * 50))

429 yanıtında beklerken semafor serbest bırakılır, böylece diğer görevler ilerlemeye devam eder. İstemcide max_retries=0 ayarlamak, SDK'nın sizin eklediğiniz yenileme denemelerinin üzerine kendi gizli yenileme denemelerini yapmasını engeller.

Yüksek hacim için tasarım ipuçları

  • Kuyruk oluşturun, yayılma yapmayın. 8 işçisi olan bir iş kuyruğu, istek başına bir iş parçacığı oluşturup yeniden denemekten daha iyidir.
  • Jitter ekleyin. Çok sayıda işçi aynı süre için geri çekilirse, hepsi birlikte döner ve tekrar çarpışır.
  • Çıktıyı sınırlayın. max_tokens değerini ayarlamak çağrı süresini kısaltır ve eşzamanlılık sınırına takılmadan işleme hızını artırır.
  • Görev izin veriyorsa daha az, daha büyük istemleri tercih edin, örneğin isteğin başına bir yerine 20 öğe sınıflandırma. Bu, istek sayısını 20 kat azaltır. 100.000 token penceresine dikkat edin.
  • Maliyeti hızla birlikte izleyin. Giriş tokenları başına 1M için $0,15 ve çıkış tokenları başına 1M için $0,50 fiyatla, 2.000 token giriş ve 300 token çıkış içeren 10.000 isteklik bir iş $4,50'a mal olur. Bakiye yükleme miktarları ve bonuslar için fiyatlandırma sayfasına bakın.

Tam anahtar limitleri ürününüz için çok düşükse, beklenen istek oranınızı ve ortalama çıktı uzunluğunuzu belirterek destek sayfası üzerinden bunu belirtin.

Limit gibi görünen yaygın hatalar

Bazı hatalar hız sınırlaması gibi hissettirir ancak başka bir nedene sahiptir.

Yeniden deneme fırtınaları

Her 429 yanıtında gecikme olmadan yeniden deneme yapan bir istemci sorunu kötüleştirir. Gecikme olmadan yenileme denemesi yapan on işçi, dakikalık sayacı tavanın üzerinde sabit tutar, böylece hiçbiri başarılı olamaz. Yüksek hacimde titreme (jitter) içeren geri çekilme (backoff) bir tercih değil, zorunluluktur.

İstekleri değil, girişimleri saymak

Yenileme denemeleriniz de istek olarak sayılır. Planınız dakikada 300 istek ise ve çağrıların %20'si yenileme denemesi ise, gerçek talebiniz 360 olur. Bütçe planlaması yapın: başlangıç döngüsünü limitin yaklaşık %80'inde, örneğin dakikada 240 istekte çalıştırın.

İşi iptal eden zaman aşımıları

İstemciniz 30 saniye sonra pesederse ancak sunucu hala üretim yapıyorsa, ilk istek bir slotu tutarken bir yenileme isteği açmış olabilirsiniz. İstemci zaman aşımını en uzun beklenen üretim sürenizin üzerine ayarlayın veya max_tokens değerini düşürün.

Hızlı manuel test

Deneme anahtarıyla bir limiti kasıtlı olarak tetiklemek için üç isteği aynı anda gönderin:

for i in 1 2 3; do
  curl -s -o /dev/null -w "%{http_code}
" https://api.unlimitedaiapi.com/v1/chat/completions     -H "Authorization: Bearer YOUR_KEY" -H "Content-Type: application/json"     -d '{"model":"uncensored","messages":[{"role":"user","content":"Write a 300 word story."}]}' &
done; wait

Bir deneme anahtarında (2 eşzamanlı) iki 200 yanıt ve bir 429 yanıtı görmelisiniz.

Sonraki adımlar

API anahtarı sayfasından bir anahtar alın; tek tıkla verilen deneme kredisi, gerçek 429 hatalarına karşı yeniden deneme mantığınızı test etmek için yeterlidir, çünkü deneme anahtarının dakikada 60 ve eşzamanlı 2 limitleri kasıtlı olarak aşılması kolaydır. dokümantasyon her uç nokta listesini içerir ve LangChain ve ajan notları, bir kullanıcı görevinin birden fazla eşzamanlı çağrıyı tetikleyebildiği ajan çerçeveleri içinde eşzamanlı isteklerin nasıl sınırlandırılacağını gösterir.

Sorular ve cevaplar

API çağrıları için günlük veya aylık bir limit var mı?

Hayır. Faturalandırma token başına ön ödemelidir ve çağrı kotası yoktur. Yalnızca dakika başına ve eşzamanlılık limitleri geçerlidir.

Dakikada 300 isteği aştığımda ne olur?

API, rate_limited hata koduyla birlikte HTTP 429 yanıtı döndürür. Bekleyin ve varsa Retry-After başlığını kullanarak yeniden deneyin.

Düşük trafik altında neden eşzamanlılık hatası alıyorum?

Uzun üretimler ve açık akışlar, tamamlanana kadar bir slotu meşgul tutar. Sekiz yavaş istek, tam bir anahtarı doldurmak için yeterlidir; bu nedenle max_tokens değerini sınırlayın ve kullanılmayan akışları kapatın.

429 yanıtları faturalandırılır mı?

Hayır. Başarısız veya reddedilen istekler için ücret alınmaz.

Anahtarınız tek bir formun uzağında

Bir hesap oluşturun, anahtarı kopyalayın ve base URL'yi değiştirin. Kurulum bu kadar basit.

API anahtarı al