ID ▾
Dapatkan kunci API

Pemanggilan API Unlimited AI: Penjelasan Batas Laju

Anda dapat melakukan panggilan API AI sebanyak yang Anda butuhkan. Tidak ada kuota bulanan pada API ini, tetapi ada dua batas laju: permintaan per menit dan permintaan sekaligus. Berikut artinya dalam praktik dan cara menulis kode yang tetap berada di dalamnya.

Diperbarui

Poin utama

  • Kunci penuh mengizinkan 300 permintaan per menit dan 8 permintaan konkuren; kunci uji coba mengizinkan 60 dan 2.
  • 429 dengan kode rate_limited berarti terlalu banyak per menit; kode concurrency berarti terlalu banyak sekaligus.
  • Permintaan streaming memegang slot konkurensinya hingga stream berakhir.
  • Gunakan semafor 8 dan coba ulang 429 dengan backoff, dengan mematuhi Retry-After.
Delapan lajur paket data yang mengantri melalui satu gerbang, mengilustrasikan batas laju API dan konkurensi
Skala neraca seimbang kubus token bercahaya melawan koin, mengilustrasikan biaya API per-token

Dua batas, berdampingan

Untuk panggilan API unlimited ai dalam arti "tanpa batas bulanan", Anda tercukupi: penagihan adalah saldo prabayar dan per token, tanpa kuota panggilan. Yang membatasi throughput adalah sepasang batas laju yang melindungi GPU bersama.

Jenis kunciPermintaan per menitPermintaan konkuren
Kunci penuh3008
Kunci uji coba602

Batas tetap lainnya: badan permintaan hingga 8 MB dan jendela konteks 100.000 token (prompt plus completion). Itu berlaku per permintaan, bukan per menit.

Dua batas laju tersebut independen. Anda dapat melanggar batas konkurensi sambil mengirim hanya 20 permintaan per menit jika masing-masing memakan waktu lama, dan Anda dapat melanggar batas per menit dengan panggilan cepat dan pendek.

Apa arti angka-angka untuk beban kerja nyata

Cara cepat untuk mengukur beban kerja Anda adalah hukum Little: permintaan konkuren = laju kedatangan x durasi rata-rata.

  • Chatbot, 100 pengguna aktif. Jika masing-masing mengirim pesan setiap 60 detik, itu adalah 100 permintaan per menit, jauh di bawah 300. Setiap balasan memakan waktu sekitar 10 detik, sehingga konkurensi rata-rata adalah (100 / 60) x 10, kira-kira 17. Itu melebihi 8, jadi Anda memerlukan antrian, bukan hanya loop coba ulang.
  • Batch 10.000 prompt pendek. Pada 300 per menit, waktu jalankan minimum adalah 10.000 / 300 = 33,3 menit. Untuk mencapai 300 per menit dengan 8 slot, panggilan harus rata-rata 1,6 detik (8 x 60 / 300). Panggilan yang lebih panjang menggeser bottleneck ke konkurensi: pada 8 detik per panggilan, 8 slot memberikan 60 panggilan per menit dan pekerjaan memakan waktu sekitar 167 menit.
  • Pengembang tunggal yang membuat skrip. Satu atau dua permintaan pada satu waktu tidak akan mendekati batas mana pun.

Pelajarannya adalah bahwa untuk generasi panjang, konkurensi hampir selalu batas yang Anda capai terlebih dahulu. Output pendek memukul batas per menit.

Membaca header batas laju

Setiap respons membawa header yang dapat Anda log atau gunakan untuk beradaptasi:

  • X-RateLimit-Limit-Requests: batas per menit Anda.
  • X-RateLimit-Limit-Concurrency: batas konkuren Anda.
  • X-Balance-USD: sisa kredit.
  • X-Request-Id: sebutkan ini ke dukungan jika ada yang terlihat salah.

Dengan SDK Python OpenAI, gunakan pembungkus respons mentah untuk melihatnya:

from openai import OpenAI

client = OpenAI(base_url="https://api.unlimitedaiapi.com/v1", api_key="YOUR_KEY")

raw = client.chat.completions.with_raw_response.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Reply with one word."}],
)
print(raw.headers.get("X-RateLimit-Limit-Requests"))
print(raw.headers.get("X-RateLimit-Limit-Concurrency"))
print(raw.headers.get("X-Balance-USD"))
completion = raw.parse()
print(completion.choices[0].message.content)

Periksa ini sekali saat startup dan ukur kumpulan pekerja Anda dari nilai konkurensi alih-alih mengkodekan 8 secara keras. Dengan cara itu kode yang sama berfungsi untuk kunci uji coba dan kunci penuh.

Apa yang diberitahu 429 kepada Anda

Melebihi batas mengembalikan HTTP 429 dengan kode kesalahan:

  • rate_limited: terlalu banyak permintaan per menit. Perlambat.
  • concurrency: terlalu banyak permintaan yang sedang berjalan. Tunggu hingga salah satu selesai.

API juga mengembalikan 429 dengan header Retry-After: 5 ketika kelebihan beban sementara. Dalam setiap kasus, respons yang tepat sama: tunggu, lalu coba lagi, gunakan nilai header jika ada.

Satu jebakan dengan streaming: permintaan streaming menempati slot konkurensinya hingga stream berakhir. Jika klien membuka stream dan kemudian berhenti membaca, atau UI meninggalkan koneksi menggantung, slot tersebut tetap sibuk. Selalu tutup stream yang Anda tinggalkan.

Penjalur batch yang menghormati kedua batas

Skrip ini menjaga paling banyak 8 permintaan yang sedang berjalan, mengatur waktu mulai agar tetap di bawah 300 per menit, dan mencoba ulang 429 dengan backoff. Sesuaikan CONCURRENCY dan RPM untuk kunci uji coba.

import asyncio, random
from openai import AsyncOpenAI, RateLimitError

client = AsyncOpenAI(base_url="https://api.unlimitedaiapi.com/v1", api_key="YOUR_KEY", max_retries=0)
CONCURRENCY, RPM = 8, 300
sem = asyncio.Semaphore(CONCURRENCY)
interval = 60 / RPM  # 0.2 s between starts

async def call(prompt, attempt=0):
    async with sem:
        try:
            r = await client.chat.completions.create(
                model="uncensored",
                messages=[{"role": "user", "content": prompt}],
            )
            return r.choices[0].message.content
        except RateLimitError as e:
            if attempt >= 6:
                raise
            wait = float(e.response.headers.get("Retry-After", 5)) + random.random()
            await asyncio.sleep(wait * (1.5 ** attempt))
    return await call(prompt, attempt + 1)

async def main(prompts):
    tasks = []
    for p in prompts:
        tasks.append(asyncio.create_task(call(p)))
        await asyncio.sleep(interval)
    return await asyncio.gather(*tasks)

results = asyncio.run(main(["Summarise: ..."] * 50))

Semaphore dilepaskan saat tidur pada 429, sehingga tugas lain tetap bergerak. Mengatur max_retries=0 pada klien menghentikan SDK melakukan coba ulang tersembunyi sendiri di atas coba ulang Anda.

Tips desain untuk volume tinggi

  • Antri, jangan menyebar. Antrian pekerjaan dengan 8 pekerja mengalahkan pembuatan utas per permintaan dan mencoba lagi.
  • Tambahkan jitter. Jika banyak pekerja mundur untuk waktu yang sama, mereka semua kembali bersama dan bertabrakan lagi.
  • Batasi output. Mengatur max_tokens menurunkan durasi panggilan, yang meningkatkan throughput efektif di bawah batas konkurensi.
  • Lebih suka prompt yang lebih sedikit, lebih besar ketika tugas mengizinkannya, misalnya mengklasifikasikan 20 item per permintaan alih-alih satu. Itu memangkas jumlah permintaan sebesar 20x. Perhatikan jendela 100.000 token.
  • Lacak biaya di samping kecepatan. Pada $0,15 per 1M token input dan $0,50 per 1M token output, pekerjaan 10.000 permintaan dengan 2.000 token masuk dan 300 keluar menghabiskan $4,50. Lihat halaman harga untuk jumlah isi ulang dan bonus.

Jika batas kunci penuh terlalu rendah untuk produk Anda, beri tahu melalui halaman dukungan dengan laju permintaan yang diharapkan dan panjang output rata-rata Anda.

Kesalahan umum yang terlihat seperti batas

Beberapa kegagalan terasa seperti pembatasan laju tetapi memiliki penyebab lain.

Badai coba ulang

Klien yang mencoba ulang secara instan pada setiap 429 membuat masalah menjadi lebih buruk. Sepuluh pekerja yang mencoba ulang tanpa penundaan menjaga penghitung per menit tetap di batas, sehingga tidak ada yang berhasil. Backoff dengan jitter bukan opsional pada volume.

Menghitung permintaan, bukan upaya

Coba ulang Anda juga dihitung sebagai permintaan. Jika rencana Anda adalah 300 per menit dan 20% panggilan dicoba ulang, permintaan nyata Anda adalah 360. Anggaran untuk itu dengan menjalankan loop awal pada sekitar 80% dari batas, misalnya 240 per menit.

Waktu tunggu yang membatalkan pekerjaan

Jika klien Anda menyerah setelah 30 detik tetapi server masih menghasilkan, Anda mungkin membuka permintaan pengganti sementara yang pertama masih memegang slot. Atur waktu tunggu klien di atas generasi terpanjang yang diharapkan Anda, atau turunkan max_tokens.

Tes manual cepat

Untuk melihat pemicu batas secara sengaja dengan kunci uji coba, tembakkan tiga permintaan pada saat yang sama:

for i in 1 2 3; do
  curl -s -o /dev/null -w "%{http_code}
" https://api.unlimitedaiapi.com/v1/chat/completions     -H "Authorization: Bearer YOUR_KEY" -H "Content-Type: application/json"     -d '{"model":"uncensored","messages":[{"role":"user","content":"Write a 300 word story."}]}' &
done; wait

Pada kunci uji coba (2 konkurensi), Anda harus melihat dua respons 200 dan satu 429.

Langkah selanjutnya

Dapatkan kunci di halaman kunci API; kredit uji coba satu klik sudah cukup untuk menguji logika percobaan ulang Anda terhadap 429 nyata, karena batas 60 per menit dan 2 konkurensi dari kunci uji coba mudah dicapai dengan sengaja. dokumentasi mencantumkan setiap endpoint, dan catatan LangChain dan agen menunjukkan cara membatasi konkurensi di dalam kerangka kerja agen, di mana satu tugas pengguna dapat memunculkan beberapa panggilan paralel.

Tanya jawab

Apakah ada batas harian atau bulanan untuk panggilan API?

Tidak. Penagihan adalah saldo prabayar per token dan tidak ada kuota panggilan. Hanya batas per menit dan konkurensi yang berlaku.

Apa yang terjadi jika saya melebihi 300 permintaan per menit?

API merespons dengan HTTP 429 dan kode kesalahan rate_limited. Tunggu dan coba lagi, gunakan header Retry-After jika ada.

Mengapa saya mendapatkan kesalahan konkurensi dengan lalu lintas rendah?

Generasi panjang dan aliran terbuka memegang slot hingga selesai. Delapan permintaan lambat sudah cukup untuk memenuhi kunci penuh, jadi batasi max_tokens dan tutup aliran yang tidak digunakan.

Apakah respons 429 dibebankan biaya?

Tidak. Permintaan yang gagal atau ditolak tidak dikenakan biaya.

Kunci Anda hanya selangkah lagi dari satu formulir

Buat akun, salin kunci, ubah URL dasar. Itu saja seluruh proses pengaturannya.

Dapatkan kunci API