TH ▾
รับคีย์ API

การเรียก API ของ Unlimited AI: อธิบายขีดจำกัดอัตรา

คุณสามารถทำการเรียก API ของ unlimited ai ได้ไม่จำกัดหรือไม่ ไม่มีโควตาการเรียกใช้รายเดือนสำหรับ API นี้ แต่มีขีดจำกัดอัตราสองประการ: คำขอต่อนาทีและคำขอพร้อมกัน นี่คือความหมายในทางปฏิบัติและวิธีเขียนโค้ดให้อยู่ในขีดจำกัดเหล่านี้

อัปเดต

ประเด็นสำคัญ

  • คีย์แบบเต็มอนุญาตให้เรียกใช้ 300 คำขอต่อนาทีและ 8 คำขอพร้อมกัน; คีย์ทดลองอนุญาตให้เรียกใช้ 60 และ 2
  • 429 พร้อม code rate_limited หมายถึงเกินต่อนาที; code concurrency หมายถึงเกินพร้อมกัน
  • คำขอแบบสตรีมจะครอบครองช่องความพร้อมใช้งานพร้อมกันจนกว่าสตรีมจะสิ้นสุด
  • ใช้ semaphore ขนาด 8 และ retry 429 ด้วย backoff โดยเคารพ Retry-After
ช่องข้อมูลแปดช่องที่เรียงคิวผ่านประตูเดียว แสดงถึงขีดจำกัดอัตราของ API และความพร้อมกัน
เครื่องชั่งสมดุลของยอดเงิน แสดงลูกบาศก์โทเคนเรืองแสงเทียบกับเหรียญ เพื่ออธิบายต้นทุน API ต่อโทเคน

ขีดจำกัดสองข้อเปรียบเทียบกัน

สำหรับการเรียกใช้ API AI โดยไม่มีขีดจำกัดรายเดือน คุณพร้อมใช้งานแล้ว: การเรียกใช้ไม่มีจำนวนจำกัด การคิดเงินเป็นแบบเติมเงินล่วงหน้าและคิดตามโทเคน ขีดจำกัดที่จำกัดปริมาณการประมวลผลคือขีดจำกัดอัตราสองข้อที่ปกป้อง GPU ร่วมกัน

ประเภทคีย์คำขอต่อนาทีคำขอพร้อมกัน
คีย์เต็ม3008
คีย์ทดลอง602

ขีดจำกัดคงที่อื่นๆ: เนื้อหาคำขอขนาดไม่เกิน 8 MB และหน้าต่างบริบท 100,000 โทเคน (พรอมต์รวมกับการสร้างผลลัพธ์) ขีดจำกัดเหล่านี้ใช้ต่อคำขอ ไม่ใช่ต่อนาที

ขีดจำกัดอัตราทั้งสองเป็นอิสระต่อกัน คุณสามารถทำเกินขีดจำกัดความพร้อมใช้งานพร้อมกันขณะส่งเพียง 20 คำขอต่อนาทีหากแต่ละคำขอใช้เวลานาน และคุณสามารถทำเกินขีดจำกัดต่อนาทีด้วยการเรียกที่รวดเร็วและสั้นมาก

ความหมายของตัวเลขสำหรับงานจริง

วิธีรวดเร็วในการประมาณขนาดงานของคุณคือกฎของลิตเติล: คำขอพร้อมกัน = อัตราการมาถึง x ระยะเวลาเฉลี่ย

  • แชทบอท, ผู้ใช้ใช้งานจริง 100 คน หากแต่ละคนส่งข้อความทุก 60 วินาที นั่นคือ 100 คำขอต่อนาที ซึ่งต่ำกว่า 300 มาก การตอบกลับแต่ละครั้งใช้เวลาประมาณ 10 วินาที ดังนั้นความพร้อมกันเฉลี่ยคือ (100 / 60) x 10 ซึ่งประมาณ 17 ซึ่งเกิน 8 ดังนั้นคุณต้องมีการคิว ไม่ใช่แค่ลูปลองใหม่
  • ชุดพรอมต์สั้นๆ 10,000 รายการ ที่อัตรา 300 รายการต่อนาที เวลาทำงานขั้นต่ำคือ 10,000 / 300 = 33.3 นาที เพื่อให้ได้ 300 รายการต่อนาทีด้วย 8 ช่อง การเรียกต้องเฉลี่ย 1.6 วินาที (8 x 60 / 300) การเรียกที่ยาวขึ้นจะเปลี่ยนจุดคอขวดไปเป็นความพร้อมกัน: ที่ 8 วินาทีต่อการเรียก 8 ช่องให้ 60 คำขอต่อนาที และงานจะใช้เวลาประมาณ 167 นาที
  • นักพัฒนาซอฟต์แวร์เขียนสคริปต์ การส่งคำขอหนึ่งหรือสองคำขอในเวลาเดียวกันไม่เคยเข้าใกล้ขีดจำกัดใดๆ เลย

บทเรียนคือสำหรับการสร้างข้อความยาว ความพร้อมกันมักจะเป็นขีดจำกัดที่คุณจะพบก่อนเสมอ ผลลัพธ์สั้นๆ จะชนกับเพดานต่อนาทีแทน

การอ่านหัวข้อความจำกัดอัตรา

การตอบกลับทุกครั้งมีหัวข้อความสำคัญที่คุณสามารถบันทึกหรือใช้เพื่อปรับแต่งได้:

  • X-RateLimit-Limit-Requests: ขีดจำกัดต่อนาทีของคุณ
  • X-RateLimit-Limit-Concurrency: ขีดจำกัดความพร้อมใช้งานพร้อมกันของคุณ
  • X-Balance-USD: เครดิตคงเหลือ
  • X-Request-Id: อ้างอิงค่านี้เมื่อติดต่อฝ่ายสนับสนุนหากมีสิ่งผิดปกติ

เมื่อใช้ OpenAI Python SDK ให้ใช้ wrapper การตอบกลับแบบดิบเพื่อดูค่าเหล่านี้:

from openai import OpenAI

client = OpenAI(base_url="https://api.unlimitedaiapi.com/v1", api_key="YOUR_KEY")

raw = client.chat.completions.with_raw_response.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Reply with one word."}],
)
print(raw.headers.get("X-RateLimit-Limit-Requests"))
print(raw.headers.get("X-RateLimit-Limit-Concurrency"))
print(raw.headers.get("X-Balance-USD"))
completion = raw.parse()
print(completion.choices[0].message.content)

ตรวจสอบค่าเหล่านี้ครั้งเดียวตอนเริ่มต้นระบบ และกำหนดขนาดพูล worker ของคุณจากค่าความพร้อมใช้งานพร้อมกันแทนที่จะกำหนดค่าตายตัวเป็น 8 ด้วยวิธีนี้โค้ดเดียวกันจะใช้งานได้ทั้งกับคีย์ทดลองและคีย์เต็ม

สิ่งที่ 429 บอกคุณ

การเกินขีดจำกัดจะส่ง HTTP 429 พร้อมรหัสข้อผิดพลาด:

  • rate_limited: ส่งคำขอเกินต่อนาที ชะลอความเร็วลง
  • concurrency: มีคำขอที่กำลังดำเนินการอยู่เกินจำนวนที่กำหนด รอจนกว่าคำขอหนึ่งจะเสร็จสิ้น

API ยังส่ง 429 พร้อมหัวข้อความ Retry-After: 5 เมื่อระบบมีภาระเกินชั่วคราว ในทุกกรณี การตอบสนองที่ถูกต้องคือเหมือนกัน: รอแล้วลองใหม่ โดยใช้ค่าจากหัวข้อความเมื่อมีอยู่

กับดักหนึ่งของการสตรีมคือคำขอที่สตรีมจะครอบครองช่องความพร้อมกันจนกว่าการสตรีมจะสิ้นสุด หากไคลเอนต์เปิดสตรีมแล้วหยุดอ่าน หรือ UI ทิ้งการเชื่อมต่อไว้ ช่องเหล่านั้นจะยังคงไม่ว่าง ควรปิดสตรีมที่คุณละทิ้งเสมอ

ตัวรันแบบแบทช์ที่เคารพขีดจำกัดทั้งสอง

สคริปต์นี้จำกัดคำขอที่กำลังดำเนินการไว้สูงสุด 8 คำขอ เว้นระยะการเริ่มต้นเพื่อให้อยู่ใต้ 300 ต่อนาที และ retry 429 ด้วย backoff ปรับค่า CONCURRENCY และ RPM สำหรับคีย์ทดลอง

import asyncio, random
from openai import AsyncOpenAI, RateLimitError

client = AsyncOpenAI(base_url="https://api.unlimitedaiapi.com/v1", api_key="YOUR_KEY", max_retries=0)
CONCURRENCY, RPM = 8, 300
sem = asyncio.Semaphore(CONCURRENCY)
interval = 60 / RPM  # 0.2 s between starts

async def call(prompt, attempt=0):
    async with sem:
        try:
            r = await client.chat.completions.create(
                model="uncensored",
                messages=[{"role": "user", "content": prompt}],
            )
            return r.choices[0].message.content
        except RateLimitError as e:
            if attempt >= 6:
                raise
            wait = float(e.response.headers.get("Retry-After", 5)) + random.random()
            await asyncio.sleep(wait * (1.5 ** attempt))
    return await call(prompt, attempt + 1)

async def main(prompts):
    tasks = []
    for p in prompts:
        tasks.append(asyncio.create_task(call(p)))
        await asyncio.sleep(interval)
    return await asyncio.gather(*tasks)

results = asyncio.run(main(["Summarise: ..."] * 50))

เซมิโฟร์จะถูกปล่อยขณะพักเมื่อได้ 429 ทำให้งานอื่นยังคงดำเนินการต่อได้ การตั้งค่า max_retries=0 ในไคลเอนต์จะหยุด SDK จากการทำซ้ำแบบซ่อนไว้เพิ่มเติมจากการทำซ้ำของคุณ

คำแนะนำการออกแบบสำหรับปริมาณสูง

  • ใช้คิว อย่ากระจายงาน คิวงานที่มี worker 8 ตัวมีประสิทธิภาพดีกว่าการสร้างเธรดต่อคำขอและทำซ้ำ
  • เพิ่ม jitter (หน่วงเวลาแบบสุ่ม) หากผู้ปฏิบัติงานจำนวนมาก backoff เป็นเวลาเท่ากัน พวกมันจะกลับพร้อมกันและชนกันอีกครั้ง
  • จำกัดผลลัพธ์ การตั้งค่า max_tokens ลดระยะเวลาการเรียกใช้ ซึ่งเพิ่มปริมาณงานที่มีประสิทธิภาพภายใต้ขีดจำกัดความพร้อมใช้งาน
  • ชอบใช้พรอมต์จำนวนน้อยแต่ใหญ่กว่า เมื่องานอนุญาต เช่น การจำแนก 20 รายการต่อคำขอแทนที่จะทำทีละรายการ วิธีนี้ลดจำนวนคำขอได้ 20 เท่า โปรดระวังหน้าต่าง 100,000 โทเคน
  • ติดตามต้นทุนควบคู่ไปกับความเร็ว ที่ $0.15 ต่อ 1M input tokens และ $0.50 ต่อ 1M output tokens งาน 10,000 คำขอที่มี 2,000 tokens เข้าและ 300 tokens ออก มีค่าใช้จ่าย $4.50 ดู หน้าราคา สำหรับจำนวนเงินเติมและโบนัส

หากขีดจำกัดของคีย์เต็มจำนวนไม่เพียงพอสำหรับผลิตภัณฑ์ของคุณ โปรดแจ้งผ่าน หน้าสนับสนุน พร้อมระบุอัตราการคำขอที่คาดหวังและความยาวผลลัพธ์เฉลี่ย

ข้อผิดพลาดทั่วไปที่ดูเหมือนขีดจำกัด

ข้อผิดพลาดบางรายการดูเหมือนการจำกัดอัตราแต่มีสาเหตุอื่น

พายุการทำซ้ำ

ไคลเอนต์ที่ retry ทันทีเมื่อได้รับ 429 ทุกครั้งจะทำให้ปัญหารุนแรงขึ้น ผู้ปฏิบัติงานสิบคนที่ทำ retry โดยไม่มีระยะเวลารอจะคงตัวนับต่อนาทีไว้ที่เพดาน ทำให้ไม่มีใครสำเร็จ การเพิ่มระยะเวลารอแบบสุ่มไม่ใช่เรื่องทางเลือกเมื่อมีปริมาณมาก

การนับคำขอ ไม่ใช่การลองทำ

การลองทำซ้ำของคุณนับเป็นคำขอเช่นกัน หากแผนของคุณคือ 300 ต่อนาที และ 20% ของการเรียกใช้มีการทำซ้ำ ความต้องการจริงของคุณคือ 360 ให้จัดสรรงบประมาณโดยรันลูปเริ่มต้นที่ประมาณ 80% ของขีดจำกัด เช่น 240 ต่อนาที

การหมดเวลาที่ยกเลิกการทำงาน

หากไคลเอนต์ของคุณยอมแพ้หลังจาก 30 วินาทีแต่เซิร์ฟเวอร์ยังคงสร้างข้อมูลอยู่ คุณอาจเปิดคำขอใหม่ในขณะที่คำขอแรกยังถือช่องอยู่ ตั้งค่าการหมดเวลาของไคลเอนต์ให้สูงกว่าระยะเวลาการสร้างที่คาดว่ายาวที่สุด หรือลด max_tokens

การทดสอบด้วยมืออย่างรวดเร็ว

เพื่อดูการกระตุ้นขีดจำกัดโดยเจตนาด้วยคีย์ทดลอง ให้ส่งสามคำขอในเวลาเดียวกัน:

for i in 1 2 3; do
  curl -s -o /dev/null -w "%{http_code}
" https://api.unlimitedaiapi.com/v1/chat/completions     -H "Authorization: Bearer YOUR_KEY" -H "Content-Type: application/json"     -d '{"model":"uncensored","messages":[{"role":"user","content":"Write a 300 word story."}]}' &
done; wait

บนคีย์ทดลอง (คำขอพร้อมกัน 2) คุณควรเห็นการตอบกลับ 200 สองรายการและการตอบกลับ 429 หนึ่งรายการ

ขั้นตอนถัดไป

รับคีย์ที่หน้า คีย์ API; เครดิตทดลองแบบคลิกเดียวเพียงพอสำหรับการทดสอบตรรกะการ retry ของคุณกับการตอบกลับ 429 จริง เนื่องจากขีดจำกัด 60 ต่อนาทีและคำขอพร้อมกัน 2 ของคีย์ทดลองนั้นง่ายที่จะชนโดยเจตนา หน้า เอกสาร ระบุเอนด์พอยต์ทั้งหมด และ LangChain และบันทึกของเอเจนต์ แสดงวิธีจำกัดความพร้อมใช้งานภายในเฟรมเวิร์กเอเจนต์ ซึ่งงานของผู้ใช้หนึ่งรายสามารถสร้างการเรียกใช้หลายรายการแบบขนานได้

ถาม-ตอบ

มีขีดจำกัดรายวันหรือรายเดือนสำหรับการเรียก API หรือไม่?

ไม่มี การเรียกเก็บเงินเป็นแบบเติมเงินตามโทเคนและไม่มีโควตาการเรียกใช้ มีเพียงขีดจำกัดอัตราตามนาทีและขีดจำกัดความพร้อมใช้งานคู่ขนานเท่านั้น

เกิดอะไรขึ้นเมื่อฉันเกิน 300 คำขอต่อนาที

API จะตอบกลับด้วย HTTP 429 พร้อม error code rate_limited ให้รอและลองใหม่ โดยใช้ส่วนหัว Retry-After หากมีอยู่

ทำไมฉันจึงเกิดข้อผิดพลาดเรื่องความพร้อมใช้งานคู่ขนานแม้จะมีปริมาณการรับส่งข้อมูลต่ำ

การสร้างข้อความยาวและการเปิดสตรีมจะครอบครองสล็อตจนกว่าจะเสร็จสิ้น คำขอที่ช้าแปดคำก็เพียงพอที่จะใช้ขีดจำกัดของคีย์เต็มจนเต็มแล้ว ดังนั้นให้จำกัด max_tokens และปิดสตรีมที่ไม่ได้ใช้งาน

การตอบกลับ 429 มีการคิดค่าบริการหรือไม่?

ไม่ คำขอที่ล้มเหลวหรือถูกปฏิเสธจะไม่ถูกเรียกเก็บเงิน

คีย์ของคุณอยู่ห่างแค่แบบฟอร์มเดียว

สร้างบัญชี คัดลอกคีย์ และเปลี่ยน base URL นั่นคือการตั้งค่าทั้งหมด

รับคีย์ API