การเรียก API ของ Unlimited AI: อธิบายขีดจำกัดอัตรา
คุณสามารถทำการเรียก API ของ unlimited ai ได้ไม่จำกัดหรือไม่ ไม่มีโควตาการเรียกใช้รายเดือนสำหรับ API นี้ แต่มีขีดจำกัดอัตราสองประการ: คำขอต่อนาทีและคำขอพร้อมกัน นี่คือความหมายในทางปฏิบัติและวิธีเขียนโค้ดให้อยู่ในขีดจำกัดเหล่านี้
อัปเดต
ประเด็นสำคัญ
- คีย์แบบเต็มอนุญาตให้เรียกใช้ 300 คำขอต่อนาทีและ 8 คำขอพร้อมกัน; คีย์ทดลองอนุญาตให้เรียกใช้ 60 และ 2
- 429 พร้อม code rate_limited หมายถึงเกินต่อนาที; code concurrency หมายถึงเกินพร้อมกัน
- คำขอแบบสตรีมจะครอบครองช่องความพร้อมใช้งานพร้อมกันจนกว่าสตรีมจะสิ้นสุด
- ใช้ semaphore ขนาด 8 และ retry 429 ด้วย backoff โดยเคารพ Retry-After


ขีดจำกัดสองข้อเปรียบเทียบกัน
สำหรับการเรียกใช้ API AI โดยไม่มีขีดจำกัดรายเดือน คุณพร้อมใช้งานแล้ว: การเรียกใช้ไม่มีจำนวนจำกัด การคิดเงินเป็นแบบเติมเงินล่วงหน้าและคิดตามโทเคน ขีดจำกัดที่จำกัดปริมาณการประมวลผลคือขีดจำกัดอัตราสองข้อที่ปกป้อง GPU ร่วมกัน
| ประเภทคีย์ | คำขอต่อนาที | คำขอพร้อมกัน |
|---|---|---|
| คีย์เต็ม | 300 | 8 |
| คีย์ทดลอง | 60 | 2 |
ขีดจำกัดคงที่อื่นๆ: เนื้อหาคำขอขนาดไม่เกิน 8 MB และหน้าต่างบริบท 100,000 โทเคน (พรอมต์รวมกับการสร้างผลลัพธ์) ขีดจำกัดเหล่านี้ใช้ต่อคำขอ ไม่ใช่ต่อนาที
ขีดจำกัดอัตราทั้งสองเป็นอิสระต่อกัน คุณสามารถทำเกินขีดจำกัดความพร้อมใช้งานพร้อมกันขณะส่งเพียง 20 คำขอต่อนาทีหากแต่ละคำขอใช้เวลานาน และคุณสามารถทำเกินขีดจำกัดต่อนาทีด้วยการเรียกที่รวดเร็วและสั้นมาก
ความหมายของตัวเลขสำหรับงานจริง
วิธีรวดเร็วในการประมาณขนาดงานของคุณคือกฎของลิตเติล: คำขอพร้อมกัน = อัตราการมาถึง x ระยะเวลาเฉลี่ย
- แชทบอท, ผู้ใช้ใช้งานจริง 100 คน หากแต่ละคนส่งข้อความทุก 60 วินาที นั่นคือ 100 คำขอต่อนาที ซึ่งต่ำกว่า 300 มาก การตอบกลับแต่ละครั้งใช้เวลาประมาณ 10 วินาที ดังนั้นความพร้อมกันเฉลี่ยคือ (100 / 60) x 10 ซึ่งประมาณ 17 ซึ่งเกิน 8 ดังนั้นคุณต้องมีการคิว ไม่ใช่แค่ลูปลองใหม่
- ชุดพรอมต์สั้นๆ 10,000 รายการ ที่อัตรา 300 รายการต่อนาที เวลาทำงานขั้นต่ำคือ 10,000 / 300 = 33.3 นาที เพื่อให้ได้ 300 รายการต่อนาทีด้วย 8 ช่อง การเรียกต้องเฉลี่ย 1.6 วินาที (8 x 60 / 300) การเรียกที่ยาวขึ้นจะเปลี่ยนจุดคอขวดไปเป็นความพร้อมกัน: ที่ 8 วินาทีต่อการเรียก 8 ช่องให้ 60 คำขอต่อนาที และงานจะใช้เวลาประมาณ 167 นาที
- นักพัฒนาซอฟต์แวร์เขียนสคริปต์ การส่งคำขอหนึ่งหรือสองคำขอในเวลาเดียวกันไม่เคยเข้าใกล้ขีดจำกัดใดๆ เลย
บทเรียนคือสำหรับการสร้างข้อความยาว ความพร้อมกันมักจะเป็นขีดจำกัดที่คุณจะพบก่อนเสมอ ผลลัพธ์สั้นๆ จะชนกับเพดานต่อนาทีแทน
การอ่านหัวข้อความจำกัดอัตรา
การตอบกลับทุกครั้งมีหัวข้อความสำคัญที่คุณสามารถบันทึกหรือใช้เพื่อปรับแต่งได้:
X-RateLimit-Limit-Requests: ขีดจำกัดต่อนาทีของคุณX-RateLimit-Limit-Concurrency: ขีดจำกัดความพร้อมใช้งานพร้อมกันของคุณX-Balance-USD: เครดิตคงเหลือX-Request-Id: อ้างอิงค่านี้เมื่อติดต่อฝ่ายสนับสนุนหากมีสิ่งผิดปกติ
เมื่อใช้ OpenAI Python SDK ให้ใช้ wrapper การตอบกลับแบบดิบเพื่อดูค่าเหล่านี้:
from openai import OpenAI
client = OpenAI(base_url="https://api.unlimitedaiapi.com/v1", api_key="YOUR_KEY")
raw = client.chat.completions.with_raw_response.create(
model="uncensored",
messages=[{"role": "user", "content": "Reply with one word."}],
)
print(raw.headers.get("X-RateLimit-Limit-Requests"))
print(raw.headers.get("X-RateLimit-Limit-Concurrency"))
print(raw.headers.get("X-Balance-USD"))
completion = raw.parse()
print(completion.choices[0].message.content)
ตรวจสอบค่าเหล่านี้ครั้งเดียวตอนเริ่มต้นระบบ และกำหนดขนาดพูล worker ของคุณจากค่าความพร้อมใช้งานพร้อมกันแทนที่จะกำหนดค่าตายตัวเป็น 8 ด้วยวิธีนี้โค้ดเดียวกันจะใช้งานได้ทั้งกับคีย์ทดลองและคีย์เต็ม
สิ่งที่ 429 บอกคุณ
การเกินขีดจำกัดจะส่ง HTTP 429 พร้อมรหัสข้อผิดพลาด:
rate_limited: ส่งคำขอเกินต่อนาที ชะลอความเร็วลงconcurrency: มีคำขอที่กำลังดำเนินการอยู่เกินจำนวนที่กำหนด รอจนกว่าคำขอหนึ่งจะเสร็จสิ้น
API ยังส่ง 429 พร้อมหัวข้อความ Retry-After: 5 เมื่อระบบมีภาระเกินชั่วคราว ในทุกกรณี การตอบสนองที่ถูกต้องคือเหมือนกัน: รอแล้วลองใหม่ โดยใช้ค่าจากหัวข้อความเมื่อมีอยู่
กับดักหนึ่งของการสตรีมคือคำขอที่สตรีมจะครอบครองช่องความพร้อมกันจนกว่าการสตรีมจะสิ้นสุด หากไคลเอนต์เปิดสตรีมแล้วหยุดอ่าน หรือ UI ทิ้งการเชื่อมต่อไว้ ช่องเหล่านั้นจะยังคงไม่ว่าง ควรปิดสตรีมที่คุณละทิ้งเสมอ
ตัวรันแบบแบทช์ที่เคารพขีดจำกัดทั้งสอง
สคริปต์นี้จำกัดคำขอที่กำลังดำเนินการไว้สูงสุด 8 คำขอ เว้นระยะการเริ่มต้นเพื่อให้อยู่ใต้ 300 ต่อนาที และ retry 429 ด้วย backoff ปรับค่า CONCURRENCY และ RPM สำหรับคีย์ทดลอง
import asyncio, random
from openai import AsyncOpenAI, RateLimitError
client = AsyncOpenAI(base_url="https://api.unlimitedaiapi.com/v1", api_key="YOUR_KEY", max_retries=0)
CONCURRENCY, RPM = 8, 300
sem = asyncio.Semaphore(CONCURRENCY)
interval = 60 / RPM # 0.2 s between starts
async def call(prompt, attempt=0):
async with sem:
try:
r = await client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": prompt}],
)
return r.choices[0].message.content
except RateLimitError as e:
if attempt >= 6:
raise
wait = float(e.response.headers.get("Retry-After", 5)) + random.random()
await asyncio.sleep(wait * (1.5 ** attempt))
return await call(prompt, attempt + 1)
async def main(prompts):
tasks = []
for p in prompts:
tasks.append(asyncio.create_task(call(p)))
await asyncio.sleep(interval)
return await asyncio.gather(*tasks)
results = asyncio.run(main(["Summarise: ..."] * 50))
เซมิโฟร์จะถูกปล่อยขณะพักเมื่อได้ 429 ทำให้งานอื่นยังคงดำเนินการต่อได้ การตั้งค่า max_retries=0 ในไคลเอนต์จะหยุด SDK จากการทำซ้ำแบบซ่อนไว้เพิ่มเติมจากการทำซ้ำของคุณ
คำแนะนำการออกแบบสำหรับปริมาณสูง
- ใช้คิว อย่ากระจายงาน คิวงานที่มี worker 8 ตัวมีประสิทธิภาพดีกว่าการสร้างเธรดต่อคำขอและทำซ้ำ
- เพิ่ม jitter (หน่วงเวลาแบบสุ่ม) หากผู้ปฏิบัติงานจำนวนมาก backoff เป็นเวลาเท่ากัน พวกมันจะกลับพร้อมกันและชนกันอีกครั้ง
- จำกัดผลลัพธ์ การตั้งค่า
max_tokensลดระยะเวลาการเรียกใช้ ซึ่งเพิ่มปริมาณงานที่มีประสิทธิภาพภายใต้ขีดจำกัดความพร้อมใช้งาน - ชอบใช้พรอมต์จำนวนน้อยแต่ใหญ่กว่า เมื่องานอนุญาต เช่น การจำแนก 20 รายการต่อคำขอแทนที่จะทำทีละรายการ วิธีนี้ลดจำนวนคำขอได้ 20 เท่า โปรดระวังหน้าต่าง 100,000 โทเคน
- ติดตามต้นทุนควบคู่ไปกับความเร็ว ที่ $0.15 ต่อ 1M input tokens และ $0.50 ต่อ 1M output tokens งาน 10,000 คำขอที่มี 2,000 tokens เข้าและ 300 tokens ออก มีค่าใช้จ่าย $4.50 ดู หน้าราคา สำหรับจำนวนเงินเติมและโบนัส
หากขีดจำกัดของคีย์เต็มจำนวนไม่เพียงพอสำหรับผลิตภัณฑ์ของคุณ โปรดแจ้งผ่าน หน้าสนับสนุน พร้อมระบุอัตราการคำขอที่คาดหวังและความยาวผลลัพธ์เฉลี่ย
ข้อผิดพลาดทั่วไปที่ดูเหมือนขีดจำกัด
ข้อผิดพลาดบางรายการดูเหมือนการจำกัดอัตราแต่มีสาเหตุอื่น
พายุการทำซ้ำ
ไคลเอนต์ที่ retry ทันทีเมื่อได้รับ 429 ทุกครั้งจะทำให้ปัญหารุนแรงขึ้น ผู้ปฏิบัติงานสิบคนที่ทำ retry โดยไม่มีระยะเวลารอจะคงตัวนับต่อนาทีไว้ที่เพดาน ทำให้ไม่มีใครสำเร็จ การเพิ่มระยะเวลารอแบบสุ่มไม่ใช่เรื่องทางเลือกเมื่อมีปริมาณมาก
การนับคำขอ ไม่ใช่การลองทำ
การลองทำซ้ำของคุณนับเป็นคำขอเช่นกัน หากแผนของคุณคือ 300 ต่อนาที และ 20% ของการเรียกใช้มีการทำซ้ำ ความต้องการจริงของคุณคือ 360 ให้จัดสรรงบประมาณโดยรันลูปเริ่มต้นที่ประมาณ 80% ของขีดจำกัด เช่น 240 ต่อนาที
การหมดเวลาที่ยกเลิกการทำงาน
หากไคลเอนต์ของคุณยอมแพ้หลังจาก 30 วินาทีแต่เซิร์ฟเวอร์ยังคงสร้างข้อมูลอยู่ คุณอาจเปิดคำขอใหม่ในขณะที่คำขอแรกยังถือช่องอยู่ ตั้งค่าการหมดเวลาของไคลเอนต์ให้สูงกว่าระยะเวลาการสร้างที่คาดว่ายาวที่สุด หรือลด max_tokens
การทดสอบด้วยมืออย่างรวดเร็ว
เพื่อดูการกระตุ้นขีดจำกัดโดยเจตนาด้วยคีย์ทดลอง ให้ส่งสามคำขอในเวลาเดียวกัน:
for i in 1 2 3; do
curl -s -o /dev/null -w "%{http_code}
" https://api.unlimitedaiapi.com/v1/chat/completions -H "Authorization: Bearer YOUR_KEY" -H "Content-Type: application/json" -d '{"model":"uncensored","messages":[{"role":"user","content":"Write a 300 word story."}]}' &
done; wait
บนคีย์ทดลอง (คำขอพร้อมกัน 2) คุณควรเห็นการตอบกลับ 200 สองรายการและการตอบกลับ 429 หนึ่งรายการ
ขั้นตอนถัดไป
รับคีย์ที่หน้า คีย์ API; เครดิตทดลองแบบคลิกเดียวเพียงพอสำหรับการทดสอบตรรกะการ retry ของคุณกับการตอบกลับ 429 จริง เนื่องจากขีดจำกัด 60 ต่อนาทีและคำขอพร้อมกัน 2 ของคีย์ทดลองนั้นง่ายที่จะชนโดยเจตนา หน้า เอกสาร ระบุเอนด์พอยต์ทั้งหมด และ LangChain และบันทึกของเอเจนต์ แสดงวิธีจำกัดความพร้อมใช้งานภายในเฟรมเวิร์กเอเจนต์ ซึ่งงานของผู้ใช้หนึ่งรายสามารถสร้างการเรียกใช้หลายรายการแบบขนานได้
คู่มือเพิ่มเติม
ถาม-ตอบ
มีขีดจำกัดรายวันหรือรายเดือนสำหรับการเรียก API หรือไม่?
ไม่มี การเรียกเก็บเงินเป็นแบบเติมเงินตามโทเคนและไม่มีโควตาการเรียกใช้ มีเพียงขีดจำกัดอัตราตามนาทีและขีดจำกัดความพร้อมใช้งานคู่ขนานเท่านั้น
เกิดอะไรขึ้นเมื่อฉันเกิน 300 คำขอต่อนาที
API จะตอบกลับด้วย HTTP 429 พร้อม error code rate_limited ให้รอและลองใหม่ โดยใช้ส่วนหัว Retry-After หากมีอยู่
ทำไมฉันจึงเกิดข้อผิดพลาดเรื่องความพร้อมใช้งานคู่ขนานแม้จะมีปริมาณการรับส่งข้อมูลต่ำ
การสร้างข้อความยาวและการเปิดสตรีมจะครอบครองสล็อตจนกว่าจะเสร็จสิ้น คำขอที่ช้าแปดคำก็เพียงพอที่จะใช้ขีดจำกัดของคีย์เต็มจนเต็มแล้ว ดังนั้นให้จำกัด max_tokens และปิดสตรีมที่ไม่ได้ใช้งาน
การตอบกลับ 429 มีการคิดค่าบริการหรือไม่?
ไม่ คำขอที่ล้มเหลวหรือถูกปฏิเสธจะไม่ถูกเรียกเก็บเงิน
คีย์ของคุณอยู่ห่างแค่แบบฟอร์มเดียว
สร้างบัญชี คัดลอกคีย์ และเปลี่ยน base URL นั่นคือการตั้งค่าทั้งหมด