VI ▾
Lấy khóa API

Gọi API Unlimited AI: Giải thích giới hạn tốc độ

Bạn có thể thực hiện số yêu cầu API không giới hạn không? API này không có hạn ngạch hàng tháng, nhưng có hai giới hạn tốc độ: số yêu cầu mỗi phút và số yêu cầu đồng thời. Dưới đây là ý nghĩa thực tế của chúng và cách viết mã để nằm trong giới hạn đó.

Cập nhật

Điểm chính

  • Khóa đầy đủ cho phép 300 yêu cầu mỗi phút và 8 yêu cầu đồng thời; khóa dùng thử cho phép 60 và 2.
  • Mã 429 với code rate_limited nghĩa là quá nhiều yêu cầu mỗi phút; code concurrency nghĩa là quá nhiều yêu cầu đồng thời.
  • Một yêu cầu stream giữ slot concurrency của nó cho đến khi stream kết thúc.
  • Sử dụng semaphore với giá trị 8 và thử lại mã 429 với cơ chế backoff, tôn trọng header Retry-After.
Tám làn dữ liệu xếp hàng qua một cổng, minh họa giới hạn tốc độ và độ đồng thời của API
Cân cân bằng các khối token phát sáng với tiền xu, minh họa chi phí API theo token

Hai giới hạn, đặt cạnh nhau

Đối với các gọi API không giới hạn theo nghĩa "không giới hạn hàng tháng", bạn đã được bảo đảm: thanh toán là trả trước theo token, không có hạn ngạch gọi. Điều giới hạn thông lượng là một cặp giới hạn tốc độ bảo vệ GPU dùng chung.

Loại khóaYêu cầu mỗi phútYêu cầu đồng thời
Khóa đầy đủ3008
Khóa dùng thử602

Các giới hạn cố định khác: thân yêu cầu tối đa 8 MB và cửa sổ ngữ cảnh 100.000 token (gồm prompt và completion). Những giới hạn này áp dụng cho mỗi yêu cầu, không phải mỗi phút.

Hai giới hạn tốc độ là độc lập. Bạn có thể vượt qua giới hạn đồng thời khi chỉ gửi 20 yêu cầu mỗi phút nếu mỗi yêu cầu mất nhiều thời gian, và bạn có thể vượt qua giới hạn mỗi phút với các lệnh gọi nhanh, ngắn.

Ý nghĩa của các con số đối với tải trọng thực tế

Một cách nhanh chóng để xác định kích thước tải trọng của bạn là định luật Little: yêu cầu đồng thời = tốc độ đến x thời gian trung bình.

  • Chatbot, 100 người dùng hoạt động. Nếu mỗi người gửi một tin nhắn mỗi 60 giây, đó là 100 yêu cầu mỗi phút, thấp hơn nhiều so với 300. Mỗi phản hồi mất khoảng 10 giây, vì vậy độ đồng thời trung bình là (100 / 60) x 10, xấp xỉ 17. Điều này vượt quá 8, vì vậy bạn cần hàng đợi, không chỉ là vòng lặp thử lại.
  • Batch gồm 10.000 prompt ngắn. Ở tốc độ 300 mỗi phút, thời gian chạy tối thiểu là 10.000 / 300 = 33,3 phút. Để đạt 300 mỗi phút với 8 slot, các lệnh gọi phải trung bình 1,6 giây (8 x 60 / 300). Các lệnh gọi dài hơn chuyển điểm nghẽn sang độ đồng thời: ở 8 giây mỗi lệnh gọi, 8 slot cho phép 60 lệnh gọi mỗi phút và công việc mất khoảng 167 phút.
  • Lập trình viên đơn lẻ viết script. Một hoặc hai yêu cầu cùng lúc không bao giờ chạm vào giới hạn nào.

Bài học là đối với các quá trình sinh dài, độ đồng thời gần như luôn là giới hạn bạn chạm phải trước tiên. Các đầu ra ngắn chạm trần giới hạn mỗi phút.

Đọc các header giới hạn tốc độ

Mỗi phản hồi đều mang các header mà bạn có thể ghi log hoặc sử dụng để thích ứng:

  • X-RateLimit-Limit-Requests: giới hạn mỗi phút của bạn.
  • X-RateLimit-Limit-Concurrency: giới hạn đồng thời của bạn.
  • X-Balance-USD: tín dụng còn lại.
  • X-Request-Id: trích dẫn giá trị này khi hỗ trợ nếu có gì đó không ổn.

Với SDK Python của OpenAI, hãy sử dụng bộ bao phản hồi thô để xem chúng:

from openai import OpenAI

client = OpenAI(base_url="https://api.unlimitedaiapi.com/v1", api_key="YOUR_KEY")

raw = client.chat.completions.with_raw_response.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Reply with one word."}],
)
print(raw.headers.get("X-RateLimit-Limit-Requests"))
print(raw.headers.get("X-RateLimit-Limit-Concurrency"))
print(raw.headers.get("X-Balance-USD"))
completion = raw.parse()
print(completion.choices[0].message.content)

Kiểm tra các giá trị này một lần khi khởi động và điều chỉnh kích thước nhóm worker dựa trên giá trị concurrency thay vì mã cứng giá trị 8. Như vậy, cùng một mã nguồn sẽ hoạt động cho cả khóa dùng thử và khóa đầy đủ.

Một mã 429 cho bạn biết điều gì

Vượt quá giới hạn trả về HTTP 429 với mã lỗi:

  • rate_limited: quá nhiều yêu cầu mỗi phút. Hãy giảm tốc độ.
  • concurrency: quá nhiều yêu cầu đang xử lý. Đợi một yêu cầu hoàn tất.

API cũng trả về 429 với header Retry-After: 5 khi nó bị quá tải tạm thời. Trong mọi trường hợp, phản hồi đúng là giống nhau: đợi, sau đó thử lại, sử dụng giá trị header khi có.

Một bẫy với streaming: một yêu cầu streaming chiếm slot đồng thời của nó cho đến khi stream kết thúc. Nếu một client mở stream và sau đó ngừng đọc, hoặc UI để các kết nối treo, các slot đó vẫn bận. Luôn đóng các stream bạn bỏ rơi.

Trình chạy batch tôn trọng cả hai giới hạn

Script này giữ tối đa 8 yêu cầu đang xử lý, phân bổ các lần bắt đầu để nằm dưới 300 mỗi phút và thử lại mã 429 với backoff. Điều chỉnh CONCURRENCY và RPM cho khóa dùng thử.

import asyncio, random
from openai import AsyncOpenAI, RateLimitError

client = AsyncOpenAI(base_url="https://api.unlimitedaiapi.com/v1", api_key="YOUR_KEY", max_retries=0)
CONCURRENCY, RPM = 8, 300
sem = asyncio.Semaphore(CONCURRENCY)
interval = 60 / RPM  # 0.2 s between starts

async def call(prompt, attempt=0):
    async with sem:
        try:
            r = await client.chat.completions.create(
                model="uncensored",
                messages=[{"role": "user", "content": prompt}],
            )
            return r.choices[0].message.content
        except RateLimitError as e:
            if attempt >= 6:
                raise
            wait = float(e.response.headers.get("Retry-After", 5)) + random.random()
            await asyncio.sleep(wait * (1.5 ** attempt))
    return await call(prompt, attempt + 1)

async def main(prompts):
    tasks = []
    for p in prompts:
        tasks.append(asyncio.create_task(call(p)))
        await asyncio.sleep(interval)
    return await asyncio.gather(*tasks)

results = asyncio.run(main(["Summarise: ..."] * 50))

Semaphore được giải phóng trong khi ngủ khi gặp 429, vì vậy các tác vụ khác vẫn tiếp tục. Đặt max_retries=0 trên client để ngăn SDK tự thực hiện các lần thử lại ẩn của nó trên các lần thử lại của bạn.

Mẹo thiết kế cho khối lượng lớn

  • Hàng đợi, không mở rộng. Hàng đợi công việc với 8 worker tốt hơn việc tạo một luồng cho mỗi yêu cầu và thử lại.
  • Thêm jitter. Nếu nhiều worker giảm tốc độ cùng một lúc, chúng sẽ trả về cùng lúc và va chạm lại.
  • Giới hạn đầu ra. Đặt max_tokens làm giảm thời gian gọi, điều này tăng thông lượng hiệu quả dưới trần đồng thời.
  • Ưu tiên ít prompt hơn nhưng lớn hơn khi nhiệm vụ cho phép, ví dụ phân loại 20 mục mỗi yêu cầu thay vì một. Điều này cắt giảm số lượng yêu cầu đi 20 lần. Hãy nhớ cửa sổ 100.000 token.
  • Theo dõi chi phí cùng với tốc độ. Ở mức $0,15 cho 1M token đầu vào và $0,50 cho 1M token đầu ra, một công việc 10.000 yêu cầu với 2.000 token đầu vào và 300 token đầu ra tốn $4,50. Xem trang giá cả để biết số tiền nạp và tiền thưởng.

Nếu các giới hạn khóa đầy đủ quá thấp cho sản phẩm của bạn, hãy cho biết qua trang hỗ trợ với tốc độ yêu cầu dự kiến và độ dài đầu ra trung bình của bạn.

Các lỗi phổ biến trông giống như giới hạn

Một số lỗi cảm giác giống như giới hạn tốc độ nhưng có nguyên nhân khác.

Cơn bão thử lại

Một client thử lại ngay lập tức trên mọi mã 429 làm vấn đề tồi tệ hơn. Mười worker thử lại không có độ trễ giữ bộ đếm mỗi phút ở trần, vì vậy không ai trong số họ thành công. Backoff với jitter không phải là tùy chọn ở khối lượng lớn.

Đếm yêu cầu, không phải nỗ lực

Các lần thử lại của bạn cũng được tính là yêu cầu. Nếu kế hoạch của bạn là 300 mỗi phút và 20% lệnh gọi được thử lại, nhu cầu thực tế của bạn là 360. Lập ngân sách cho nó bằng cách chạy vòng lặp khởi đầu ở khoảng 80% giới hạn, ví dụ 240 mỗi phút.

Thời gian chờ làm hủy công việc

Nếu client của bạn từ bỏ sau 30 giây nhưng máy chủ vẫn đang tạo, bạn có thể mở một yêu cầu thay thế trong khi yêu cầu đầu tiên vẫn giữ một slot. Đặt thời gian chờ client cao hơn thời gian tạo dự kiến dài nhất của bạn, hoặc giảm max_tokens.

Kiểm tra thủ công nhanh

Để thấy giới hạn kích hoạt có chủ đích với khóa dùng thử, hãy gửi ba yêu cầu cùng lúc:

for i in 1 2 3; do
  curl -s -o /dev/null -w "%{http_code}
" https://api.unlimitedaiapi.com/v1/chat/completions     -H "Authorization: Bearer YOUR_KEY" -H "Content-Type: application/json"     -d '{"model":"uncensored","messages":[{"role":"user","content":"Write a 300 word story."}]}' &
done; wait

Với khóa dùng thử (2 yêu cầu đồng thời), bạn sẽ thấy hai phản hồi 200 và một phản hồi 429.

Đi tiếp ở đâu

Lấy khóa trên trang khóa API; tín dụng dùng thử một lần nhấp đủ để bạn kiểm tra logic thử lại với các lỗi 429 thực tế, vì giới hạn 60 yêu cầu mỗi phút và 2 yêu cầu đồng thời của khóa dùng thử dễ bị chạm có chủ đích. Tài liệu liệt kê mọi endpoint, và ghi chú LangChain và agent cho thấy cách giới hạn độ đồng thời trong các khung agent, nơi một tác vụ người dùng có thể tạo ra nhiều lời gọi song song.

Hỏi đáp

Có giới hạn gọi API hàng ngày hoặc hàng tháng không?

Không. Thanh toán là tín dụng trả trước theo token và không có hạn ngạch gọi. Chỉ có giới hạn mỗi phút và độ đồng thời.

Điều gì xảy ra khi tôi vượt quá 300 yêu cầu mỗi phút?

API trả về HTTP 429 với mã lỗi rate_limited. Hãy đợi và thử lại, sử dụng header Retry-After nếu có.

Tại sao tôi nhận được lỗi độ đồng thời với lưu lượng thấp?

Các quá trình sinh dài và luồng mở giữ một slot cho đến khi chúng kết thúc. Tám yêu cầu chậm đủ để lấp đầy một khóa đầy đủ, vì vậy hãy giới hạn max_tokens và đóng các luồng không sử dụng.

Các phản hồi 429 có được tính phí không?

Không. Các yêu cầu thất bại hoặc bị từ chối không bị tính phí.

Khóa của bạn chỉ cách một biểu mẫu

Tạo tài khoản, sao chép khóa, thay đổi URL cơ sở. Đó là toàn bộ thiết lập.

Lấy khóa API