Вызовы API Unlimited AI: объяснение лимитов
Можно ли делать неограниченные вызовы API unlimited ai? Для этого API нет ежемесячной квоты, но есть два ограничения частоты: запросов в минуту и одновременных запросов. Вот что они означают на практике и как написать код, который их соблюдает.
Обновлено
Ключевые моменты
- Полный ключ позволяет 300 запросов в минуту и 8 одновременных запросов; пробный ключ — 60 и 2.
- 429 с кодом rate_limited означает слишком много запросов в минуту; код concurrency означает слишком много запросов одновременно.
- Потоковый запрос удерживает свой слот параллельных запросов до завершения потока.
- Используйте семафор на 8 и повторяйте 429 с экспоненциальной задержкой, соблюдая Retry-After.


Два ограничения рядом
Если под неограниченными вызовами AI API понимать отсутствие ежемесячного лимита, то вы защищены: оплата предоплаченная и за токен, без квоты на вызовы. Пропускную способность ограничивает пара лимитов запросов, защищающих общие GPU.
| Тип ключа | Запросов в минуту | Параллельные запросы |
|---|---|---|
| Полный ключ | 300 | 8 |
| Пробный ключ | 60 | 2 |
Другие фиксированные ограничения: тело запроса до 8 МБ и контекстное окно на 100 000 токенов (промпт плюс завершение). Они применяются к каждому запросу, а не в минуту.
Два ограничения частоты независимы. Вы можете превысить лимит параллельности, отправляя всего 20 запросов в минуту, если каждый занимает много времени, и превысить лимит в минуту очень быстрыми короткими вызовами.
Что означают числа для реальной нагрузки
Быстрый способ оценить нагрузку — закон Литтла: параллельные запросы = скорость поступления x среднее время выполнения.
- Чат-бот, 100 активных пользователей. Если каждый отправляет сообщение каждые 60 секунд, это 100 запросов в минуту, что значительно ниже 300. Каждый ответ занимает около 10 секунд, поэтому средняя параллельность составляет (100 / 60) x 10, примерно 17. Это превышает 8, поэтому нужна очередь, а не просто цикл повторных попыток.
- Пакет из 10 000 коротких промптов. При 300 в минуту минимальное время выполнения составляет 10 000 / 300 = 33,3 минуты. Чтобы достичь 300 в минуту с 8 слотами, вызовы должны занимать в среднем 1,6 секунды (8 x 60 / 300). Более длительные вызовы смещают узкое место в параллельность: при 8 секундах на вызов 8 слотов дают 60 вызовов в минуту, и задача займет около 167 минут.
- Одиночный разработчик, скриптинг. Один или два запроса одновременно никогда не достигнут ни одного из лимитов.
Урок в том, что для долгих генераций параллельность почти всегда является тем лимитом, который вы достигаете первым. Короткие выводы упираются в лимит в минуту.
Чтение заголовков лимитов
Каждый ответ содержит заголовки, которые можно логировать или использовать для адаптации:
X-RateLimit-Limit-Requests: ваш лимит в минуту.X-RateLimit-Limit-Concurrency: ваш лимит параллельности.X-Balance-USD: оставшийся баланс.X-Request-Id: укажите этот ID поддержке, если что-то пойдет не так.
С OpenAI Python SDK используйте обертку для сырого ответа, чтобы их увидеть:
from openai import OpenAI
client = OpenAI(base_url="https://api.unlimitedaiapi.com/v1", api_key="YOUR_KEY")
raw = client.chat.completions.with_raw_response.create(
model="uncensored",
messages=[{"role": "user", "content": "Reply with one word."}],
)
print(raw.headers.get("X-RateLimit-Limit-Requests"))
print(raw.headers.get("X-RateLimit-Limit-Concurrency"))
print(raw.headers.get("X-Balance-USD"))
completion = raw.parse()
print(completion.choices[0].message.content)
Проверьте их один раз при запуске и настройте размер пула воркеров на основе значения параллельности, а не жестко кодируйте 8. Так один и тот же код будет работать и для пробного ключа, и для полного.
Что говорит 429
Превышение лимита возвращает HTTP 429 с кодом ошибки:
rate_limited: слишком много запросов в минуту. Замедлите темп.concurrency: слишком много запросов в полете. Подождите завершения одного.
API также возвращает 429 с заголовком Retry-After: 5 при временной перегрузке. В любом случае правильный ответ одинаков: подождите и попробуйте снова, используя значение заголовка, если он присутствует.
Ловушка потоковой передачи: потоковый запрос занимает слот параллельности до конца потока. Если клиент открывает поток и перестает читать, или UI оставляет соединения висеть, эти слоты остаются занятыми. Всегда закрывайте потоки, которые вы бросаете.
Пакетный обработчик, соблюдающий оба ограничения
Этот скрипт держит не более 8 запросов в полете, распределяет запуски, чтобы не превышать 300 в минуту, и повторяет 429 с задержкой. Настройте CONCURRENCY и RPM для пробного ключа.
import asyncio, random
from openai import AsyncOpenAI, RateLimitError
client = AsyncOpenAI(base_url="https://api.unlimitedaiapi.com/v1", api_key="YOUR_KEY", max_retries=0)
CONCURRENCY, RPM = 8, 300
sem = asyncio.Semaphore(CONCURRENCY)
interval = 60 / RPM # 0.2 s between starts
async def call(prompt, attempt=0):
async with sem:
try:
r = await client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": prompt}],
)
return r.choices[0].message.content
except RateLimitError as e:
if attempt >= 6:
raise
wait = float(e.response.headers.get("Retry-After", 5)) + random.random()
await asyncio.sleep(wait * (1.5 ** attempt))
return await call(prompt, attempt + 1)
async def main(prompts):
tasks = []
for p in prompts:
tasks.append(asyncio.create_task(call(p)))
await asyncio.sleep(interval)
return await asyncio.gather(*tasks)
results = asyncio.run(main(["Summarise: ..."] * 50))
Семафор освобождается во время сна при 429, поэтому другие задачи продолжают двигаться. Установка max_retries=0 на клиенте предотвращает скрытые повторные попытки SDK поверх ваших собственных.
Советы по проектированию для больших объемов
- Очередь, а не веерный запуск. Очередь задач с 8 воркерами лучше, чем создание потока на каждый запрос и повторные попытки.
- Добавьте джиттер. Если многие воркеры ждут одно и то же время, они все вернутся одновременно и снова столкнутся.
- Ограничьте вывод. Установка
max_tokensснижает время вызова, что повышает эффективную пропускную способность в рамках лимита параллельности. - Предпочитайте меньшее число более крупных промптов, когда задача позволяет, например классификация 20 элементов за запрос вместо одного. Это снижает количество запросов в 20 раз. Учитывайте окно в 100 000 токенов.
- Отслеживайте стоимость наряду со скоростью. При $0,15 за 1M входных и $0,50 за 1M выходных токенов задача из 10 000 запросов с 2000 токенов на входе и 300 на выходе стоит $4,50. См. страницу цен для сумм пополнения и бонусов.
Если лимиты полного ключа слишком низки для вашего продукта, сообщите об этом через страницу поддержки, указав ожидаемую частоту запросов и среднюю длину вывода.
Распространенные ошибки, похожие на лимиты
Некоторые сбои похожи на ограничение частоты, но имеют другую причину.
Штормы повторных попыток
Клиент, который мгновенно повторяет запросы при каждом 429, усугубляет проблему. Десять воркеров, повторяющих запросы без задержки, удерживают счетчик запросов в минуту на максимуме, поэтому ни один из них не завершается успешно. Backoff с джиттером не является опциональным при больших объемах.
Подсчет запросов, а не попыток
Ваши повторные запросы тоже считаются запросами. Если ваш план — 300 запросов в минуту и 20% запросов повторяются, ваша реальная нагрузка составляет 360. Запланируйте это, запустив базовый цикл примерно на 80% от лимита, например 240 запросов в минуту.
Тайм-ауты, отменяющие работу
Если ваш клиент прекращает ожидание через 30 секунд, но сервер все еще генерирует ответ, вы можете открыть запрос-замену, пока первый все еще занимает слот. Установите тайм-ауты клиента выше вашего самого длительного ожидаемого времени генерации или уменьшите max_tokens.
Быстрый ручной тест
Чтобы намеренно увидеть срабатывание лимита с пробным ключом, отправьте три запроса одновременно:
for i in 1 2 3; do
curl -s -o /dev/null -w "%{http_code}
" https://api.unlimitedaiapi.com/v1/chat/completions -H "Authorization: Bearer YOUR_KEY" -H "Content-Type: application/json" -d '{"model":"uncensored","messages":[{"role":"user","content":"Write a 300 word story."}]}' &
done; wait
На пробном ключе (2 параллельных запроса) вы должны увидеть два ответа 200 и один 429.
Куда двигаться дальше
Получите ключ на странице API-ключ; пробного баланса достаточно, чтобы протестировать логику повторных вызовов на реальных ответах 429, поскольку лимиты пробного ключа — 60 в минуту и 2 параллельных запроса — легко превысить намеренно. В документации перечислены все эндпоинты, а в заметках по LangChain и агентам показано, как ограничить параллельные запросы внутри фреймворков агентов, где одна пользовательская задача может порождать несколько параллельных вызовов.
Дополнительные руководства
Вопросы и ответы
Есть ли дневной или месячный лимит на вызовы API?
Нет. Оплата производится за токены вперед, и квоты на вызовы нет. Применяются только лимиты запросов в минуту и параллельных запросов.
Что происходит, когда я превышаю 300 запросов в минуту?
API отвечает HTTP 429 с кодом ошибки «rate_limited». Подождите и повторите запрос, используя заголовок Retry-After, если он присутствует.
Почему я получаю ошибку параллельных соединений при низкой нагрузке?
Долгие генерации и открытые потоки занимают слот до завершения. Восемь медленных запросов способны заполнить лимит полного ключа, поэтому ограничивайте max_tokens и закрывайте неиспользуемые потоки.
Снимаются ли деньги за ответы 429?
Нет. За неудачные или отклонённые запросы плата не взимается.
Ваш ключ — всего в одной форме
Создайте аккаунт, скопируйте ключ, измените базовый URL. Это вся настройка.