TR ▾
API anahtarı al

LangChain Agentic AI Dokümantasyonu: Araçlar ve JSON Modu

Çoğu LangChain agentic AI dokümantasyonu satıcının kendi model sınıfını varsayar, ancak bir base URL ayarlandıktan sonra ChatOpenAI ile herhangi bir OpenAI uyumlu uç nokta çalışır. Bu kılavuz LangChain'i bu API'ye bağlar ve adım adım bir araç çağıran ajan oluşturur.

güncellendi

Temel noktalar

  • base_url'yi bu API'ye ve modeli uncensored olarak ayarlayarak ChatOpenAI kullanın.
  • Araç çağırma ve JSON modu desteklenir, bu nedenle bind_tools ve response_format belgelere uygun şekilde çalışır.
  • Ajan döngülerini sınırlayın, araç argümanlarını doğrulayın ve tam anahtarınızda max_concurrency değerini 8 veya altında tutun.
  • SSE üzerinden akış, sona geldiğinde token kullanımını döndürür; bu da her ajan çalıştırma maliyetinizi izlemenize yardımcı olur.
Araç istasyonlarından geçen döngüsel bir pist üzerinde küpleri taşıyan, LangChain ajan döngüsünü temsil eden robotik kol

Başlamadan önce ihtiyacınız olanlar

LangChain Agentic AI dokümantasyonunu okuyor ve örneklerdeki model satıcıya ait olmadığında nelerin değiştiğini merak ediyorsanız, cevap çok azdır. LangChain'de bir ajan bir döngüdür: model konuşmayı okur, bir araç çağırıp çağırmayacağına karar verir, kodunuz aracı çalıştırır ve sonuç, nihai bir yanıt üretene kadar modele geri döner. Model uç noktasının yalnızca araç çağırma ile sohbet tamamlamalarını desteklemesi gerekir ve bu API bunu yapar.

Üç şeye ihtiyacınız var: anahtar sayfasından bir API anahtarı, Python 3.10 veya daha yeni sürüm ve aşağıdaki paketler. Base URL https://api.unlimitedaiapi.com/v1 ve model ID'si uncensored'dir. Bağımsız bir sağlayıcı tarafından işletilen tek bir açık ağırlıklı modeldir, bu nedenle seçilecek bir model listesi yoktur; GET /v1/models istemci keşfi için bunu döndürür.

pip install -U langchain langchain-openai
export UNLIMITED_API_KEY="your-key-here"

Adım 1: ChatOpenAI'yi uç noktaya bağlayın

LangChain'in ChatOpenAI sınıfı özel bir base_url kabul eder. invoke, stream, batch ve async varyantları dahil olmak üzere her şey aynı kalır.

import os
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    model="uncensored",
    base_url="https://api.unlimitedaiapi.com/v1",
    api_key=os.environ["UNLIMITED_API_KEY"],
    temperature=0.2,
)

print(llm.invoke("Reply with one short sentence.").content)

Bu bir cümle yazdırıyorsa kimlik doğrulama, yönlendirme ve model adı doğrudur. Kimlik doğrulama standart Authorization: Bearer başlığını kullanır; sınıf bunu sizin için ekler. Yaygın bir hata, base URL'den /v1 eksik bırakmaktır; bu genellikle ilk çağrının başarısız olmasına neden olur.

Adım 2: araçları tanımlayın ve bağlayın

Araçlar, docstring içeren basit Python fonksiyonlarıdır. Docstring ve tür ipuçları, modelin gördüğü şemayı oluşturur; bu nedenle fonksiyonu yeni bir meslektaşınıza açıklar gibi yazın.

import os
from langchain_core.tools import tool
from langchain_openai import ChatOpenAI

@tool
def get_order_status(order_id: str) -> str:
    '''Look up the status of an order by its ID, for example A100.'''
    return {"A100": "shipped", "A101": "processing"}.get(order_id, "not found")

llm = ChatOpenAI(
    model="uncensored",
    base_url="https://api.unlimitedaiapi.com/v1",
    api_key=os.environ["UNLIMITED_API_KEY"],
    temperature=0,
)
llm_with_tools = llm.bind_tools([get_order_status])

ai = llm_with_tools.invoke("Where is order A100?")
print(ai.tool_calls)

Yazdırılan liste, get_order_status adında bir çağrı ve {"order_id": "A100"} gibi argümanlar içerir. Arka planda LangChain, fonksiyonunuzu sohbet tamamlamaları isteğinin tools dizisine bir girdi olarak gönderir ve API tools, tool_choice ve akışlı tool_calls'i destekler. Bir araç çağrısını zorlamak için tool_choice değerini bind_tools fonksiyonuna iletin.

Neden sıcaklık düşüktür

Ajanlar birçok model çağrısını zincirler, bu nedenle tek bir hatalı argüman bir çalıştırmayı bozabilir. 0 ile 0,2 arasında bir sıcaklık, araç seçimini daha tekrarlanabilir kılar. Daha çeşitli bir metin istiyorsanız, bunu yalnızca nihai yanıt adımında artırın.

Adım 3: ajan döngüsünü çalıştırın

Döngüyü kendiniz yazmak on beş satır sürer ve her adımda ne olduğunu tam olarak gösterir; bu da bir şeyler ters gittiğinde yardımcı olur. Araç sonuçları modele ToolMessage nesneleri olarak geri döner; bunlar ağ üzerinde role: "tool" mesajlarına dönüşür.

import os
from langchain_core.messages import HumanMessage, ToolMessage
from langchain_core.tools import tool
from langchain_openai import ChatOpenAI

@tool
def get_order_status(order_id: str) -> str:
    '''Look up the status of an order by its ID, for example A100.'''
    return {"A100": "shipped", "A101": "processing"}.get(order_id, "not found")

llm = ChatOpenAI(
    model="uncensored",
    base_url="https://api.unlimitedaiapi.com/v1",
    api_key=os.environ["UNLIMITED_API_KEY"],
    temperature=0,
)
tools = {"get_order_status": get_order_status}
llm_with_tools = llm.bind_tools(list(tools.values()))

messages = [HumanMessage("Where is order A100, and what about A101?")]
for _ in range(5):                      # hard cap on loop length
    ai = llm_with_tools.invoke(messages)
    messages.append(ai)
    if not ai.tool_calls:
        break
    for call in ai.tool_calls:
        result = tools[call["name"]].invoke(call["args"])
        messages.append(ToolMessage(content=str(result), tool_call_id=call["id"]))

print(ai.content)

range(5) aralığını dikkate alın. Adım limiti olmayan bir ajan, kafa karıştırıcı bir araç sonucunda sonsuza kadar döngüye girebilir ve her geçiş, şu ana kadarki tüm konuşma için girdi tokenları maliyetine neden olur. Beş, basit görevler için makul bir üst sınırdır; bunu bilinçli olarak artırın.

Önceden hazırlanmış ajan yardımcısını kullanma

Güncel LangChain sürümleri, bu döngüyü sizin için çalıştıran bir yardımcı işlev içerir. Adı ve içe aktarma yolu sürümler arasında değişmiştir, bu nedenle bunları yüklü sürümün dokümantasyonuna göre doğrulayın. Mevcut 1.x serisinde durum şöyledir:

import os
from langchain.agents import create_agent
from langchain_core.tools import tool
from langchain_openai import ChatOpenAI

@tool
def get_order_status(order_id: str) -> str:
    '''Look up the status of an order by its ID, for example A100.'''
    return {"A100": "shipped", "A101": "processing"}.get(order_id, "not found")

llm = ChatOpenAI(
    model="uncensored",
    base_url="https://api.unlimitedaiapi.com/v1",
    api_key=os.environ["UNLIMITED_API_KEY"],
    temperature=0,
)

agent = create_agent(llm, tools=[get_order_status], system_prompt="You are a concise support assistant.")
result = agent.invoke({"messages": [{"role": "user", "content": "Where is order A100?"}]})
print(result["messages"][-1].content)

Standart deseni istediğinizde yardımcıyı kullanın; özel durma kuralları, adım başı günlük kaydı veya model görmeden önce filtrelemek istediğiniz araç sonuçları gerektiğinde elle yazılmış döngüyü kullanın.

JSON modu ile yapılandırılmış çıktı

Ajanlar genellikle bir plan, sınıflandırma veya çıkarılan alanların listesi gibi verileri başka kodlara aktarmayı gerektirir. JSON modu yanıtı geçerli bir JSON nesnesine zorlar. LangChain'de bunu bind üzerinden iletebilirsiniz:

import json
import os
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    model="uncensored",
    base_url="https://api.unlimitedaiapi.com/v1",
    api_key=os.environ["UNLIMITED_API_KEY"],
    temperature=0,
)
json_llm = llm.bind(response_format={"type": "json_object"})

msg = json_llm.invoke(
    "Extract the city and country from: 'I moved to Lyon, France last spring.' "
    "Answer as JSON with the keys city and country."
)
print(json.loads(msg.content))

Promptta JSON kelimesini belirtin ve örnekteki gibi beklediğiniz anahtarları tanımlayın. JSON modu sözdizimini garanti eder, şemanızı değil; bu nedenle ayrıştırılan nesneyi doğrulamaya (örneğin Pydantic ile) ve eksik bir anahtarı işlemeye devam edin.

Ajan çalıştırmaları için limitler, akış ve maliyet

Ajanlar kısa sürede çok sayıda çağrı yapar, bu nedenle hesap limitleri basit bir sohbet botuna göre daha önemlidir. Tam anahtar 8 eşzamanlı isteğe ve dakikada 300 isteğe izin verir. Deneme anahtarı 2 ve 60 isteğe izin verir. batch ile paralel çalıştırırsanız veya aynı anda birkaç ajan çalıştırırsanız, yapılandırmadaki paralelliği sınırlayın:

import os
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    model="uncensored",
    base_url="https://api.unlimitedaiapi.com/v1",
    api_key=os.environ["UNLIMITED_API_KEY"],
)
prompts = ["Name one prime number.", "Name one even number.", "Name one square number."]
answers = llm.batch(prompts, config={"max_concurrency": 8})
for a in answers:
    print(a.content)

Deneme anahtarında 8 yerine 2 kullanın. Etkileşimli ajanlar için llm.stream(...) tokenları SSE üzerinden oluşturulduklarında döndürür ve kullanım sayıları akışın sonunda gelir.

Maliyet kolayca tahmin edilebilir. Adım başına ortalama 4.000 girdi ve 300 çıktı token kullanan 5 adımlı bir çalıştırma toplamda 20.000 girdi ve 1.500 çıktı token kullanır; bu da 1M token başına $0,15 ve $0,50 fiyatlarla çalıştırma başına $0,003 + $0,00075 = $0,00375'tir. fiyatlandırma sayfası oranları içerir ve dokümantasyon istek parametrelerini ve başlıkları listeler; bunlar arasında tek bir başarısız çağrıyı izlemek için X-Request-Id bulunur.

Modelin kullanabileceği araçları tasarlama

Çoğu ajan hatası döngüden değil, araçlardan kaynaklanır. Herhangi bir model için birkaç kural yardımcı olur:

  • Her aracı dar tutun. get_order_status adlı bir araç, serbest metin kabul eden database_query adlı bir araçtan daha iyi çalışır.
  • Basit argüman türleri kullanın: dizgeler, tamsayılar ve kısa numaralandırmalar. Derinlemesine iç içe geçmiş nesneler modelin bir alanı yanlış doldurması için daha fazla yol verir.
  • Kısa, düz sonuçlar döndürün. Konuşmaya 50.000 karakter döken bir araç, bağlam penceresini doldurur ve sonraki her adımın maliyetini artırır.
  • Hataları, çalışmayı sonlandıran istisnalar yükseltmek yerine, "order_id A100 gibi görünmelidir" gibi metin olarak döndürün.

Ölçeklendirmeden önce ajanı birkaç gerçek promptta $0,50 deneme kredisi ile test edin. Yeni kullanıcılar anahtar sayfasında tek tıkla bunu alır ve 7 gün boyunca geçerlidir.

İlk kontrol edilecek hatalar

  • Araç çağrısı hiç görünmez. Docstring'i daha spesifik yapın, sıcaklığı düşürün veya tool_choice ile çağrıyı zorlayın.
  • Geçersiz argümanlar. Araç içinde doğrulama yapın ve açık bir hata dizgesi döndürün, böylece model bir sonraki adımda kendini düzeltebilir.
  • Bağlam büyümesi. Pencere, yanıt dahil olmak üzere 100.000 token'dır. Pencereyi doldurmadan önce eski araç çıktısını kırpın.

Sorular ve cevaplar

Bu API ile hangi LangChain sınıfı çalışır?

ChatOpenAI sınıfını langchain-openai paketinden alın. base_url değerini https://api.unlimitedaiapi.com/v1 olarak ayarlayın, modeli uncensored olarak seçin ve anahtarınızı api_key parametresi ile iletin.

API, ajanlar için araç çağırma desteği sağlıyor mu?

Evet. tools ve tool_choice parametrelerini kabul eder, tool_calls döndürür (akış sırasında da), sonuçları role: tool mesajı olarak geri alır.

LangChain, bu API üzerinden yapılandırılmış çıktıyı ayrıştırabilir mi?

Evet, JSON modu ile: response_format'ı json_object türüne ayarlayın. Geçerli JSON sözdizimi garanti edilir, alanları kendiniz doğrulayın.

Paralel olarak kaç ajan çalıştırabilirim?

Tam anahtar 8 eşzamanlı isteğe ve dakikada 300 isteğe izin verir. Deneme anahtarı 2 eşzamanlı ve dakikada 60 isteğe izin verir.

Anahtarınız tek bir formun uzağında

Bir hesap oluşturun, anahtarı kopyalayın ve base URL'yi değiştirin. Kurulum bu kadar basit.

API anahtarı al