Dokumentasi AI Agentic LangChain: Alat dan Mode JSON
Sebagian besar dokumentasi AI agentic LangChain mengasumsikan kelas model milik vendor, tetapi endpoint yang kompatibel dengan OpenAI apa pun dapat bekerja dengan ChatOpenAI setelah Anda mengatur base URL. Panduan ini menghubungkan LangChain ke API ini dan membangun agen pemanggilan alat langkah demi langkah.
Diperbarui
Poin utama
- Gunakan ChatOpenAI dengan base_url yang diatur ke API ini dan model diatur ke
uncensored. - Pemanggilan fungsi dan mode JSON didukung, sehingga bind_tools dan response_format bekerja sesuai dokumentasi.
- Batasi loop agen, validasi argumen alat, dan pertahankan max_concurrency pada atau di bawah 8 pada kunci penuh.
- Streaming melalui SSE mengembalikan penggunaan token di akhir, yang membantu Anda melacak biaya setiap menjalankan agen.

Yang Anda butuhkan sebelum memulai
Jika Anda membaca dokumentasi AI agentic LangChain dan bertanya-tanya apa yang berubah ketika model tidak berasal dari vendor dalam contoh, jawabannya sangat sedikit. Agen di LangChain adalah loop: model membaca percakapan, memutuskan apakah akan memanggil alat, kode Anda menjalankan alat, dan hasilnya kembali ke model hingga menghasilkan jawaban akhir. Endpoint model hanya perlu mendukung chat completions dengan pemanggilan fungsi, dan API ini melakukannya.
Anda membutuhkan tiga hal: kunci API dari halaman kunci, Python 3.10 atau yang lebih baru, dan paket di bawah ini. Base URL adalah https://api.unlimitedaiapi.com/v1 dan ID model adalah uncensored. Ini adalah satu model bobot terbuka yang dijalankan oleh penyedia independen, sehingga tidak ada daftar model untuk dipilih; GET /v1/models mengembalikannya untuk penemuan klien.
pip install -U langchain langchain-openai
export UNLIMITED_API_KEY="your-key-here"Langkah 1: sambungkan ChatOpenAI ke endpoint
Kelas ChatOpenAI LangChain menerima base_url kustom. Segalanya lainnya tetap sama, termasuk varian invoke, stream, batch, dan async.
import os
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(
model="uncensored",
base_url="https://api.unlimitedaiapi.com/v1",
api_key=os.environ["UNLIMITED_API_KEY"],
temperature=0.2,
)
print(llm.invoke("Reply with one short sentence.").content)
Jika ini mencetak kalimat, autentikasi, routing, dan nama model semuanya benar. Autentikasi adalah header Authorization: Bearer standar, yang ditambahkan kelas untuk Anda. Kesalahan umum adalah melewatkan /v1 di base URL, yang biasanya membuat panggilan pertama gagal.
Langkah 2: definisikan alat dan ikatkan
Alat adalah fungsi Python biasa dengan docstring. Docstring dan type hint menjadi skema yang dilihat model, jadi tulislah seolah-olah Anda menjelaskan fungsi kepada rekan baru.
import os
from langchain_core.tools import tool
from langchain_openai import ChatOpenAI
@tool
def get_order_status(order_id: str) -> str:
'''Look up the status of an order by its ID, for example A100.'''
return {"A100": "shipped", "A101": "processing"}.get(order_id, "not found")
llm = ChatOpenAI(
model="uncensored",
base_url="https://api.unlimitedaiapi.com/v1",
api_key=os.environ["UNLIMITED_API_KEY"],
temperature=0,
)
llm_with_tools = llm.bind_tools([get_order_status])
ai = llm_with_tools.invoke("Where is order A100?")
print(ai.tool_calls)
Daftar yang dicetak berisi panggilan dengan nama get_order_status dan argumen seperti {"order_id": "A100"}. Di balik layar, LangChain mengirimkan fungsi Anda sebagai entri dalam array tools permintaan chat completions, dan API mendukung tools, tool_choice dan tool_calls yang di-streaming. Untuk memaksa panggilan alat, teruskan tool_choice ke bind_tools.
Mengapa suhu rendah
Agen merangkai beberapa panggilan model, sehingga satu argumen yang salah format dapat menggagalkan satu eksekusi. Suhu 0 hingga 0,2 membuat pemilihan alat lebih dapat diulang. Naikkan hanya untuk langkah jawaban akhir jika Anda menginginkan prosa yang lebih bervariasi.
Langkah 3: jalankan loop agen
Menulis loop sendiri membutuhkan lima belas baris dan menunjukkan apa yang terjadi di setiap langkah, yang membantu ketika ada kesalahan. Hasil alat kembali ke model sebagai objek ToolMessage, yang menjadi pesan role: "tool" di jaringan.
import os
from langchain_core.messages import HumanMessage, ToolMessage
from langchain_core.tools import tool
from langchain_openai import ChatOpenAI
@tool
def get_order_status(order_id: str) -> str:
'''Look up the status of an order by its ID, for example A100.'''
return {"A100": "shipped", "A101": "processing"}.get(order_id, "not found")
llm = ChatOpenAI(
model="uncensored",
base_url="https://api.unlimitedaiapi.com/v1",
api_key=os.environ["UNLIMITED_API_KEY"],
temperature=0,
)
tools = {"get_order_status": get_order_status}
llm_with_tools = llm.bind_tools(list(tools.values()))
messages = [HumanMessage("Where is order A100, and what about A101?")]
for _ in range(5): # hard cap on loop length
ai = llm_with_tools.invoke(messages)
messages.append(ai)
if not ai.tool_calls:
break
for call in ai.tool_calls:
result = tools[call["name"]].invoke(call["args"])
messages.append(ToolMessage(content=str(result), tool_call_id=call["id"]))
print(ai.content)
Perhatikan range(5). Agen tanpa batas langkah dapat berputar tanpa henti pada hasil alat yang membingungkan, dan setiap putaran memakan token input untuk seluruh percakapan sejauh ini. Lima adalah batas atas yang wajar untuk tugas sederhana; naikkan secara sengaja.
Menggunakan helper agen bawaan
Versi LangChain terbaru dilengkapi dengan helper yang menjalankan loop ini untuk Anda. Nama dan jalur impor telah berpindah antar rilis, jadi konfirmasi terhadap dokumentasi versi yang terpasang. Di jalur 1.x saat ini terlihat seperti ini:
import os
from langchain.agents import create_agent
from langchain_core.tools import tool
from langchain_openai import ChatOpenAI
@tool
def get_order_status(order_id: str) -> str:
'''Look up the status of an order by its ID, for example A100.'''
return {"A100": "shipped", "A101": "processing"}.get(order_id, "not found")
llm = ChatOpenAI(
model="uncensored",
base_url="https://api.unlimitedaiapi.com/v1",
api_key=os.environ["UNLIMITED_API_KEY"],
temperature=0,
)
agent = create_agent(llm, tools=[get_order_status], system_prompt="You are a concise support assistant.")
result = agent.invoke({"messages": [{"role": "user", "content": "Where is order A100?"}]})
print(result["messages"][-1].content)
Gunakan helper ketika Anda menginginkan pola standar, dan loop yang ditulis tangan ketika Anda memerlukan aturan berhenti kustom, logging per langkah, atau hasil alat yang ingin Anda filter sebelum model melihatnya.
Output terstruktur dengan mode JSON
Agen sering kali perlu menyerahkan data ke kode lain, seperti rencana, klasifikasi, atau daftar bidang yang diekstrak. Mode JSON memaksa balasan menjadi objek JSON yang valid. Di LangChain, Anda dapat meneruskannya melalui bind:
import json
import os
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(
model="uncensored",
base_url="https://api.unlimitedaiapi.com/v1",
api_key=os.environ["UNLIMITED_API_KEY"],
temperature=0,
)
json_llm = llm.bind(response_format={"type": "json_object"})
msg = json_llm.invoke(
"Extract the city and country from: 'I moved to Lyon, France last spring.' "
"Answer as JSON with the keys city and country."
)
print(json.loads(msg.content))
Sebutkan kata JSON dalam prompt dan deskripsikan bidang yang Anda harapkan, seperti dalam contoh. Mode JSON menjamin sintaks, bukan skema Anda, jadi tetap validasikan objek yang diparsing (dengan Pydantic, misalnya) dan tangani bidang yang hilang.
Batas, streaming, dan biaya untuk menjalankan agen
Agen membuat banyak panggilan dalam waktu singkat, sehingga batas akun lebih penting daripada untuk chatbot sederhana. Kunci penuh mengizinkan 8 permintaan paralel dan 300 permintaan per menit. Kunci uji coba mengizinkan 2 dan 60. Jika Anda menjalankan banyak panggilan sekaligus dengan batch atau menjalankan beberapa agen sekaligus, batasi paralelisme dalam konfigurasi:
import os
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(
model="uncensored",
base_url="https://api.unlimitedaiapi.com/v1",
api_key=os.environ["UNLIMITED_API_KEY"],
)
prompts = ["Name one prime number.", "Name one even number.", "Name one square number."]
answers = llm.batch(prompts, config={"max_concurrency": 8})
for a in answers:
print(a.content)
Gunakan 2 sebagai pengganti 8 pada kunci uji coba. Untuk agen interaktif, llm.stream(...) mengembalikan token melalui SSE saat dihasilkan, dan angka penggunaan tiba di akhir stream.
Biaya mudah untuk diestimasi. Satu eksekusi 5 langkah yang rata-rata 4.000 input dan 300 token output per langkah menggunakan 20.000 input dan 1.500 token output secara total, yang merupakan $0,003 + $0,00075 = $0,00375 per eksekusi pada $0,15 dan $0,50 per 1 juta token. halaman harga memiliki tarifnya, dan dokumentasi mencantumkan parameter permintaan dan header, termasuk X-Request-Id untuk melacak satu panggilan gagal.
Merancang alat yang dapat digunakan model
Sebagian besar kegagalan agen berawal dari alat, bukan loop. Beberapa aturan membantu dengan model apa pun:
- Jaga setiap alat tetap sempit. Alat bernama
get_order_statusbekerja lebih baik daripada yang bernamadatabase_queryyang mengambil teks bebas. - Gunakan tipe argumen sederhana: string, bilangan bulat, dan enum pendek. Objek bersarang dalam memberikan model lebih banyak cara untuk salah dalam bidang.
- Kembalikan hasil pendek dan sederhana. Alat yang menumpuk 50.000 karakter ke dalam percakapan mengisi jendela konteks dan meningkatkan biaya setiap langkah selanjutnya.
- Kembalikan kesalahan sebagai teks, seperti "order_id harus terlihat seperti A100", sebagai ganti pengecualian yang mengakhiri eksekusi.
Uji agen pada sejumlah kecil prompt nyata dengan kredit uji coba $0,50 sebelum Anda meningkatkan skala. Pengguna baru mendapatkannya dengan satu klik di halaman kunci, dan itu berlaku selama 7 hari.
Jebakan yang harus diperiksa terlebih dahulu
- Panggilan alat tidak pernah muncul. Buat docstring lebih spesifik, turunkan suhu, atau paksa panggilan dengan
tool_choice. - Argumen tidak valid. Validasi di dalam alat dan kembalikan string kesalahan yang jelas, agar model dapat memperbaiki dirinya sendiri pada langkah berikutnya.
- Pertumbuhan konteks. Jendela konteks adalah 100.000 token termasuk balasan. Potong output alat lama sebelum jendela konteks penuh.
Panduan lainnya
Tanya jawab
Kelas LangChain mana yang kompatibel dengan API ini?
ChatOpenAI dari langchain-openai. Atur base_url ke https://api.unlimitedaiapi.com/v1, atur model ke uncensored, dan teruskan kunci Anda sebagai api_key.
Apakah API mendukung pemanggilan fungsi untuk agen?
Ya. API ini menerima parameter tools dan tool_choice, mengembalikan tool_calls (termasuk saat streaming), dan menerima hasil kembali sebagai pesan dengan role tool.
Dapatkah LangChain memproses output terstruktur melalui API ini?
Ya, melalui mode JSON: atur response_format menjadi tipe json_object. Ini menjamin sintaksis JSON yang valid, sehingga Anda harus memvalidasi bidang sendiri.
Berapa banyak agen yang dapat saya jalankan secara paralel?
Kunci penuh mengizinkan 8 permintaan paralel dan 300 per menit. Kunci uji coba mengizinkan 2 permintaan paralel dan 60 per menit.
Kunci Anda hanya selangkah lagi dari satu formulir
Buat akun, salin kunci, ubah URL dasar. Itu saja seluruh proses pengaturannya.