VI ▾
Lấy khóa API

Tài liệu AI tác nhân LangChain: Công cụ và chế độ JSON

Hầu hết tài liệu AI tác nhân LangChain giả định một lớp mô hình riêng của nhà cung cấp, nhưng bất kỳ endpoint nào tương thích OpenAI đều hoạt động với ChatOpenAI khi bạn đặt base URL. Hướng dẫn này kết nối LangChain với API này và xây dựng một tác nhân gọi công cụ từng bước.

Cập nhật

Điểm chính

  • Sử dụng ChatOpenAI với base_url được đặt thành API này và mô hình được đặt thành uncensored.
  • Gọi hàm và chế độ JSON được hỗ trợ, vì vậy bind_tools và response_format hoạt động như tài liệu đã mô tả.
  • Giới hạn vòng lặp tác nhân, xác thực đối số công cụ và giữ max_concurrency ở mức bằng hoặc thấp hơn 8 trên khóa đầy đủ.
  • Truyền phát qua SSE trả về việc sử dụng token ở cuối, điều này giúp bạn theo dõi chi phí cho mỗi lần chạy tác nhân.
Cánh tay robot di chuyển các khối qua các trạm công cụ trên một đường ray lặp lại, đại diện cho vòng lặp tác nhân LangChain

Những gì bạn cần trước khi bắt đầu

Nếu bạn đang đọc tài liệu AI tác nhân LangChain và tự hỏi điều gì thay đổi khi mô hình không đến từ nhà cung cấp trong các ví dụ, câu trả lời là rất ít. Một tác nhân trong LangChain là một vòng lặp: mô hình đọc cuộc trò chuyện, quyết định có gọi công cụ hay không, mã của bạn chạy công cụ, và kết quả được trả lại cho mô hình cho đến khi nó tạo ra câu trả lời cuối cùng. Endpoint của mô hình chỉ cần hỗ trợ chat completions với gọi hàm, và API này làm được điều đó.

Bạn cần ba thứ: khóa API từ trang khóa, Python 3.10 trở lên và các gói bên dưới. Base URL là https://api.unlimitedaiapi.com/v1 và ID mô hình là uncensored. Đây là một mô hình trọng số mở do một nhà cung cấp độc lập vận hành, vì vậy không có danh sách mô hình để chọn; GET /v1/models trả về nó để khám phá client.

pip install -U langchain langchain-openai
export UNLIMITED_API_KEY="your-key-here"

Bước 1: kết nối ChatOpenAI với endpoint

Lớp ChatOpenAI của LangChain nhận một base_url tùy chỉnh. Mọi thứ khác về nó vẫn giữ nguyên, bao gồm các biến thể invoke, stream, batch và async.

import os
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    model="uncensored",
    base_url="https://api.unlimitedaiapi.com/v1",
    api_key=os.environ["UNLIMITED_API_KEY"],
    temperature=0.2,
)

print(llm.invoke("Reply with one short sentence.").content)

Nếu lệnh này in ra một câu, xác thực, định tuyến và tên mô hình đều chính xác. Xác thực dùng header Authorization: Bearer tiêu chuẩn, lớp này tự thêm giúp bạn. Một lỗi phổ biến là bỏ sót /v1 trong base URL, điều này thường khiến yêu cầu đầu tiên thất bại.

Bước 2: xác định công cụ và liên kết chúng

Công cụ là các hàm Python đơn giản có docstring. Docstring và các gợi ý kiểu trở thành lược đồ mà mô hình thấy, vì vậy hãy viết chúng như khi bạn giải thích hàm cho một đồng nghiệp mới.

import os
from langchain_core.tools import tool
from langchain_openai import ChatOpenAI

@tool
def get_order_status(order_id: str) -> str:
    '''Look up the status of an order by its ID, for example A100.'''
    return {"A100": "shipped", "A101": "processing"}.get(order_id, "not found")

llm = ChatOpenAI(
    model="uncensored",
    base_url="https://api.unlimitedaiapi.com/v1",
    api_key=os.environ["UNLIMITED_API_KEY"],
    temperature=0,
)
llm_with_tools = llm.bind_tools([get_order_status])

ai = llm_with_tools.invoke("Where is order A100?")
print(ai.tool_calls)

Danh sách in ra chứa một lệnh gọi có tên get_order_status và các đối số như {"order_id": "A100"}. Bên dưới, LangChain gửi hàm của bạn dưới dạng mục nhập trong mảng tools của yêu cầu chat completions, và API hỗ trợ tools, tool_choice và truyền phát tool_calls. Để buộc gọi hàm, hãy truyền tool_choice cho bind_tools.

Tại sao nhiệt độ lại thấp

Agent nối chuỗi nhiều lệnh gọi mô hình, vì vậy một đối số bị lỗi có thể làm sai lệch quá trình chạy. Nhiệt độ từ 0 đến 0,2 giúp việc chọn công cụ nhất quán hơn. Chỉ tăng nó cho bước câu trả lời cuối cùng nếu bạn muốn văn bản đa dạng hơn.

Bước 3: chạy vòng lặp tác nhân

Viết vòng lặp của riêng bạn mất mười lăm dòng và cho thấy chính xác những gì xảy ra ở mỗi bước, điều này giúp ích khi có sự cố. Kết quả công cụ được trả lại cho mô hình dưới dạng các đối tượng ToolMessage, trở thành các thông báo role: "tool" trên đường truyền.

import os
from langchain_core.messages import HumanMessage, ToolMessage
from langchain_core.tools import tool
from langchain_openai import ChatOpenAI

@tool
def get_order_status(order_id: str) -> str:
    '''Look up the status of an order by its ID, for example A100.'''
    return {"A100": "shipped", "A101": "processing"}.get(order_id, "not found")

llm = ChatOpenAI(
    model="uncensored",
    base_url="https://api.unlimitedaiapi.com/v1",
    api_key=os.environ["UNLIMITED_API_KEY"],
    temperature=0,
)
tools = {"get_order_status": get_order_status}
llm_with_tools = llm.bind_tools(list(tools.values()))

messages = [HumanMessage("Where is order A100, and what about A101?")]
for _ in range(5):                      # hard cap on loop length
    ai = llm_with_tools.invoke(messages)
    messages.append(ai)
    if not ai.tool_calls:
        break
    for call in ai.tool_calls:
        result = tools[call["name"]].invoke(call["args"])
        messages.append(ToolMessage(content=str(result), tool_call_id=call["id"]))

print(ai.content)

Lưu ý range(5). Một agent không có giới hạn bước có thể lặp lại vô hạn trên kết quả công cụ gây nhầm lẫn, và mỗi lần chạy đều tốn token đầu vào cho toàn bộ cuộc trò chuyện cho đến nay. Năm là mức trần hợp lý cho các nhiệm vụ đơn giản; hãy tăng nó một cách có chủ đích.

Sử dụng trợ lý agent có sẵn

Các phiên bản LangChain gần đây cung cấp một trợ lý chạy vòng lặp này cho bạn. Tên và đường dẫn nhập đã thay đổi giữa các bản phát hành, vì vậy hãy xác nhận chúng với tài liệu của phiên bản đã cài đặt. Trong dòng 1.x hiện tại, nó trông như thế này:

import os
from langchain.agents import create_agent
from langchain_core.tools import tool
from langchain_openai import ChatOpenAI

@tool
def get_order_status(order_id: str) -> str:
    '''Look up the status of an order by its ID, for example A100.'''
    return {"A100": "shipped", "A101": "processing"}.get(order_id, "not found")

llm = ChatOpenAI(
    model="uncensored",
    base_url="https://api.unlimitedaiapi.com/v1",
    api_key=os.environ["UNLIMITED_API_KEY"],
    temperature=0,
)

agent = create_agent(llm, tools=[get_order_status], system_prompt="You are a concise support assistant.")
result = agent.invoke({"messages": [{"role": "user", "content": "Where is order A100?"}]})
print(result["messages"][-1].content)

Sử dụng trợ lý khi bạn muốn mẫu tiêu chuẩn, và vòng lặp viết tay khi bạn cần các quy tắc dừng tùy chỉnh, ghi nhật ký cho từng bước hoặc kết quả công cụ mà bạn muốn lọc trước khi mô hình thấy chúng.

Đầu ra có cấu trúc với chế độ JSON

Các tác nhân thường cần chuyển dữ liệu cho các mã khác, chẳng hạn như kế hoạch, phân loại hoặc danh sách các trường được trích xuất. Chế độ JSON buộc phản hồi phải là một đối tượng JSON hợp lệ. Trong LangChain, bạn có thể chuyển nó qua bind:

import json
import os
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    model="uncensored",
    base_url="https://api.unlimitedaiapi.com/v1",
    api_key=os.environ["UNLIMITED_API_KEY"],
    temperature=0,
)
json_llm = llm.bind(response_format={"type": "json_object"})

msg = json_llm.invoke(
    "Extract the city and country from: 'I moved to Lyon, France last spring.' "
    "Answer as JSON with the keys city and country."
)
print(json.loads(msg.content))

Hãy đề cập đến từ JSON trong prompt và mô tả các khóa bạn mong đợi, như trong ví dụ. Chế độ JSON đảm bảo cú pháp, không phải lược đồ của bạn, vì vậy hãy xác thực đối tượng đã phân tích cú pháp (với Pydantic, ví dụ) và xử lý một khóa bị thiếu.

Giới hạn, truyền phát và chi phí cho các lần chạy tác nhân

Agent thực hiện nhiều lệnh gọi trong thời gian ngắn, vì vậy các giới hạn tài khoản quan trọng hơn so với chatbot đơn giản. Khóa đầy đủ cho phép 8 yêu cầu đồng thời và 300 yêu cầu mỗi phút. Khóa dùng thử cho phép 2 và 60. Nếu bạn chạy song song bằng batch hoặc chạy nhiều agent cùng lúc, hãy giới hạn độ đồng thời trong cấu hình:

import os
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    model="uncensored",
    base_url="https://api.unlimitedaiapi.com/v1",
    api_key=os.environ["UNLIMITED_API_KEY"],
)
prompts = ["Name one prime number.", "Name one even number.", "Name one square number."]
answers = llm.batch(prompts, config={"max_concurrency": 8})
for a in answers:
    print(a.content)

Sử dụng 2 thay vì 8 trên khóa dùng thử. Đối với các tác nhân tương tác, llm.stream(...) trả về các token qua SSE khi chúng được tạo, và các số sử dụng đến vào cuối luồng.

Chi phí dễ ước lượng. Một quá trình chạy 5 bước trung bình 4.000 token đầu vào và 300 token đầu ra mỗi bước sử dụng tổng cộng 20.000 token đầu vào và 1.500 token đầu ra, tương đương $0,003 + $0,00075 = $0,00375 mỗi lần chạy ở mức $0,15 và $0,50 cho 1 triệu token. Trang giá cả có các mức giá, và tài liệu liệt kê các tham số yêu cầu và header, bao gồm X-Request-Id để theo dõi một lệnh gọi bị lỗi đơn lẻ.

Thiết kế các công cụ mà mô hình có thể sử dụng

Hầu hết các thất bại của tác nhân bắt nguồn từ các công cụ, không phải vòng lặp. Một vài quy tắc giúp ích cho bất kỳ mô hình nào:

  • Giữ mỗi công cụ hẹp. Một công cụ có tên get_order_status hoạt động tốt hơn một công cụ có tên database_query chấp nhận văn bản tự do.
  • Sử dụng các loại đối số đơn giản: chuỗi, số nguyên và các enum ngắn. Các đối tượng lồng nhau sâu cung cấp cho mô hình nhiều cách hơn để làm sai một trường.
  • Trả về kết quả ngắn gọn, rõ ràng. Một công cụ ghi 50.000 ký tự vào cuộc trò chuyện sẽ lấp đầy cửa sổ ngữ cảnh và làm tăng chi phí của mọi bước sau đó.
  • Trả về lỗi dưới dạng văn bản, chẳng hạn như "order_id phải giống như A100", thay vì ném ngoại lệ kết thúc lần chạy.

Kiểm tra agent trên một số prompt thực tế với tín dụng dùng thử $0,50 trước khi bạn mở rộng. Người dùng mới nhận được nó chỉ với một cú nhấp chuột trên trang khóa, và nó có giá trị trong 7 ngày.

Các lỗi cần kiểm tra trước tiên

  • Lệnh gọi công cụ không bao giờ xuất hiện. Làm cho docstring cụ thể hơn, giảm nhiệt độ hoặc buộc lệnh gọi với tool_choice.
  • Đối số không hợp lệ. Xác thực bên trong công cụ và trả về chuỗi lỗi rõ ràng, để mô hình có thể tự sửa lỗi ở bước tiếp theo.
  • Tăng trưởng ngữ cảnh. Cửa sổ là 100.000 token bao gồm câu trả lời. Cắt ngắn đầu ra công cụ cũ trước khi nó lấp đầy cửa sổ.

Hỏi đáp

Lớp LangChain nào hoạt động với API này?

ChatOpenAI từ langchain-openai. Đặt base_url thành https://api.unlimitedaiapi.com/v1, model thành uncensored và truyền khóa của bạn dưới dạng api_key.

API có hỗ trợ gọi hàm cho các tác nhân không?

Có. Nó chấp nhận các tham số tools và tool_choice, trả về tool_calls (cũng khi streaming) và nhận lại kết quả dưới dạng tin nhắn với role tool.

LangChain có thể phân tích cú pháp đầu ra có cấu trúc thông qua API này không?

Có, thông qua chế độ JSON: đặt response_format thành loại json_object. Nó đảm bảo cú pháp JSON hợp lệ, vì vậy bạn hãy tự xác thực các trường.

Tôi có thể chạy bao nhiêu tác nhân song song?

Khóa đầy đủ cho phép 8 yêu cầu đồng thời và 300 mỗi phút. Khóa dùng thử cho phép 2 yêu cầu đồng thời và 60 mỗi phút.

Khóa của bạn chỉ cách một biểu mẫu

Tạo tài khoản, sao chép khóa, thay đổi URL cơ sở. Đó là toàn bộ thiết lập.

Lấy khóa API