EmbeddingApis/Hướng dẫn
API văn bản không kiểm duyệt cho pipeline của bạn
Xây dựng bot chat LLM với API kiểu OpenAI
Bot chat dựa trên LLM là một vòng lặp: nhận tin nhắn của người dùng, thêm vào lịch sử đã lưu, gửi lịch sử đó đến mô hình và đăng câu trả lời. Hướng dẫn này xây dựng vòng lặp đó bằng Python, sau đó bao bọc nó cho Discord và đề cập đến các giới hạn cũng như chi phí.
Cập nhật
Điểm chính
Mô hình không có trạng thái, vì vậy bot của bạn phải lưu và gửi lại lịch sử.
Hãy sử dụng model uncensored với SDK OpenAI và base URL của trang web.
Hãy giới hạn độ đồng thời ở mức 8 và xếp hàng các yêu cầu còn lại để tránh lỗi 429.
Một lượt chat điển hình tốn một phần nhỏ của một xu.

Bot phải làm gì
API không ghi nhớ gì giữa các lần gọi. Mọi yêu cầu đều phải chứa toàn bộ hội thoại mà bạn muốn mô hình xem. Vì vậy, công việc của một bot trò chuyện chủ yếu là quản lý dữ liệu: duy trì danh sách tin nhắn theo người dùng hoặc kênh, thêm tin nhắn mới, gửi danh sách đó, lưu câu trả lời và lặp lại.
Dịch vụ này là một API chỉ xử lý văn bản, tương thích với OpenAI. Nó chạy một mô hình trọng số mở, do một nhà cung cấp độc lập vận hành và được tinh chỉnh để trả lời mà không từ chối nội dung, dành cho người trưởng thành sử dụng hợp pháp. Không có endpoint cho hình ảnh, âm thanh hay embedding, bất kể tên miền có thể gợi ý điều gì, vì vậy mọi thông tin dưới đây đều liên quan đến chat completions. Nội dung tình dục liên quan đến người chưa thành niên không được phép.
Vòng lặp cốt lõi trong Python
Cài đặt SDK với pip install openai, xuất khóa của bạn dưới dạng API_KEY và bắt đầu với phiên bản bảng điều khiển. Nếu bạn chưa có khóa, trang khóa API cung cấp $0,50 tín dụng dùng thử khi đăng ký.
import os
from openai import OpenAI
client = OpenAI(base_url="https://api.embeddingapis.com/v1", api_key=os.environ["API_KEY"])
SYSTEM = "You are Mira, a friendly assistant for a game community. Keep answers short."
history = [{"role": "system", "content": SYSTEM}]
def reply(user_text: str) -> str:
history.append({"role": "user", "content": user_text})
resp = client.chat.completions.create(
model="uncensored",
messages=history,
temperature=0.8,
max_tokens=400,
)
text = resp.choices[0].message.content
history.append({"role": "assistant", "content": text})
return text
while True:
print(reply(input("you> ")))
Đó là một bot hoạt động. Mọi thứ khác trong bài viết này giúp bot an toàn khi chạy cho nhiều người cùng lúc.
Viết prompt hệ thống bền vững
Tin nhắn hệ thống là nơi bot nhận tên, giọng điệu và các giới hạn. Một số thói quen giúp nó duy trì tốt qua các cuộc trò chuyện dài:
- Nêu rõ vai trò và đối tượng trong một hoặc hai câu.
- Đưa ra quy tắc định dạng: độ dài, ngôn ngữ, liệu có sử dụng danh sách hay không.
- Liệt kê những việc bot nên làm khi không biết câu trả lời, ví dụ như đặt câu hỏi.
- Đặt các thông tin cố định, chẳng hạn như quy tắc máy chủ hoặc chi tiết sản phẩm, vào tin nhắn hệ thống và không đưa vào các lượt hội thoại.
Đối với bot hư cấu, đóng vai và bạn đồng hành dành cho người trưởng thành, hãy thêm bối cảnh và giọng điệu của nhân vật vào đây, và nói rằng nhân vật sẽ duy trì vai trò trừ khi người dùng rời khỏi nó. Hãy kiểm tra prompt với mười hoặc mười lăm tin nhắn hóc búa trước khi xuất bản bot.
Giữ một lịch sử cho mỗi cuộc hội thoại
Một danh sách toàn cục như ở trên sẽ trộn lẫn mọi người dùng. Hãy lưu trữ một lịch sử riêng biệt cho mỗi kênh Discord, ID chat Telegram hoặc phiên web. Một từ điển hoạt động tốt cho nguyên mẫu; hãy sử dụng cơ sở dữ liệu khi bot phải tồn tại qua các lần khởi động lại.
Ngữ cảnh rất lớn: 100.000 token bao gồm cả prompt và câu trả lời. Dù vậy, đừng gửi mọi thứ mãi mãi. Lịch sử dài tốn nhiều chi phí hơn ở mỗi lượt và làm chậm câu trả lời. Một chính sách đơn giản là giữ lại tin nhắn hệ thống cùng 20 tin nhắn cuối cùng:
histories = {}
def trim(msgs, keep=20):
return [msgs[0]] + msgs[1:][-keep:]
def reply_for(chat_id, user_text):
msgs = histories.setdefault(chat_id, [{"role": "system", "content": SYSTEM}])
msgs.append({"role": "user", "content": user_text})
msgs[:] = trim(msgs)
resp = client.chat.completions.create(model="uncensored", messages=msgs)
text = resp.choices[0].message.content
msgs.append({"role": "assistant", "content": text})
return text
Đối với các bot cần bộ nhớ dài, chẳng hạn như bạn đồng hành, hãy tóm tắt các tin nhắn cũ thành một ghi chú ngắn gọn theo định kỳ và đặt ghi chú đó ở đầu lịch sử.
Phiên bản Discord
Với thư viện discord.py, bot sẽ trả lời khi được đề cập. Các yêu cầu đến API mang tính chặn (blocking), vì vậy hãy chạy chúng trong một luồng để duy trì kết nối Discord.
import asyncio, os
import discord
from openai import OpenAI
client = OpenAI(base_url="https://api.embeddingapis.com/v1", api_key=os.environ["API_KEY"])
intents = discord.Intents.default()
intents.message_content = True
bot = discord.Client(intents=intents)
slots = asyncio.Semaphore(8)
histories = {}
SYSTEM = "You are Mira, a friendly assistant. Keep answers under 120 words."
def ask(chat_id, text):
msgs = histories.setdefault(chat_id, [{"role": "system", "content": SYSTEM}])
msgs.append({"role": "user", "content": text})
msgs[:] = [msgs[0]] + msgs[1:][-20:]
r = client.chat.completions.create(model="uncensored", messages=msgs, max_tokens=300)
out = r.choices[0].message.content
msgs.append({"role": "assistant", "content": out})
return out
@bot.event
async def on_message(message):
if message.author.bot or bot.user not in message.mentions:
return
async with slots:
async with message.channel.typing():
text = await asyncio.to_thread(ask, message.channel.id, message.clean_content)
await message.reply(text[:1900])
bot.run(os.environ["DISCORD_TOKEN"])
Hàm ask tương tự có thể tích hợp vào bot Telegram (python-telegram-bot) hoặc một điểm cuối web nhỏ mà không cần thay đổi. Chỉ có phần nhận và gửi tin nhắn là khác biệt.
Giới hạn, truyền phát và lỗi
Một khóa đầy đủ cho phép 8 yêu cầu đồng thời và 300 yêu cầu mỗi phút. Một khóa dùng thử cho phép 2 và 60. Bộ semaphore trong ví dụ Discord giúp bạn duy trì dưới giới hạn đồng thời bằng cách khiến các tin nhắn thừa chờ đợi. Nếu bạn vẫn thấy HTTP 429, hãy đọc mã lỗi: rate_limited có nghĩa là quá nhiều yêu cầu mỗi phút, concurrency có nghĩa là quá nhiều yêu cầu cùng lúc, và tiêu đề Retry-After: 5 có nghĩa là quá tải tạm thời. Hãy đợi 5 giây và thử lại.
Đối với cửa sổ trò chuyện web, hãy đặt stream thành true và gửi token đến trình duyệt khi chúng đến, để người dùng thấy văn bản xuất hiện thay vì chờ đợi. Một luồng truyền phát chiếm một khe đồng thời cho đến khi kết thúc, vì vậy hãy đóng nó khi khách truy cập rời đi. Các yêu cầu thất bại hoặc bị từ chối không bị tính phí, và mỗi phản hồi đều bao gồm X-Balance-USD, mà bạn có thể sử dụng để tự cảnh báo trước khi tín dụng cạn kiệt.
Quy tắc cho cộng đồng của bạn
Một mô hình không kiểm duyệt trả lời cởi mở hơn hầu hết các trợ lý được lưu trữ, vì vậy hãy quyết định bot của bạn nên làm gì. Mô hình dành cho mục đích người trưởng thành hợp pháp, và nội dung tình dục liên quan đến người chưa thành niên là giới hạn cứng của dịch vụ. Nếu bot của bạn chạy trên máy chủ Discord công khai hoặc trong nhóm Telegram, hãy thêm các nội dung sau:
- Xác minh độ tuổi hoặc hạn chế các kênh được đánh dấu dành cho người trưởng thành khi bot được cấu hình cho truyện hư cấu dành cho người lớn.
- Một dòng trong prompt hệ thống thiết lập các chủ đề và giọng điệu được phép trong không gian đó.
- Một lệnh ngắn, chẳng hạn như
/reset, xóa lịch sử đã lưu để người dùng có thể bắt đầu lại. - Giới hạn tốc độ cơ bản theo người dùng, ví dụ một yêu cầu mỗi vài giây, để một người không thể chiếm tất cả 8 khe đồng thời.
Các quy tắc nền tảng từ Discord, Telegram hoặc nhà cung cấp dịch vụ web của bạn vẫn áp dụng cho bot. Hãy đọc chúng trước khi mời bot vào máy chủ.
Chạy thực tế
Một nguyên mẫu trên máy tính xách tay của bạn trở thành dịch vụ khi nó tồn tại qua các lần khởi động lại và thông báo cho bạn khi có sự cố. Một danh sách kiểm tra hợp lý:
- Giữ khóa trong biến môi trường hoặc kho bí mật, không bao giờ trong kho lưu trữ mã nguồn.
- Lưu trữ lịch sử trong SQLite hoặc Redis, đánh khóa theo ID chat, và loại bỏ những lịch sử không hoạt động trong nhiều ngày.
- Ghi lại
X-Request-Idvà trạng thái HTTP cho mọi lệnh gọi để bạn có thể truy vết các câu trả lời kỳ lạ. - Đọc
X-Balance-USDtừ tiêu đề phản hồi và tự cảnh báo khi số dư giảm xuống dưới mức bạn chọn. - Đặt thời gian chờ trên máy khách, ví dụ 60 giây, và gửi một tin nhắn xin lỗi ngắn nếu thời gian chờ hết hạn.
client = OpenAI(base_url="https://api.embeddingapis.com/v1", api_key=os.environ["API_KEY"], timeout=60, max_retries=2)
Hãy tinh chỉnh hai cài đặt đầu tiên khi các câu trả lời có vẻ không ổn. Giảm temperature xuống gần 0,5 cho các trợ lý trả lời theo dữ kiện, và tăng nó lên gần 1,0 cho các nhân vật sáng tạo. Sử dụng các chuỗi stop nếu mô hình có xu hướng viết dòng tiếp theo của người dùng, và một frequency_penalty nhỏ nếu nó lặp lại chính mình.
Chi phí cho một cuộc trò chuyện
Giá là $0,15 cho mỗi 1M token đầu vào và $0,50 cho mỗi 1M token đầu ra. Hãy lấy một bot xử lý 1.000 lượt mỗi ngày, trong đó mỗi lượt gửi khoảng 2.000 token đầu vào (prompt hệ thống cộng với lịch sử) và trả về khoảng 300 token.
- Đầu vào: 1.000 × 2.000 = 2.000.000 token, tương đương 2 × $0,15 = $0,30.
- Đầu ra: 1.000 × 300 = 300.000 token, tương đương 0,3 × $0,50 = $0,15.
- Tổng cộng: $0,45 mỗi ngày cho 1.000 lượt.
Cắt bớt lịch sử là biện pháp chính, vì token đầu vào chiếm ưu thế. Tín dụng là trả trước, không bao giờ hết hạn và không có gói đăng ký. Bạn có thể nạp tiền với số nguyên bất kỳ từ $20 đến $500 bằng tiền mã hóa (USDT trên TRC20, USDC trên Base), với ưu đãi +5% từ $50, +10% từ $100 và +15% từ $200. Xem trang giá để biết chi tiết và tài liệu để xem danh sách đầy đủ các tham số. Prompt không được dùng để huấn luyện mô hình.
Hướng dẫn khác
Hỏi đáp
Tôi có cần thư viện đặc biệt để xây dựng bot trò chuyện dựa trên LLM với API này không?
Không. Các SDK chính thức của OpenAI hoạt động sau khi bạn thiết lập base URL và khóa. Hãy sử dụng model ID là uncensored.
API có ghi nhớ các tin nhắn trước đó không?
Không. Bạn phải gửi lịch sử hội thoại cùng với mỗi yêu cầu. Hãy lưu trữ nó theo từng cuộc trò chuyện và cắt bớt khi nó phát triển.
Bot có thể phục vụ bao nhiêu người dùng cùng lúc?
Một khóa đầy đủ cho phép 8 yêu cầu đồng thời và 300 yêu cầu mỗi phút. Hãy xếp hàng các tin nhắn vượt mức để bot của bạn luôn nằm trong những giới hạn đó.
Tôi có thể thanh toán bằng thẻ không?
Có. Các khoản nạp tiền chấp nhận tiền mã hóa (USDT trên TRC20, USDC trên Base), từ $20 đến $500.
Cùng bot đó có thể tạo embedding hoặc hình ảnh không?
Không. Dịch vụ chỉ dành cho văn bản, không có endpoint embedding, hình ảnh, âm thanh hay video.
Khóa của bạn chỉ cách một biểu mẫu
Tạo tài khoản, sao chép khóa, thay đổi base URL. Đó là toàn bộ thiết lập.