用于你的管道的无审查文本 API
使用 OpenAI 风格 API 构建基于 LLM 的聊天机器人
基于 LLM 的聊天机器人是一个循环:获取用户消息,将其添加到存储的历史中,将该历史发送给模型并回复。本指南在 Python 中构建该循环,然后将其封装用于 Discord,并涵盖限制和成本。
更新于
要点
模型是无状态的,因此你的机器人必须存储并重发历史。
使用 OpenAI SDK 和站点的 Base URL 调用模型 uncensored。
将并发限制在 8 个,并对其余请求进行排队,以避免 429 错误。
典型的聊天轮次成本不到一分钱。

机器人需要做什么
API 在调用之间不保留任何状态。每个请求必须包含模型要查看的完整对话。因此,聊天机器人的工作主要是记账:为每个用户或频道维护消息列表,添加新消息,发送列表,存储答案并重复。
该服务是一个兼容 OpenAI 的纯文本 API。它运行一个开放权重模型,由独立提供商运营,并经过调整以在合法成人用途下不拒绝内容。尽管域名可能暗示其他功能,但此处没有图像、音频或嵌入接口,因此以下内容均关于聊天补全。禁止涉及未成年人的性内容。
Python 中的核心循环
使用 pip install openai 安装 SDK,将密钥导出为 API_KEY,然后从控制台版本开始。如果你还没有密钥,API 密钥页面在注册时提供 $0.50 的试用额度。
import os
from openai import OpenAI
client = OpenAI(base_url="https://api.embeddingapis.com/v1", api_key=os.environ["API_KEY"])
SYSTEM = "You are Mira, a friendly assistant for a game community. Keep answers short."
history = [{"role": "system", "content": SYSTEM}]
def reply(user_text: str) -> str:
history.append({"role": "user", "content": user_text})
resp = client.chat.completions.create(
model="uncensored",
messages=history,
temperature=0.8,
max_tokens=400,
)
text = resp.choices[0].message.content
history.append({"role": "assistant", "content": text})
return text
while True:
print(reply(input("you> ")))
这是一个可用的机器人。本文的其余部分使其能够安全地供多人同时运行。
编写持久的系统提示词
系统消息是机器人获取名称、语气和边界的地方。一些习惯使其在长对话中保持有效:
- 用一两句话说明角色和目标受众。
- 给出格式规则:长度、语言、是否使用列表。
- 列出机器人不知道某事时应采取的行动,例如提出问题。
- 将持久事实(如服务器规则或产品详情)放在系统消息中,而不是聊天轮次中。
对于成人小说、角色扮演和伴侣机器人,在此添加设定和角色声音,并说明除非用户出戏,否则角色保持设定。在发布机器人之前,用十个或十五个刁钻的消息测试提示词。
每个对话保持一个历史
像上面那样的全局列表会将所有用户混在一起。请为每个 Discord 频道、Telegram 聊天 ID 或 Web 会话分别存储历史记录。字典适用于原型开发;当机器人需要在重启后保持数据不丢失时,请使用数据库。
上下文很大:100,000 个 token 涵盖提示词和回复。即便如此,也不要永远发送所有内容。长历史会在每次轮次中产生更高的成本并减慢回复速度。一个简单的策略是保留系统消息加上最后 20 条消息:
histories = {}
def trim(msgs, keep=20):
return [msgs[0]] + msgs[1:][-keep:]
def reply_for(chat_id, user_text):
msgs = histories.setdefault(chat_id, [{"role": "system", "content": SYSTEM}])
msgs.append({"role": "user", "content": user_text})
msgs[:] = trim(msgs)
resp = client.chat.completions.create(model="uncensored", messages=msgs)
text = resp.choices[0].message.content
msgs.append({"role": "assistant", "content": text})
return text
对于需要长记忆的机器人(如伴侣),定期将旧消息总结为简短笔记,并将笔记保留在历史顶部附近。
Discord 版本
使用 discord.py 库时,机器人会在被提及时响应。对 API 的调用是阻塞的,因此请在线程中运行它们以保持 Discord 连接活跃。
import asyncio, os
import discord
from openai import OpenAI
client = OpenAI(base_url="https://api.embeddingapis.com/v1", api_key=os.environ["API_KEY"])
intents = discord.Intents.default()
intents.message_content = True
bot = discord.Client(intents=intents)
slots = asyncio.Semaphore(8)
histories = {}
SYSTEM = "You are Mira, a friendly assistant. Keep answers under 120 words."
def ask(chat_id, text):
msgs = histories.setdefault(chat_id, [{"role": "system", "content": SYSTEM}])
msgs.append({"role": "user", "content": text})
msgs[:] = [msgs[0]] + msgs[1:][-20:]
r = client.chat.completions.create(model="uncensored", messages=msgs, max_tokens=300)
out = r.choices[0].message.content
msgs.append({"role": "assistant", "content": out})
return out
@bot.event
async def on_message(message):
if message.author.bot or bot.user not in message.mentions:
return
async with slots:
async with message.channel.typing():
text = await asyncio.to_thread(ask, message.channel.id, message.clean_content)
await message.reply(text[:1900])
bot.run(os.environ["DISCORD_TOKEN"])
相同的 ask 函数无需更改即可接入 Telegram 机器人 (python-telegram-bot) 或小型 Web 接口。只有接收和发送消息的部分有所不同。
限制、流式输出和错误
完整密钥允许 8 个并发请求和每分钟 300 个请求。试用密钥允许 2 个和 60 个。Discord 示例中的信号量通过让额外消息等待来确保你不超过并发上限。如果你仍然看到 HTTP 429,请阅读错误代码:rate_limited 表示每分钟请求过多,concurrency 表示同时请求过多,而 Retry-After: 5 头部表示临时过载。等待 5 秒后重试。
对于网页聊天窗口,将 stream 设置为 true,并在 token 到达时将其发送到浏览器,让用户看到文本出现,而不是等待。流会占用并发槽位,直到结束,因此在访客离开时关闭它。失败或被拒绝的请求不会收费,每个响应都包含 X-Balance-USD,你可以用它来在额度耗尽前提醒自己。
你的社区规则
无审查模型比大多数托管助手回答得更开放,因此请决定你的机器人应如何处理内容。该模型适用于合法成人用途,涉及未成年人的性内容是服务的硬性限制。如果您的机器人在公共 Discord 服务器或 Telegram 群组中运行,请自行添加以下内容:
- 年龄验证,或在机器人配置为成熟小说时,将限制在标记为成人的频道内。
- 系统提示词中的一行,设置该空间允许的主题和语气。
- 简短命令,例如
/reset,清除存储的历史,以便用户可以重新开始。 - 基本的每用户速率限制,例如每几秒一个请求,以便一个人不能占用所有 8 个并发槽位。
Discord、Telegram 或你的 Web 主机的平台规则仍然适用于机器人。在邀请它进入服务器之前阅读它们。
实际运行
笔记本电脑上的原型能在重启后存活并在出问题时通知你,它就成了服务。合理的检查清单:
- 将密钥保存在环境变量或密钥存储中,不要放在仓库中。
- 按聊天 ID 在 SQLite 或 Redis 中持久化历史,并丢弃闲置数天的历史。
- 记录
X-Request-Id和每次调用的 HTTP 状态,以便你可以追踪奇怪的回复。 - 从响应标头读取
X-Balance-USD,并在余额低于你选择的水平时警告自己。 - 在客户端设置超时,例如 60 秒,如果触发则发送简短的道歉消息。
client = OpenAI(base_url="https://api.embeddingapis.com/v1", api_key=os.environ["API_KEY"], timeout=60, max_retries=2)
当回复感觉不对劲时,首先调整两个设置。对于事实助手,将 temperature 降低到 0.5 左右;对于创意角色,将其提高到 1.0 左右。如果模型倾向于写出用户的下一行,使用 stop 序列;如果它重复自己,使用较小的 frequency_penalty。
聊天成本
定价为每 1M 输入 token $0.15,每 1M 输出 token $0.50。考虑一个每天处理 1,000 轮次的机器人,其中每轮次发送约 2,000 个输入 token(系统提示词加历史)并返回约 300 个 token。
- 输入:1,000 × 2,000 = 2,000,000 个 token,即 2 × $0.15 = $0.30。
- 输出:1,000 × 300 = 300,000 token,即 0.3 × $0.50 = $0.15。
- 总计:每天 $0.45,共 1,000 轮。
修剪历史记录是主要手段,因为输入 token 占主导地位。预付额度,永不过期,没有订阅。使用 $20 到 $500 的任意整数金额充值,通过加密货币(TRC20 上的 USDT、Base 上的 USDC),从 $50 起获得 +5% 奖励,从 $100 起获得 +10% 奖励,从 $200 起获得 +15% 奖励。详细信息请参阅 定价页面,完整参数列表请参阅 文档。提示词不用于训练。
更多指南
问答
使用此 API 构建基于 LLM 的聊天机器人需要特殊库吗?
不需要。设置 base URL 和密钥后,官方 OpenAI SDK 即可使用。使用模型 ID uncensored。
API 会记住之前的消息吗?
不会。你必须在每次请求时发送对话历史。按聊天存储历史记录,并随着其增长进行修剪。
该机器人可以同时服务多少用户?
完整密钥允许 8 个并发请求和每分钟 300 个请求。排队额外消息,使你的机器人保持在限制范围内。
我可以用银行卡支付吗?
可以。充值仅接受加密货币(TRC20 上的 USDT、Base 上的 USDC),金额从 $20 到 $500。
同一个机器人还能创建嵌入向量或图像吗?
不能。该服务仅支持文本,没有嵌入向量、图像、音频或视频接口。
只差一张表单,即可获得密钥
创建账户,复制密钥,更改 Base URL。这就是全部设置。