中文 ▾
获取 API 密钥

EmbeddingApis指南

用于你的管道的无审查文本 API

使用 OpenAI 风格 API 构建基于 LLM 的聊天机器人

基于 LLM 的聊天机器人是一个循环:获取用户消息,将其添加到存储的历史中,将该历史发送给模型并回复。本指南在 Python 中构建该循环,然后将其封装用于 Discord,并涵盖限制和成本。

更新于

要点

  • 模型是无状态的,因此你的机器人必须存储并重发历史。

  • 使用 OpenAI SDK 和站点的 Base URL 调用模型 uncensored。

  • 将并发限制在 8 个,并对其余请求进行排队,以避免 429 错误。

  • 典型的聊天轮次成本不到一分钱。

围绕控制台循环的对话气泡,连接到服务器立方体,展示基于 LLM API 构建的聊天机器人

机器人需要做什么

API 在调用之间不保留任何状态。每个请求必须包含模型要查看的完整对话。因此,聊天机器人的工作主要是记账:为每个用户或频道维护消息列表,添加新消息,发送列表,存储答案并重复。

该服务是一个兼容 OpenAI 的纯文本 API。它运行一个开放权重模型,由独立提供商运营,并经过调整以在合法成人用途下不拒绝内容。尽管域名可能暗示其他功能,但此处没有图像、音频或嵌入接口,因此以下内容均关于聊天补全。禁止涉及未成年人的性内容。

Python 中的核心循环

使用 pip install openai 安装 SDK,将密钥导出为 API_KEY,然后从控制台版本开始。如果你还没有密钥,API 密钥页面在注册时提供 $0.50 的试用额度。

import os
from openai import OpenAI

client = OpenAI(base_url="https://api.embeddingapis.com/v1", api_key=os.environ["API_KEY"])

SYSTEM = "You are Mira, a friendly assistant for a game community. Keep answers short."
history = [{"role": "system", "content": SYSTEM}]

def reply(user_text: str) -> str:
    history.append({"role": "user", "content": user_text})
    resp = client.chat.completions.create(
        model="uncensored",
        messages=history,
        temperature=0.8,
        max_tokens=400,
    )
    text = resp.choices[0].message.content
    history.append({"role": "assistant", "content": text})
    return text

while True:
    print(reply(input("you> ")))

这是一个可用的机器人。本文的其余部分使其能够安全地供多人同时运行。

编写持久的系统提示词

系统消息是机器人获取名称、语气和边界的地方。一些习惯使其在长对话中保持有效:

  • 用一两句话说明角色和目标受众。
  • 给出格式规则:长度、语言、是否使用列表。
  • 列出机器人不知道某事时应采取的行动,例如提出问题。
  • 将持久事实(如服务器规则或产品详情)放在系统消息中,而不是聊天轮次中。

对于成人小说、角色扮演和伴侣机器人,在此添加设定和角色声音,并说明除非用户出戏,否则角色保持设定。在发布机器人之前,用十个或十五个刁钻的消息测试提示词。

每个对话保持一个历史

像上面那样的全局列表会将所有用户混在一起。请为每个 Discord 频道、Telegram 聊天 ID 或 Web 会话分别存储历史记录。字典适用于原型开发;当机器人需要在重启后保持数据不丢失时,请使用数据库。

上下文很大:100,000 个 token 涵盖提示词和回复。即便如此,也不要永远发送所有内容。长历史会在每次轮次中产生更高的成本并减慢回复速度。一个简单的策略是保留系统消息加上最后 20 条消息:

histories = {}

def trim(msgs, keep=20):
    return [msgs[0]] + msgs[1:][-keep:]

def reply_for(chat_id, user_text):
    msgs = histories.setdefault(chat_id, [{"role": "system", "content": SYSTEM}])
    msgs.append({"role": "user", "content": user_text})
    msgs[:] = trim(msgs)
    resp = client.chat.completions.create(model="uncensored", messages=msgs)
    text = resp.choices[0].message.content
    msgs.append({"role": "assistant", "content": text})
    return text

对于需要长记忆的机器人(如伴侣),定期将旧消息总结为简短笔记,并将笔记保留在历史顶部附近。

Discord 版本

使用 discord.py 库时,机器人会在被提及时响应。对 API 的调用是阻塞的,因此请在线程中运行它们以保持 Discord 连接活跃。

import asyncio, os
import discord
from openai import OpenAI

client = OpenAI(base_url="https://api.embeddingapis.com/v1", api_key=os.environ["API_KEY"])
intents = discord.Intents.default()
intents.message_content = True
bot = discord.Client(intents=intents)
slots = asyncio.Semaphore(8)
histories = {}
SYSTEM = "You are Mira, a friendly assistant. Keep answers under 120 words."

def ask(chat_id, text):
    msgs = histories.setdefault(chat_id, [{"role": "system", "content": SYSTEM}])
    msgs.append({"role": "user", "content": text})
    msgs[:] = [msgs[0]] + msgs[1:][-20:]
    r = client.chat.completions.create(model="uncensored", messages=msgs, max_tokens=300)
    out = r.choices[0].message.content
    msgs.append({"role": "assistant", "content": out})
    return out

@bot.event
async def on_message(message):
    if message.author.bot or bot.user not in message.mentions:
        return
    async with slots:
        async with message.channel.typing():
            text = await asyncio.to_thread(ask, message.channel.id, message.clean_content)
    await message.reply(text[:1900])

bot.run(os.environ["DISCORD_TOKEN"])

相同的 ask 函数无需更改即可接入 Telegram 机器人 (python-telegram-bot) 或小型 Web 接口。只有接收和发送消息的部分有所不同。

限制、流式输出和错误

完整密钥允许 8 个并发请求和每分钟 300 个请求。试用密钥允许 2 个和 60 个。Discord 示例中的信号量通过让额外消息等待来确保你不超过并发上限。如果你仍然看到 HTTP 429,请阅读错误代码:rate_limited 表示每分钟请求过多,concurrency 表示同时请求过多,而 Retry-After: 5 头部表示临时过载。等待 5 秒后重试。

对于网页聊天窗口,将 stream 设置为 true,并在 token 到达时将其发送到浏览器,让用户看到文本出现,而不是等待。流会占用并发槽位,直到结束,因此在访客离开时关闭它。失败或被拒绝的请求不会收费,每个响应都包含 X-Balance-USD,你可以用它来在额度耗尽前提醒自己。

你的社区规则

无审查模型比大多数托管助手回答得更开放,因此请决定你的机器人应如何处理内容。该模型适用于合法成人用途,涉及未成年人的性内容是服务的硬性限制。如果您的机器人在公共 Discord 服务器或 Telegram 群组中运行,请自行添加以下内容:

  • 年龄验证,或在机器人配置为成熟小说时,将限制在标记为成人的频道内。
  • 系统提示词中的一行,设置该空间允许的主题和语气。
  • 简短命令,例如 /reset,清除存储的历史,以便用户可以重新开始。
  • 基本的每用户速率限制,例如每几秒一个请求,以便一个人不能占用所有 8 个并发槽位。

Discord、Telegram 或你的 Web 主机的平台规则仍然适用于机器人。在邀请它进入服务器之前阅读它们。

实际运行

笔记本电脑上的原型能在重启后存活并在出问题时通知你,它就成了服务。合理的检查清单:

  1. 将密钥保存在环境变量或密钥存储中,不要放在仓库中。
  2. 按聊天 ID 在 SQLite 或 Redis 中持久化历史,并丢弃闲置数天的历史。
  3. 记录 X-Request-Id 和每次调用的 HTTP 状态,以便你可以追踪奇怪的回复。
  4. 从响应标头读取 X-Balance-USD,并在余额低于你选择的水平时警告自己。
  5. 在客户端设置超时,例如 60 秒,如果触发则发送简短的道歉消息。
client = OpenAI(base_url="https://api.embeddingapis.com/v1", api_key=os.environ["API_KEY"], timeout=60, max_retries=2)

当回复感觉不对劲时,首先调整两个设置。对于事实助手,将 temperature 降低到 0.5 左右;对于创意角色,将其提高到 1.0 左右。如果模型倾向于写出用户的下一行,使用 stop 序列;如果它重复自己,使用较小的 frequency_penalty。

聊天成本

定价为每 1M 输入 token $0.15,每 1M 输出 token $0.50。考虑一个每天处理 1,000 轮次的机器人,其中每轮次发送约 2,000 个输入 token(系统提示词加历史)并返回约 300 个 token。

  • 输入:1,000 × 2,000 = 2,000,000 个 token,即 2 × $0.15 = $0.30。
  • 输出:1,000 × 300 = 300,000 token,即 0.3 × $0.50 = $0.15。
  • 总计:每天 $0.45,共 1,000 轮。

修剪历史记录是主要手段,因为输入 token 占主导地位。预付额度,永不过期,没有订阅。使用 $20 到 $500 的任意整数金额充值,通过加密货币(TRC20 上的 USDT、Base 上的 USDC),从 $50 起获得 +5% 奖励,从 $100 起获得 +10% 奖励,从 $200 起获得 +15% 奖励。详细信息请参阅 定价页面,完整参数列表请参阅 文档。提示词不用于训练。

问答

使用此 API 构建基于 LLM 的聊天机器人需要特殊库吗?

不需要。设置 base URL 和密钥后,官方 OpenAI SDK 即可使用。使用模型 ID uncensored。

API 会记住之前的消息吗?

不会。你必须在每次请求时发送对话历史。按聊天存储历史记录,并随着其增长进行修剪。

该机器人可以同时服务多少用户?

完整密钥允许 8 个并发请求和每分钟 300 个请求。排队额外消息,使你的机器人保持在限制范围内。

我可以用银行卡支付吗?

可以。充值仅接受加密货币(TRC20 上的 USDT、Base 上的 USDC),金额从 $20 到 $500。

同一个机器人还能创建嵌入向量或图像吗?

不能。该服务仅支持文本,没有嵌入向量、图像、音频或视频接口。

只差一张表单,即可获得密钥

创建账户,复制密钥,更改 Base URL。这就是全部设置。

获取 API 密钥阅读文档